Python Selenium으로 실시간 채팅 수집하기

처음에는 주식 방송의 채팅 분위기를 분석해서 대시보드를 만들어보자는 아이디어로 시작했습니다. 하지만 대시보드를 만들려면 우선 데이터(채팅 내용)가 필요했죠.

 

쉽게 가보려고 구글링을 시작했는데, 아무리 찾아도 제가 원하는 스크래핑 관련 글이 없는 겁니다.

 

'나보다 뛰어난 천재 개발자들이 널렸는데 왜 없을까?' 의아해하던 찰나, 이유를 알게 되었습니다.

유튜브는 공식 API를 제공하니까 굳이 스크래핑할 필요가 없었던 거죠. (머쓱...)

 

하지만 개발자의 미덕은 '삽질' 아니겠습니까?

API 대신 직접 맨땅에 헤딩하며 스크래퍼를 만들어보기로 했습니다. 막상 유튜브를 뚫고 나니 욕심이 생기더군요.

내친김에 숲(SOOP), 팬더TV, 치지직까지 시도해봤는데... 이게 다 뚫립니다.

 

코드는 깃허브에 올려두었지만, 당분간은 비공개(Private)로 소중히 간직할 예정입니다.

 

유튜브 셀레니움 버전

 

유튜브 API 버전