JC story

안녕하세요 종백이입니다😎 최근에 크롤링 관련된 글을 지속적으로 작성 중인데 오늘은 그 3번째 이야기를 해보겠습니다! 이전에는 셀레니움을 이용한 동적 크롤링에 대해 이야기해 보았는데요 사실 셀레니움을 쓰면 크롬 드라이브를 쓰게 되는데 크롤링 행위를 계속하다 보면 크롬드라이브 쓰는데 몇몇 문제가 발생합니다.... 특히 램용량이 8G 밖에 안 되는 제 노트북에서는 그 증상이 더 악화되는데요... 크롬 드라이브를 써서 셀레니움 get을 할 때마다 스택이 되는지 40번 정도 하면 램사용량이 가득 차서 컴퓨터가 맛이 가버리더라고요?! 그래서 저가형 컴퓨터를 위한 크롤링 방식이 뭐가 있을까 하다가 requests로 동적 크롤링을 따라 하는 방법을 찾았습니다...(많은 고수분들은 이미 하고 계셨겠죠?!) 동적 크롤링순..