JSON
-
[ 파이썬] requests 모듈을 이용해 네이버 뉴스토픽 크롤링!코딩/PYTHON 2020. 12. 1. 14:26
네이버 뉴스토픽을 크롤링 해보곘습니다. 네이버뉴스 토픽은 보통 네이버에서 검색했을때 좌측하단에 실검 밑에 뜨고 있습니다 이런식으로 보이는 UI인데요 패킷캡쳐툴로 떠본후에 호출해서 가져올려했으나, 네이버측에서 잘 막아놓은것 같아 일반 검색 후 beautifulsoup로 긁어서 사용해보겠습니다. 일단 파이썬 requests 모듈이 필요합니다 pip install requests 백문의 불여일견 전체 코드 들어갑니다. import requests import json from bs4 import BeautifulSoup def getTopic(): params = { 'where': 'nexearch', 'sm': 'tab_htk.nws', 'ie': 'utf8', 'query': 'today' } url =..