코딩/PYTHON
-
[ 파이썬] requests 모듈을 이용해 네이버 뉴스토픽 크롤링!코딩/PYTHON 2020. 12. 1. 14:26
네이버 뉴스토픽을 크롤링 해보곘습니다. 네이버뉴스 토픽은 보통 네이버에서 검색했을때 좌측하단에 실검 밑에 뜨고 있습니다 이런식으로 보이는 UI인데요 패킷캡쳐툴로 떠본후에 호출해서 가져올려했으나, 네이버측에서 잘 막아놓은것 같아 일반 검색 후 beautifulsoup로 긁어서 사용해보겠습니다. 일단 파이썬 requests 모듈이 필요합니다 pip install requests 백문의 불여일견 전체 코드 들어갑니다. import requests import json from bs4 import BeautifulSoup def getTopic(): params = { 'where': 'nexearch', 'sm': 'tab_htk.nws', 'ie': 'utf8', 'query': 'today' } url =..
-
Node.js에서 python 실행하기코딩/PYTHON 2020. 11. 27. 15:56
window 환경에서 python shell을 꾸준히 사용했으나, 해당 부분이 원인 모를 오류가 나서 다른 방법을 찾게 되었습니다 node.js에서 child.process로 다른 프로세스를 실행할수 있습니다. child_process.spawn(command[, args][, options]) ps. python3라고 적어논 이유는 내 mac 환경에서는 python 버전 3 버전을 실행 시키려면 python3라는 명령어를 터미널에서 입력해서 사용하기 때문. String.prototype.replaceAll = function (org, dest) { return this.split(org).join(dest); }; const FILE_ROOT_DIR = process.cwd(); router.post..