이 페이지를 스크랩하고 싶다고 가정 해 보겠습니다 : https://twitter.com/nfl
from bs4 import BeautifulSoup
import requests
page = 'https://twitter.com/nfl'
r = requests.get(page)
soup = BeautifulSoup(r.text)
print soup
페이지에서 아래로 스크롤할수록 더 많은 결과가 표시됩니다. 그러나 위의 요청은 나에게 초기 부하만을 제공합니다. 수동으로 아래로 스크롤하는 것처럼 페이지의 모든 정보를 얻으려면 어떻게해야합니까?
더 나은 해결책은 Twitter API 를 사용하는 것 입니다.
예를 들어 다음과 같은 몇 가지 python twitter API 클라이언트가 있습니다.
이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.
침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제
몇 마디 만하겠습니다