yahoo finance에서 가져 오려는 기호 목록이 포함 된 csv 파일이 있습니다. (약 3000 개)
df = pandas.read_csv('ticker_file.csv')
start = datetime.datetime(2010, 1, 1)
end = datetime.datetime.today()
for each_code in df['Symbol']: # got it from pandas website "Remote Data Access"
get_prices = web.DataReader(each_code, 'yahoo', start, end)
get_prices.to_csv(each_code + '.csv')
하나를 당겨서 symbol저장하는 데 약 2.5 ~ 3 초가 걸립니다 csv.
이 프로세스를 가속화하기 위해 다중 처리 / 하이퍼 스레딩을 사용하는 것이 가능하거나 더 빠를까요?
다중 처리 작업자 풀을 매우 쉽게 사용할 수 있습니다. https://docs.python.org/2/library/multiprocessing.html 과 제공된 첫 번째 예제 (5 명의 작업자 풀 사용)를 살펴보십시오 . 다음과 같이 보일 것입니다.
def f(each_code):
start = datetime.datetime(2010, 1, 1)
end = datetime.datetime.today()
get_prices = web.DataReader(each_code, 'yahoo', start, end)
get_prices.to_csv(each_code + '.csv')
p = Pool(20)
p.map(f, df['Symbol'])
속도가 빨라질 지 여부는 말할 수 없습니다. 웹 사이트가 불평하지 않는 한 그렇게 될 것입니다.
이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.
침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제
몇 마디 만하겠습니다