큰 데이터 세트 (학습용으로 약 20GB, 테스트 용으로 2GB)가 있고 MXnet과 R을 사용하고 싶습니다. 메모리 부족으로 인해 맞춤 반복기로 학습 및 테스트 세트를로드 할 반복기를 검색하고 이것을 찾았 습니다. 해결책.
이제이 페이지의 코드를 사용하여 모델을 학습시킬 수 있지만 문제는 저장 반복기로 테스트 세트를 다음과 같이 읽으면 다음과 같습니다.
test.iter <- CustomCSVIter$new(iter = NULL, data.csv = "test.csv", data.shape = 480, batch.size = batch.size)
그러면 예측 명령이 작동하지 않고 페이지에 예측 템플릿이 없습니다 .
preds <- predict(model, test.iter)
내 특정 문제는 페이지의 코드를 사용하여 모델을 빌드하는 경우 어떻게 테스트 세트를 읽고 평가 프로세스에 대한 레이블을 예측할 수 있습니까? 내 테스트 세트와 학습 세트는 이 형식 입니다.
도와 주셔서 감사합니다
실제로 설명하신대로 정확히 작동합니다. 모델과 반복자를 사용하여 predict를 호출하면됩니다.
preds = predict(model, test.iter)
여기서 유일한 트릭은 예측이 열 단위로 표시된다는 것입니다. 즉, 참조 하는 전체 샘플 을 가져 와서 실행하고 다음 줄을 추가하십시오.
test.iter <- CustomCSVIter$new(iter = NULL, data.csv = "mnist_train.csv", data.shape = 28, batch.size = batch.size)
preds = predict(model, test.iter)
preds[,1] # index of the sample to see in the column position
다음을받습니다 :
[1] 5.882561e-11 2.826923e-11 7.873914e-11 2.760162e-04 1.221306e-12 9.997239e-01 4.567645e-11 3.177564e-08 1.763889e-07 3.578671e-09
이것은 훈련 세트의 첫 번째 요소에 대한 소프트 맥스 출력을 보여줍니다. 를 작성하여 모든 것을 인쇄하려고 preds하면 RStudio 인쇄 제한 1000 개로 인해 빈 값만 표시됩니다. 실제 데이터는 나타날 기회가 없습니다.
예측을 위해 훈련 데이터를 재사용합니다. 반복기의 코드를 조정하고 싶지 않기 때문에 그렇게합니다.이 코드는 레이블이 있거나없는 데이터를 사용할 수 있어야합니다 (학습 및 테스트 세트). 실제 시나리오에서는 레이블이 있거나없는 상태에서 작동하도록 반복자를 조정해야합니다.
이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.
침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제
몇 마디 만하겠습니다