cogroup을 호출하는 함수를 선언하는 방법

debugcn 에 게시 Dev

yyforever1988

cogroup두 가지 를 얻는 함수를 선언하고 싶습니다 RDD. 실제로 그것은 interSectionByKey. 아래 코드는 컴파일 할 수 없습니다.

def getRetain[K, V](activeUserRdd : RDD[(K, V)], newUserRdd : RDD[(K, V)]): RDD[(K, V)] ={
    activeUserRdd.cogroup(newUserRdd).flatMapValues{
      x => Option((if (!x._1.isEmpty && !x._2.isEmpty) x._2.head else  null).asInstanceOf[V])
    }
  }

오류:

value cogroup is not a member of org.apache.spark.rdd.RDD[(K, V)]

나는 (K, V)miss [(K, V)]가에서 선언 된 실제와 일치 한다고 생각 cogroup하지만 내 함수에서 선언하는 올바른 방법은 무엇입니까?

로한 알레 티

적용 ClassTag이 삭제 유형을 확인하기 위해 입력 유형의 K및 V런타임에 액세스 할 수 있습니다. 이것은 Scala의 유형 삭제 때문 입니다.

scala> import scala.reflect.ClassTag
import scala.reflect.ClassTag

scala> def getRetain[K : ClassTag, V : ClassTag](activeUserRdd : RDD[(K, V)], newUserRdd : RDD[(K, V)]): RDD[(K, V)] ={
 |       activeUserRdd.cogroup(newUserRdd).flatMapValues{
 |         x => Option((if (!x._1.isEmpty && !x._2.isEmpty) x._2.head else  null).asInstanceOf[V])
 |       }
 |     }
 getRetain: [K, V](activeUserRdd: org.apache.spark.rdd.RDD[(K, V)], newUserRdd: org.apache.spark.rdd.RDD[(K, V)])(implicit evidence$1: scala.reflect.ClassTag[K], implicit evidence$2: scala.reflect.ClassTag[V])org.apache.spark.rdd.RDD[(K, V)]

이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.

침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제

에서 수정2021-06-6

몇 마디 만하겠습니다

0리뷰

로그인참여 후 검토

Related 관련 기사

기사

cogroup을 호출하는 함수를 선언하는 방법

cogroup을 호출하는 함수를 선언하는 방법

Pig : Cogroup 빈 값을 피하는 방법

인덱스 선택을 통해 함수를 호출하는 방법

PHP 배열을 값으로 함수를 호출하는 방법

setTimeout을 사용하여 함수 내에서 함수를 호출하는 방법

bash 함수를 호출하는 방법

쉘 함수를 호출하는 방법

SQL 함수를 호출하는 방법?

함수를 호출하는 방법

Mockito를 사용하여 추가 호출을하지 않고 함수 호출 수를 확인하는 방법

함수를 여러 번 호출하지 않고 case 문에서 함수 호출을 사용하는 방법

Jest 함수를 호출하는 줄을 테스트하는 방법?

다음 함수의 선언을 해석하는 방법

foreach 호출을 수행하는 방법

kotlin에서 Coroutine을 사용하여 매초 함수를 호출하는 방법

Formik을 사용하여 onchange에서 두 함수를 호출하는 방법

Python KivyMD : 버튼을 사용하여 함수를 호출하는 방법?

std :: string을 사용하여 객체에서 함수를 호출하는 방법

이 함수를 호출하는 방법을 이해할 수 없습니다.

동일한 함수를 호출하는 여러 Ajax 호출을 처리하는 방법은 무엇입니까?

Kotlin custom simple DI-인스턴스화 함수를 호출하기 전에 명시 적 선언없이 유형을 아는 방법은 무엇입니까?

PHP mail () 함수에 파일 호출을 포함하는 방법

reactjs에서 외부 함수 호출을 방지하는 방법

둘 이상의 정수 값을 포함하는 변수를 선언하는 방법 SQL Server

Jquery를 사용하여 함수를 선언하는 방법

Python : 수백 개의 목록을 짧은 형식으로 포함하는 long 함수를 호출하는 방법

함수 호출 중에 구조를 선언하고 전달하는 방법은 무엇입니까?

특정 입력을 떠난 후 함수를 호출하는 방법

Swift Playground에서 노래가 끝났을 때 함수를 호출하는 방법

Meteor 구독이 준비되었을 때 함수를 호출하는 방법