如何RDD[Array[Byte]]使用Apache Spark写入文件并再次读回？
常见问题似乎变得很奇怪，无法将异常从BytesWritable转换为NullWritable。另一个常见的问题是BytesWritablegetBytes是一堆毫无意义的废话，根本没有字节。什么getBytes是得到您的字节，而不是最后增加一吨零！你必须用copyBytes
val rdd: RDD[Array[Byte]] = ???
// To write
rdd.map(bytesArray => (NullWritable.get(), new BytesWritable(bytesArray)))
.saveAsSequenceFile("/output/path", codecOpt)
// To read
val rdd: RDD[Array[Byte]] = sc.sequenceFile[NullWritable, BytesWritable]("/input/path")
.map(_._2.copyBytes())
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句