Encoder对于Pojo的/原语，Spark数据集从Row移到了。该Catalyst引擎使用ExpressionEncoder的列转换成SQL表达式。但是，似乎没有其他子类Encoder可用作我们自己的实现的模板。
这是Spark 1.X / DataFrames中无法在新架构下编译的代码示例：
//mapping each row to RDD tuple
df.map(row => {
var id: String = if (!has_id) "" else row.getAs[String]("id")
var label: String = row.getAs[String]("label")
val channels : Int = if (!has_channels) 0 else row.getAs[Int]("channels")
val height : Int = if (!has_height) 0 else row.getAs[Int]("height")
val width : Int = if (!has_width) 0 else row.getAs[Int]("width")
val data : Array[Byte] = row.getAs[Any]("data") match {
case str: String => str.getBytes
case arr: Array[Byte@unchecked] => arr
case _ => {
log.error("Unsupport value type")
null
}
}
(id, label, channels, height, width, data)
}).persist(StorageLevel.DISK_ONLY)
}
我们得到一个编译器错误
Error:(56, 11) Unable to find encoder for type stored in a Dataset.
Primitive types (Int, String, etc) and Product types (case classes) are supported
by importing spark.implicits._ Support for serializing other types will be added in future releases.
df.map(row => {
^
因此，在某种程度上/某处应该有一种方法
DataFrame（现在是类型的数据集Row）上执行映射时应用它我正在寻找可以成功执行这些步骤的代码。
据我所知，自1.6和如何在数据集中存储自定义对象中描述的解决方案以来，并没有什么真正的改变。是唯一可用的选项。不过，您当前的代码对于产品类型的默认编码器应该可以正常工作。
要了解为什么您的代码在1.x中起作用而在2.0.0中不起作用，您必须检查签名。在1.x中，DataFrame.map是一种具有功能Row => T并转换RDD[Row]为的方法RDD[T]。
在2.0.0DataFrame.map采用类型的函数Row => T，以及，但变换Dataset[Row]（又名DataFrame）插入Dataset[T]因此T需要一个Encoder。如果要获得“旧”行为，则应RDD显式使用：
df.rdd.map(row => ???)
有关详细信息，Dataset[Row] map请参见尝试将数据框行映射到更新的行时出现编码器错误
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句