我试图从sparkSQL RDD中获取N个随机行，如下所示：
sqlContext.sql("SELECT col FROM tablename").sample(true, .7, 98712).show()
.7和98712只是我用来玩的垃圾号码。
我并没有真正看到随机结果，而是想知道如何从RDD中获取一些随机行？
这似乎是因为您的第三个参数手动设置了一个种子，而不是为您选择的一个随机种子。从DataFrame实现中，这里有两种采样方法：
/**
* Returns a new [[DataFrame]] by sampling a fraction of rows.
...
*/
def sample(withReplacement: Boolean, fraction: Double, seed: Long): DataFrame = {
Sample(0.0, fraction, withReplacement, seed, logicalPlan)
}
/**
* Returns a new [[DataFrame]] by sampling a fraction of rows, using a random seed.
...
*/
def sample(withReplacement: Boolean, fraction: Double): DataFrame = {
sample(withReplacement, fraction, Utils.random.nextLong)
}
只需删除第三个参数即可返回随机行。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句