168大数据

标题: 在算子内部使用sparksession对象 [打印本页]

作者: 九月的六叔 时间: 2016-12-16 10:55
标题: 在算子内部使用sparksession对象
val spark = SparkSession.builder().config(conf).getOrCreate()

在一个算子内部得到一个list值，需要对其groupbykey，所以需要转换成rdd，借助spark对象，通过broadcast广播至算子内部
spark.createDataset(value.toSeq)(org.apache.spark.sql.Encoders.kryo).rdd.keyBy { x => x.get(1) }

然后，就没有然后了

一直卡在那里，既不报错也没法调试

求解，求更好的解决方式

欢迎光临 168大数据 (http://www.bi168.cn/)