168大数据

标题: spark 系列教程（三十九）：RDD 编程基础使用 [打印本页]

作者: 2662776049 时间: 2018-3-16 13:46
标题: spark 系列教程（三十九）：RDD 编程基础使用
1.常用的转换#

假设rdd的元素是： {1,2,2,3}

应用于pairRdd

假设rdd的元素是：{1, 2, 3}，other元素是：{3, 4, 5}

2.常用操作接口#

假设rdd的元素是:{1, 2, 3, 3}

3.创建RDD#

有两种方式：读取外部数据集，以及在驱动器程序中对一个集合进行并行化
parallelize 集合并行化
textFile 本地文件或者HDFS文件

4.map()函数和 take()函数#

map(func)
take(num)

回复帖子，然后刷新页面即可查看隐藏内容

版权声明:原创作品,允许转载，转载时务必以超链接的形式表明出处和作者信息。否则将追究法律责任。来自海牛部落－青牛,http://hainiubl.com/topics/192

欢迎光临 168大数据 (http://www.bi168.cn/)