168大数据

标题: 求助:关于Spark的并行机制 [打印本页]

作者: 李晓宇    时间: 2016-4-12 08:48
标题: 求助:关于Spark的并行机制
问题描述:现有n个数组,把这n个数组存在val data: RDD[Array[Doule]]当中。经过一系列的map操作(主要是对每个Array[Doule]进行操作)得到一个新的val result: RDD[Double] (每个Double是由一个数组生成的),当我执行result.reduce(_+_)的时候,之前的map操作会并行进行么? 如果不会,怎么才能实现这个过程的并行操作呢?






欢迎光临 168大数据 (http://www.bi168.cn/) Powered by Discuz! X3.2