马上注册,结交更多数据大咖,获取更多知识干货,轻松玩转大数据
您需要 登录 才可以下载或查看,没有帐号?立即注册
x
一:Task性能优化 1,慢任务(数据倾斜或机器故障)的性能优化:可以考虑减少每个partition处理的数据量,同时建议开启Spark.speculation; 2,尽量减少Shuffle,例如我们要减少groupByKey的操作,因为groupByKey会要求通过网络拷贝(Shuffle)所有的数据,有限考虑使用reduceByKey,因为会首先reduce locally;再例如在进行join操作的时候,形如(K1,V1)和(K1,V2)=> (K1,V3)此时就可以进行pipeline,但是(o1)join(o2)=>o3,此时就会产生Shuffle操作; 3,Repatition:增加Task数量的时候可以考虑使用,从而更加充分使用计算资源;Coalesce整理Partition碎片;当partition分片数量由大变小要用Coalesce(其中shuffle=false),而Repartition是无论如何都进行Shuffle; 二:数据倾斜:一般发生在Shuffle 1,定义更加合理的Key(或者说自定义Partitioner)。 2,可以考虑使用ByteBuffer来存储Block,最大的存储数据为2G,如果超过这个大小会报异常; 三:网络性能优化 1,可以考虑Shuffle的数据放在Tachyon中带来更好的数据本地性,减少网络的Shuffle; 2,优先采用Netty的方式进行网络通信; 3,广播:例如进行Join操作的时候采用Broadcast可以达到完全的数据本地性的情况下进行Join操作; 4,mapPartitions中的函数会直接作用于整个Partition(一次!!!); 5,最优先考虑是PROCESS_LOCAL(Spark默认情况下也是这样做的),所以你更应该考虑使用Tachyon; 6,如果要访问Hbase或Canssandra,务必保证数据处理发送在数据所在的机器上;可以参考华为的astro的项目中的Task本地化的实现。 ps:前面的Stage执行完了才能执行下一个Stage,前面的Stage中的任一Task没完成,说明这个Stage还没完成,无法进行下一个Stage作业。
|