马上注册,结交更多数据大咖,获取更多知识干货,轻松玩转大数据
您需要 登录 才可以下载或查看,没有帐号?立即注册
x
Hive现有支持的执行引擎有mr和tez,默认的执行引擎是mr,Hive On Spark的目的是添加一个spark的执行引擎,让hive能跑在spark之上;
在执行hive ql脚本之前指定执行引擎、spark.home、spark.master set hive.execution.engine=spark;set spark.home=/home/spark/app/spark-1.3.0-bin-spark-without-hive;set spark.master=yarn;
Hive On Spark与Spark SQL/Shark的区别: Spark SQL/Shark: 1、将sql语义翻译成Spark RDD在Spark上执行; 2、Spark SQL是基于hive snapshot版本,虽然能够兼容hive,但是使用的版本早于当前hive的release版本,最新的一些特性则无法使用; 3、Spark SQL使用Spark的transformation和action替换Hive sql的构建; 将会丢失一些hive自身构建实现的特性; Hive on Spark: 1、将hql语义翻译成MapReduce在Spark上执行; 2、Hive On Spark则是与hive共同演化; 3、Hive On Spark使用的是Hive的构建,将包含Hive所有的特性,Spark仅仅是一个通用的执行引擎而已;
为Hive添加一个spark执行引擎涉及到如下方面: 1、查询计划 将Hive的逻辑执行计划进一步翻译成Spark能够执行的Spark计划; 2、查询执行 得到的Spark计划真正在Spark集群中运行; 3、监控、计数器、统计等
查询计划: 当hive接收到一个sql语句时,使用Hive的语法解析器解析成一个操作计划; 对于On Spark引擎,引入了SparkComplier,类似于MapReduceCompiler和TezCompiler; SparkComplier: 将从Hive中得到的逻辑执行计划转成在Spark上能运行的计划; 在产生Spark计划的时候做一些物理执行计划的优化; SparkTask:在Spark集群中执行的一个job SparkWork:SparkTask的计划,可以通过explain查看 SparkComplier: 将Hive的执行计划转化成一个SparkWork
查询执行: SparkTask.execute()在SparkWork之外产出rdd以及相应的方法,通过Spark Client提交给Spark集群执行;一旦SparkTask提交给了Spark集群,Spark Client将监控job的执行情况; 通过SparkJobMonitor来处理打印任务的执行状态和最终的执行结果;Spark Job的提交是通过SparkContext对象完成的;当SparkTask被hive执行时,就会为当前用户session创建一个SparkContext; Hive表相关的RDD将会被创建;MapFunction、ReduceFunction将会被SparkWork创建并且作用在RDD上;当在RDD上执行foreach方法时该RDD上的job就会被触发执行。
监控、计数器、统计等: 监控: Spark在每个SparkContext运行时提供了WebUI,当时该UI中只能展现出运行时的Application信息; 为了在Application运行完后也能重新渲染UI信息,需要在启动Application之前设置spark.eventLog.enabled为true; Standalone模式运行时可以通过WebUI展示,YARN/Mesos模式运行时,可以通过Spark History Server来展现; 计数器/统计: 在Spark中提供了accumulator实现计数器,使用Metrics实现统计;
|