最具影响力的数字化技术在线社区

168大数据

 找回密码
 立即注册

QQ登录

只需一步,快速开始

1 2 3 4 5
开启左侧

spark 系列教程(四十二):spark-sql 编程

[复制链接]
发表于 2018-3-16 14:10:43 | 显示全部楼层 |阅读模式

马上注册,结交更多数据大咖,获取更多知识干货,轻松玩转大数据

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
1.Spark-sql的json#

pom


代码


结果


save的结果

2.spark-sql自定义schema#

数据集,只不过以文本形式表示


把log4j的级别改成warn方便看日志,从集群上拿log4j.properties文件放到


程序结果

3.spark-sql用对象自定义schema#

首先定义一个数据bean,作用是可以根据这个数据bean通过反射的方式映射出表的结构和生成ds数据集


代码: 用sql语句代替ds的api


结果:

代码


结果



输出文件

5.使用SQL形式实现第4点的功能#

代码


结果


输出文件结果

6.使用HQL形式实现第4点的功能#

代码


结果

7.使用spark-sql的JDBC访问MYSQL#

POM:


代码:


结果:


版权声明:原创作品,允许转载,转载时务必以超链接的形式表明出处和作者信息。否则将追究法律责任。来自海牛部落-青牛,http://hainiubl.com/










楼主热帖
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

关于我们|小黑屋|Archiver|168大数据 ( 京ICP备14035423号|申请友情链接

GMT+8, 2024-3-29 13:08

Powered by BI168大数据社区

© 2012-2014 168大数据

快速回复 返回顶部 返回列表