马上注册,结交更多数据大咖,获取更多知识干货,轻松玩转大数据
您需要 登录 才可以下载或查看,没有帐号?立即注册
x
目录
大数据课程体系简介作为一名物联网工程专业的学生,对于大数据有着不同寻常的热情,在有了一定的Android基础和J2EE基础后,希望学习更多的数据处理技术,为研究生阶段增加筹码,做出如下学习路线,期望自己能够夯实基础,深入学习,有所成就。路线图的制定参考了 《IT十八掌大数据学习路线 》《hadoop权威指南第四版》 学习阶段(不定时更新)第一阶段 JAVA & LINUX: [td]课程名称 | 课程内容 | Java IDE | Intellij | Java Base | 接口 抽象类的使用 | Java Collection | 集合框架核心 List Set Map | Java Thread | 多线程相关知识 | Java Reflect | 反射技术相关介绍 | Java Socket | 套接字相关知识 | Linux Base | 版本介绍,安装,常用命令,权限(UGO) | Linux Run | 运行级别,环境变量加载 | Linux Vmware | Vmware Workstation技巧 | Linux Process | 系统进程管理常用命令 | Linux NetWork | 网络管理命令 |
第二阶段 Hadoop相关项目: [td]课程名称 | 课程内容 | Hadoop | 是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。 | Mahout | 是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapReduce实现了部分数据挖掘算法,解决了并行挖掘的问题。 | Avro | 是一个数据序列化系统,设计用于支持数据密集型,大批量数据交换的应用。Avro是新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制。 | Parquet | 是一个列存储格式,主要用于 Hadoop 生态系统。对数据处理框架、数据模型和编程语言无关。 | Flume | 是一个分布的、可靠的、高可用的海量日志聚合的系统,可用于日志数据收集,日志数据处理,日志数据传输。 | Sqoop | 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 | Pig | 是一个基于Hadoop的大规模数据分析工具,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。 | Hive | 是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 | Crunch | 是基于Google的FlumeJava库编写的Java库,用于创建MapReduce程序。与Hive,Pig类似,Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库。 | HBase | 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 | ZooKeeper | 是一个为分布式应用所设计的分布的、开源的协调服务,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。 | Ambari | 是一种基于Web的工具,支持Hadoop集群的供应、管理和监控。 |
第三阶段 Kafka & Storm [td]课程名称 | 课程内容 | Kafka | 一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群机来提供实时的消费。 | Storm | 对比Hadoop的批处理,Storm是个实时的、分布式以及具备高容错的计算系统。同Hadoop一样Storm也可以处理大批量的数据,然而Storm在保证高可靠性的前提下还可以让处理进行的更加实时;也就是说,所有的信息都会被处理。Storm同样还具备容错和分布计算这些特性,这就让Storm可以扩展到不同的机器上进行大批量的数据处理。 |
第四阶段 Scala & Spark [td]课程名称 | 课程内容 | Scala | Scala是一门多范式的编程语言,一种类似java的编程语言,设计初衷是实现可伸缩的语言,并集成面向对象编程和函数式编程的各种特性。 | Spark | Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 |
第五阶段 综合项目演练 [td]
|