谈谈大数据工程师的鄙视链

老婆漂亮的程序员，鄙视老婆不漂亮的程序员。

有老婆的程序员，鄙视没有老婆的程序员。

有女朋友的程序员，鄙视单身程序狗。

在单身狗之间，才有语言、编辑器和操作系统的互相鄙视。

看人家甜甜蜜蜜的，单身狗的你还不抓紧了找个妹子。

那么对于数据工程师来说，是不是也存在类似的一条鄙视链呢，今天我们不谈技术，我们谈谈技术背后的大数据工程师不同岗位之间的鄙视链：

大数据 ETL 开发工程师：

• 负责数据仓库 ETL （数据的抽取、转换和导入）流程开发；
  
  

• 精通 Hive SQL，掌握基本的 HQL 优化技能；
  
  

• 熟练使用 MySQL/Postgres 等数据库；
  
  

• 有hadoop基础知识，熟练掌握PHP / Python / Java任一语言；
  
  

    （大数据金字塔的最底端，职业瓶颈非常有限）

大数据开发工程师：

• 熟悉 Linux，熟悉 shell，perl，python，php 等脚本语言的一种或多种；
  
  

• 扎实的 Java 基础编程，熟悉传统数据库 MySQL；
  
  

• 熟悉 Hadoop，HBase，Hive，Spark，Storm 任意一项或多项技术；
  
  

• 有大规模数据处理和日志处理经验的优先；
  
  
  

大数据开发工程师+数据平台J2EE开发工程师：

• 数据平台J2EE开发工程师：3-5年的 Java 开发经验；
  
  

• 慢慢往大数据方向来转，懂一点儿大数据的基础知识；
  
  

• Hadoop、Spark、Storm、HBase 至少知道是怎么回事，能写一点简单的程序；
  
  

• J2EE精通，提交计算任务（指定参数）、通过界面查看漂亮的报表和表格；
  
  

大数据平台高级开发工程师：

• 精通 Hadoop、Spark、Storm（源码级别的），Kafka、Flume、ZooKeeper；
  
  

• 精通 J2EE 技术，开源框架（Spring MVC、Spring、MyBatis）；
  
  

• 精通 MySQL 性能调优，Java 虚拟机（JVM）调优；
  
  

• 高并发系统架构（NoSQL、Redis、Memcached、Nginx、负载均衡、分布式）；
  
  

大数据平台高级架构师：

• 研究与跟踪大数据新技术发展方向，针对公司大数据业务进行框架设计；  
  
  

• 负责公司大数据产品的技术选型、设计、研发和维护，参与产品从立项到交付的全生命周期工作；
  
  

• 参与研发团队的日常技术交流与分享，为其他同事提供技术指导与帮助；
  
  

• 深入了解业务需求与业务逻辑，同产品、业务相关同事密切沟通和配合；
  
  

• 研究未来数据模型和计算框架的创新与落地（数据计算框架轻量化、建立数据模型等）；
  
  

   

高端，高端，高端

大数据数据挖掘与机器学习工程师：

• 一步一步往上走，走到大数据平台高级架构师级别；
  
  

• 对数据结构和算法设计有较为深刻的理解；
  
  

• 精通各种机器学习与数据挖掘的算法；（Spark MLlib，机器学习，GraphX，图计算，Hadoop Mahout）；
  
  

• 反作弊研发经验、用户行为分析、社群关系挖掘；
  
  

• 个性化推荐系统，用户意愿度分级系统，预测热卖产品走势，用户增长率等；
  
  

走到大数据金字塔的最顶端，用技术去直接为企业创造价值和利润，公司可以直接根据这些人计算出来的一些数据、方案等，去科学决策，调整公司的战略，是直接对公司的利润的提升、市场占有率的增加是有帮助的。

写在最后的话：

不管你智商多高，技术多牛逼，最重要的是要会落地，针对存在的问题提出解决方案，给公司创造价值，只有这样才能给自己带来实打实的回报，不然都是浮云啊。

其实很多时候是产品业务推动着技术人员的进步，比如某一天我们开发的产品就爆红了，带来了大量的用户访问，那你是不是就要着手解决高并发，海量数据存储等问题。

在没有碰到问题前，技术人员很多时候并不会意识到潜在的问题，就是在这样解决了一个又一个的问题之后，我们踩过了 N 个坑之后的经验就是我们成长的见证。