最具影响力的数字化技术在线社区

168大数据

 找回密码
 立即注册

QQ登录

只需一步,快速开始

1 2 3 4 5
打印 上一主题 下一主题
开启左侧

别傻傻分不清:数据分析师与数据工程师

[复制链接]
跳转到指定楼层
楼主
发表于 2019-1-18 11:28:45 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

马上注册,结交更多数据大咖,获取更多知识干货,轻松玩转大数据

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
大数据专家总的来说,可以分为两大类:一类叫数据分析师,另一类叫数据工程师。

数据分析师


数据分析师,都是偏业务的,专注于对业务数据的分析,以及业务应用的分析。你听说过的数据分析、数据挖掘、数据建模以及机器学习等等,都是数据分析师常用的术语。他们关注的是选择合适的分析方法、分析模型来探索业务的规律、业务的变化、业务间的相关性,并对业务的未来做出趋势判断(预测)。他们侧重于如何基于数据来找到业务问题的解决方案,用数据来支撑业务决策和商业决策。


数据工程师


数据工程师,都是偏技术的,专注于大数据应用开发,以及大数据系统建设。你听说过的云平台、hadoop/Spark/Storm等等的概念就是数据工程师常用的术语。他们关注是大数据系统如何建设、如何开发大数据产品、如何做大数据系统运维。



关于要掌握什么知识?(见黑色字体)


1)数据分析师,要求熟悉数据分析过程,掌握数据分析方法,理解数据分析模型,熟练操作数据分析工具(比如Excel、SPSS、SAS等);当分析工具无法满足你的分析需求的时候,你还可能需要掌握类似Python和R等脚本分析语言,以实现自定义的自动化的分析流程。当然,最重要的是要熟悉业务逻辑和业务模型,从而掌握数据分析思路,能将数据进行可视化,能够对分析结果进行正确的业务数据解读,等等。
2)数据工程师,最基础的要求熟悉程序开发语言系统设计(比如JAVA等),然后掌握大数据系统架构(Hadoop/Spark等),懂大数据平台运维,等等。
当然,如果要继续进一步细分岗位,你要学的东西也会有不同的侧重点。
一般来说,数据分析师都是偏业务的,就是常说的“三分技术,七分业务”
当然,狭义地说,如果你说的是数据分析师中偏技术的,指的是在数据分析师中偏技术的,也可以理解为数据建模师、算法师,那么你要掌握的技术就是懂Python或R语言,能够自行设计算法和分析模型,并使用python语言来实现(此时,肯定没有现成的分析工具供你使用的)。


详细的请看我以前写的文章《大数据专家职位体系》


当前大数据职位,从总的来说,主要有两大类:

一类是应用类,另一类是系统类。




应用类


应用类,偏向于数据分析和数据应用,经常说到的数据分析、数据挖掘,就是典型的应用技术。这一类职位,要求采用适当的分析和挖掘方法对数据进行分析,提取数据中隐含的业务信息,来支撑企业决策。

最典型的职位就是:大数据分析师。


大数据分析师


大数据分析师,主要是指,基于业务问题,能够选择最合适的数据分析和数据挖掘方法,提取数据中的业务信息,从而支撑业务决策。要求熟悉数据分析/挖掘过程,掌握数据分析/挖掘方法,理解数据分析模型,熟练操作数据分析工具(比如Excel、SPSS、SAS等)。一般对于大数据分析师,其能力要求比较全面,不管是业务逻辑、还是分析方法、模型、可视化,都要求全面掌握。


业务数据分析师

业务数据分析师:侧重于商业理解,要求能够将业务问题和商业问题,转化为大数据的问题,并将分析结果从业务层面进行解读,从而形成业务建议和业务策略。要求熟悉业务逻辑和业务模型,掌握数据分析思路,能将数据可视化,对数据解读等。当然,类似的职位还有大数据观察员、大数据研究员等等,这些都侧重于商业理解。


大数据建模师


大数据建模师:侧重于数据建模,能够围绕业务问题,构建合适的数据分析框架和分析模型,将业务问题进行分解,从而达到定性或定量来描述业务的目的。要求熟悉数据建模、模型评估、模型优化、模型应用等等。


大数据算法师


大数据算法师:侧重于数据模型的实现算法研究、设计与实现,为达到分析目的,对实现算法进行分析、选择与优化,确保实现性能及效果。一般情况下,算法师往往和建模师在一起工作。


系统类



系统类,偏向于系统研发,比如Hadoop系统、云计算,就属于系统类技术。这一类职位,要求熟悉Hadoop大数据平台的核心框架和组件,能够基于大数据平台来写代码开发应用,支撑业务应用。

最典型的职位就是:大数据工程师。


大数据开发工程师


大数据开发工程师:负责大数据系统的开发工作,能够运用编程语言进行应用程序的开发、测试和维护,实现产品功能。要求掌握编程语言,如JAVA、R、Python等等。


大数据架构师


大数据架构师:负责大数据系统的平台架构设计、平台构建。要求熟悉Hadoop/Storm/Spark等平台,熟悉整个生态系统的组件,有平台级开发和架构设计能力等等。


大数据运维工程师


大数据运维工程师:侧重于大数据平台运维管理,包括系统运维规划、系统监控、系统优化等等,保障大数据平台服务的稳定性和可用性。掌握平台各组件的安装、配置与调试,有良好的系统性能优化及故障排除能力。


大数据库管理员


大数据库管理员:侧重于数据库/数据倒仓库的设计、开发、管理和优化,监控数据库的性能、故障检测和排除,包括数据采集,数据库架构设计,空间和容量规划,性能优化,数据安全和隐私,数据容错,等等。

当然,在不同的企业中,职位的名称和叫法有所不同,或者会衍生出新的职位,但基本的岗位职责是类似的。
来源:大数据专家傅一航

楼主热帖
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 转播转播 分享分享 分享淘帖 赞 踩

168大数据 - 论坛版权1.本主题所有言论和图片纯属网友个人见解,与本站立场无关
2.本站所有主题由网友自行投稿发布。若为首发或独家,该帖子作者与168大数据享有帖子相关版权。
3.其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和168大数据的同意,并添加本文出处。
4.本站所收集的部分公开资料来源于网络,转载目的在于传递价值及用于交流学习,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。
5.任何通过此网页连接而得到的资讯、产品及服务,本站概不负责,亦不负任何法律责任。
6.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源,若标注有误或遗漏而侵犯到任何版权问题,请尽快告知,本站将及时删除。
7.168大数据管理员和版主有权不事先通知发贴者而删除本文。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

关于我们|小黑屋|Archiver|168大数据 ( 京ICP备14035423号|申请友情链接

GMT+8, 2024-4-20 02:17

Powered by BI168大数据社区

© 2012-2014 168大数据

快速回复 返回顶部 返回列表