马上注册，结交更多数据大咖，获取更多知识干货，轻松玩转大数据
您需要 登录 才可以下载或查看，没有帐号？立即注册
x
这是一个系列文章，沉淀了我在数据治理领域的一些实践和思考。共分为5篇： · 数据治理：那些年，我们一起踩过的坑 主要讲讲数据治理工作中常见的一些误区。 · 要打仗你手里先得有张地图：元数据管理 这一篇讲讲元数据的概念和具体应用场景。 · 不忘初心方得始终：数据质量管理 本篇讲述如何科学地进行数据质量管理。 · 书同文车同轨：数据标准管理 数据标准的落地始终是难题。本篇希望能提供一些数据标准建设的思路。 怎么管理和应用好这些数据资产，是现今数据治理的重要研究课题。 大数据时代，数据成为社会和组织的宝贵资产，像工业时代的石油和电力一样驱动万物，然而如果石油的杂质太多，电流的电压不稳，数据的价值岂不是大打折扣，甚至根本不可用不敢用，因此，数据治理是大数据时代我们用好海量数据的必然选择。 但大家都知道，数据治理是一项长期而繁杂的工作，可以说是大数据领域中的脏活累活，很多时候数据治理厂商做了很多工作，客户却认为没有看到什么成果。大部分数据治理咨询项目都能交上一份让客户足够满意的答卷，但是当把咨询成果落地到实处的时候，因为种种原因，很可能是另一番截然不同的风景。如何避免这种情况发生，是每一个做数据治理的企业都值得深思的问题。 笔者涉猎大数据治理领域有6年多的时间，负责过政府、军工、航空、大中型制造企业的数据治理项目。在实践当中有过成功的经验，当然也经历过很多失败的教训，在这些过程中，我一直在思考大数据治理究竟是在治理什么？要达到什么样的合理目标？中间应该怎么避免走一些弯路？今天就借这个机会跟各位分享一下我曾经趟过的坑，希望对大家有一些借鉴意义。 误区一：客户需求不明确 客户既然请厂商来帮助自己做数据治理，必定是看到了自己的数据存在种种问题。但是做什么，怎么做，做多大的范围，先做什么后做什么，达到什么样的目标，业务部门、技术部门、厂商之间如何配合做······很多客户其实并没有想清楚自已真正想解决的问题。数据治理，难在找到一个切入点。 误区二：数据治理是技术部门的事 数据问题产生的原因，往往是业务>技术，如：数据来源渠道多，责任不明确，导致同一份数据在不同的信息系统有不同的表述；业务需求不清晰，数据填报不规范或缺失，等等。很多表面上的技术问题，如ETL过程中某代号变更导致数据加工出错，影响报表中的数据正确性等，在本质上其实还是业务管理的不规范。 我在与很多客户做数据治理交流的时候，发现大部分客户认识不到数据质量问题发生的根本原因，只想从技术维度单方面来解决数据问题，这样的思维方式导致客户在规划数据治理的时候，根本没有考虑到建立一个涵盖技术组、业务组的强有力的组织架构和能有效执行的制度流程，导致效果大打折扣。 误区三：大而全的数据治理 出于投资回报的考虑，客户往往倾向于做一个覆盖全业务和技术域的、大而全的数据治理项目。从数据的产生，到加工、应用、销毁，数据的整个生命周期他们希望都能管到。从业务系统，到数据中心，到数据应用，里面的每个数据他们希望都能被纳入到数据治理的范围中来。 但殊不知广义上的数据治理是一个很大的概念，包括很多内容，想在一个项目里就做完通常是不可能的，而是需要分期分批地实施，所以厂商如果屈从于客户的这种想法，很容易导致最后哪个也做不好，用不起来。所以，我们需要引导客户，遵循2/8原则——80%的问题产生于20%的系统和数据——从最核心的系统、最重要的数据、最容易产生问题的地方开始着手做数据治理。 误区四：工具是万能的 很多客户都认为，数据治理就是花一些钱，买一些工具，认为工具就是一个过滤器，过滤器做好了，数据从中间一过，就没问题了。结果是：一方面功能越做越多，另一方面实际上线后，功能复杂，用户不愿意用。 其实上面的想法是一种简单化的思维，数据治理本身包含很多的内容——组织架构、制度流程、成熟工具、现场实施和运维——这四项缺一不可，工具只是其中一部分内容。大家在做数据治理最容易忽视的就是组织架构和人员配置，但实际上所有的活动流程、制度规范都需要人来执行、落实和推动，没有对人员的安排，后续工作很难得到保障。建议大家在做数据治理的时候将组织架构放在第一位，有组织的存在，就会有人去思考这方面的工作，怎么去推动，持续把事情做好，以人为中心的数据治理工作，才更容易推广落地。 误区五：数据标准难落地 很多客户一说到数据治理，马上就说我们有很多数据标准，但是这些标准却统统没有落地，因此，我们要先做数据标准的落地。数据标准真正落地了，数据质量自然就好了。 但这种说法其实混淆了数据标准和数据标准化。首先要明白一个道理：数据标准是一定要做的，但是数据标准化，也就是数据标准的落地，则需要分情况实施。后续会有一篇专门的文章，来讨论数据标准和标准化工作。 误区六：数据质量问题找出来了，然后呢？ 辛辛苦苦建立起来平台，业务和技术人员通力合作，配置好了数据质量的检核规则，也找出来了一大堆的数据质量问题，然后呢？半年之后，一年之后，同样的数据质量问题依旧存在。 发生这种问题的根源在于没有形成数据质量问责的闭环。要做到数据质量问题的问责，首先需要做到数据质量问题的定责。定责的基本原则是：谁生产，谁负责。数据是从谁那里出来的，谁负责处理数据质量问题。定责之后是问责，问责之后是整改和反馈，然后是质量问题的新一轮评估，直至形成绩效考核和排名。只有形成这种工作闭环，才能真正提升数据质量。 误区七：你们好像什么也没做？ 很多数据治理的项目难验收，客户往往有疑问：你们做数据治理究竟干了些啥？看你们汇报说干了一大堆事情，我们怎么什么都看不到？发生这种情况，原因往往有前面误区一所说的客户需求不明确，误区三所说的做了大而全的数据治理而难以收尾等，但还有一个原因不容忽视，那就是没有让客户感知到数据治理的成果，可以在成果的可视化呈现，以及平常与客户的沟通、培训、知识转移等过程中，就数据治理的重要性、发挥的价值等方面对客户进行潜移默化的影响。 总·结 在激烈的市场竞争下，大数据厂商提出来数据治理的各种理念，有的提出覆盖数据全生命周期的数据治理，有的提出以用户为中心的自服务化数据治理，有的提出减少人工干预、节省成本的基于人工智能的自动化数据治理，在面对这些概念的时候，我们一方面要对数据现状有清晰的认识，对数据治理的目标有明确的诉求，另一方面还要知道数据治理中各种常见的误区，跨越这些陷阱，才能把数据治理工作真正落到实处，项目取得成效，做到数据更准确，数据更好取，数据更好用，真正地用数据提升业务水平。 作者简介：蒋珍波， 6年+大数据治理经验，擅长为客户提供科学合理的数据治理解决方案。曾先后供职于东南融通、软通动力、普元信息等公司，负责过数据仓库建设、BI、大数据平台、数据治理等售前咨询等工作，有政府、电力、制造业等行业经验。目前在数澜科技担任大数据平台售前咨询工作。 关于数澜科技 数澜科技是一家专注于企业数据资产化及应用增值的专业大数据服务公司，致力于将领先的大数据理念和实践经验传递给各领域企业和政府客户，帮助企业和政府将数据转化成生产资料，并借助云计算和算法赋能，最终实现企业生产力和政府治理能力的快速提升。 自2016年6月成立至今，数澜团队践行大数据“连接”、“不确定性”和“场景化”的三大核心理念，目前已为近超过1000家企业和政府用户提供大数据相关服务，旗下核心产品数栖平台作为国内领先的一站式大数据资产化及应用平台，助力地产、零售、政企、金融、汽车等多领域客户取得卓越的数据业务效果。秉承着“致力于企业数据资产化及应用增值”，共建大数据生态服务的愿景，数澜科技将坚持与各数据消费方、数据开发方和数据提供方等专业生态伙伴共同携手，共迎大数据应用的美好未来。
| 
/1 
发表于 2019-3-31 10:16:20
QQ好友和群
QQ空间
腾讯微博
腾讯朋友
收藏
转播
分享
淘帖
赞
踩
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜