最具影响力的数字化技术在线社区

168主编 发表于 2017-3-21 13:33:45

还在为海量数据忧愁?Data Pipeline做了一款数据整合产品

从上世纪90年代开始,已经有部分行业开始认识到了数据的价值,但碍于当时的大环境,数据服务只有少数公司能提供,比如Informatica、ICP、Oracle。后来随着存储能力、运算能力和带宽的提升,数据分析成本渐渐下降,数据分析能力逐渐从大公司下沉到中型企业。直到2008年出现大数据概念,各行各业开始谋求利用数据创造价值。企业对于数据驱动产品决策和商业决策的理解加深,而数据融合、清洗是数据分析和数据资产化的第一步,并且占到现在整个数据分析流程的80%的工作量,经常成为很多企业数据的瓶颈。构建数据融合系统是任何企业都无法避免的,而传统的数据融合产品在可扩展性上能力不足,这是巨大市场机遇。Data Pipeline就是一家解决数据整合问题的公司。Data Pipeline是自动化数据聚合的服务提供商,为企业提供数据资产管理工具、平台和服务,帮助企业将资源集中在自身业务和对业务的分析上。现在任何一家公司都不会只有一个系统。拿电商举例,电商有商品后台,里面有各种货物资料,还有仓储物流、ERP、CRM等各个子系统,每个系统有不同的数据,同种商品在每个系统的格式也不一样,Data Pipeline做的就是把不同子系统的数据收集起来进行清洗和整合,提取出具有价值的数据,然后交给数据分析师或数据工程师。可以说,Data Pipeline将各个数据孤岛打通,加速了信息流通。Data Pipeline产品目前可以同时处理几十亿条信息,帮助企业至少提高五倍的效率。此外,产品采用分布式架构,处理的数据量可以随客户需求而改变。除了公有云SaaS版以外,Data Pipeline还提供私有化部署,这主要考虑到了部分企业对数据安全性的需要。陈诚告诉36氪记者,Data Pipeline 近期有两个发展目标,一是通过数据融合加速企业做出决策,与此同时打造Data Pipeline品牌。其次,谋求与上下游厂商的合作,比如上游数据源厂商,下游数据分析客户。Data Pipeline客户主要来自电商、社交、零售和工业大数据领域。收费模式上,Data Pipeline按照占用的服务器数量收取年费。目前国外的数据整合市场较中国更为成熟,行业竞品更多来自国外,现在做的大的公司有Informatica、IBM Datastage、SAP Data Service、Oracle Data Integration,像Informatica也有Informatica中国。新兴公司有Snaplogic、Striim和TreasureData。Data Pipeline创始人陈诚毕业于密歇根大学计算机专业,曾是前Yelp的大数据工程师。在Yelp期间参与设计并实现Yelp新一代实时数据平台;销售合伙人毛海英曾在用友任职大客户总监,并曾是SAP华中地区销售负责人。团队其他成员多来自于亚马逊、Yahoo等公司。Data Pipeline已于2016年6月完成了数百万元天使轮融资,投资方为峰瑞资本。
页: [1]
查看完整版本: 还在为海量数据忧愁?Data Pipeline做了一款数据整合产品