TalkingData研发团队的硅谷首秀，畅谈中美大数据及云计算

[size=15.555556297302246px]近日，TalkingData在硅谷Fremont一家创业孵化器的办公室里，第一次与硅谷华人开发者进行了一场面对面的交流。作为TalkingData 2015全球巡回系列活动中的海外首场，本次活动受到了硅谷华人开发者的热烈支持。活动期间，时至美国阵亡将士纪念日假期，是美国的小长假，是美国人民出游踏青的时节。即便如此，我们的活动仍然吸引了来自Facebook、Twitter、Google、Linkedin等诸多知名公司的研发人员前来与我们交流。

作为TalkingData研发团队的硅谷首秀，本次活动中TalkingData的阵容可谓强大。由CEO 崔晓波亲自带队，首席架构师黄洋成、CTO 肖文峰、产品VP 闫辉亲临现场，从产品到研发一应俱全。而本次活动的主持人，则是来自Google的数据模型科学家毕树超先生；客座嘉宾则有来自UCloud的SVP 陈晓健先生和来自Coursera的数据工程师董飞老师。

活动中，首先由TalkingData为大家分享了国内最新的数据情况，为大家介绍了国内比较热门的几大创业方向，其中O2O领域的巨大变化，引起了大家极大的兴趣；随后由UCloud为现场的朋友详细讲解了国内云计算、云服务的现状——国内云计算行业蓬勃发展，机遇与挑战并存。实际上，本次活动的核心在于“交流”，而“演讲”的主要作用是与现场的朋友同步一些必要的信息，以便后续展开讨论。

随后，由此展开针对大数据及云计算的讨论，长达1个多小时。以下我们整理出一些现场热议的话题讨论，分享给大家，权做他山之石，希望能给大家带来一些新思路。

现场提问：国内的大数据行业在噪音数据的处理上，与美国相比，是否有其特殊性？

主持人（毕树超）：谈及这个问题，首先让我联想到的是最近的一篇文章，其中提到了X宝的评论和Amazon的评论有什么不同之处——X宝的商品评论做假的比较多，如果想基于评论体系使用自然语义识别技术来挖掘用户兴趣的话，Amazon更有价值一些。对此，各位专家有什么看法？

肖文峰：主持人说的很好，这方面中美业态存在着很大差异。举个例子，我们在处理Android设备机型的时候就会遇到很大的麻烦，国内的Android生态极度复杂，说有上万款设备一点都不夸张，除了有各种手机、平板、智能机顶盒外，还有各种定制的ROM，导致不同设备甚至同一设备的不同版本都会有差异，最终影响原始数据的质量。这迫使我们在数据清洗上花了很大精力，有的可以通过设置复杂的算法来解决，但是有的只能通过人工来筛选。基于这种情况，我们的技术架构也经过了几次演进，逐渐减少对人力操作的依赖，通过不断优化数据标准化层，逐渐提升Streaming预算的效率，提升Batch运算的速度，我们在hadoop方面还是很有经验的，逐渐改善性能。目前，我们的绝大多数数据都可以进行实时运算、实时展现。

  

主持人：谈及中美产业环境上的差异，我觉得有必要让每一位嘉宾发表一下这方面的意见。究竟中美大数据产业的差异有哪些，各位嘉宾的经验都很丰富了，在这方面应该是深有体会。董老师这方面是专家，是不是可以先谈一谈？

董飞：跟TalkingData的思路有共通之处。我们有自己企业内的Data Center，是用Hadoop作为一代的生产引擎。我认为在美国，能用第三方或者云计算的就直接用，这样会大量节约人力和后期的维护成本。

主持人：对于大公司公有性大家都不是特别的信任，但对于第三方的UCloud来说可能是比较容易攻破的一点。

UCloud：有好几个朋友都谈到了自身数据安全性的问题。例如阿里云最初采用的是共享汲取的方式去做的，所以安全隔离方面做的不是很到位，曾经出过问题。所以说这个问题跟公司大小没有什么太大联系，更多的是在产品发展上碰到的教训。这也解释了阿里为什么只用自己开发的大数据平台。像我们公司，本身的定位就是一个第三方独立的公司，我们也没有兴趣去拿这些数据。但从技术层面来说，我们也在考虑一个问题，到底是用共享还是独立的方式去做。

主持人：您觉得从国内市场来时AWS对UCloud威胁比较大，还是以前的阿里、腾讯产生的威胁大呢？

UCloud：个人觉得云市场对外资来说是一个非常艰难的市场。我相信未来三到五年，在国内这个市场能站稳脚跟的一定是个民营企业。当然我希望是UCloud，但也有可能是别的公司。我认为即使是AWC在国内市场建立Data Center也会出现很多问题。

主持人：中美大数据生态的不同之处是什么？TalkingData除了现在正在做的事情，跟大家也分享一下除此之外，在大数据方面能让大家分一杯羹的方向。

崔晓波：在中国商业环境里面，单纯的技术公司很难成功。在国内对于企业客户来说有各自的特点。在中国，大的企业客户只关注两点：第一，对企业本身来说是否保险；第二，一定要有服务。对创业客群来说没有较大差别。分两方面来说，第一方面To B：一个To B的技术公司来，很快会变成一个关系为导向的公司；另外，价格是关键问题，想赚大钱很难。所以说To B这个市场，简单的看，挺难以一个简单的技术模式转到前面。第二个是所谓To C的市场，比如说刚才有朋友问国内有很多做风控的公司，所有人都觉得这是一块非常大的蛋糕，所以有很多人跳进来。但是从市场上来讲，是非常小的。国内现在的模型基本上是资产定价模型。

另外，很多公司现在做精准营销，但我们发现其实也是一个坑。国内环境跟国外非常不同，国内的4A和Agent在链条里面不太懂且弱势。所以有实力的4A公司得以凸显，试图整合市场。在美国4A会对话广告主。例如我们公司Add Tracking这个产品对接绝大部分国外的广告平台时，我们肯定是会把媒体的参数选给你。但在中国的情况是，所有广告网络不会给你这个信息，他不会给你逻辑。整体生态是不完善的。

另外一个问题，在细分领域还是有机会的，大数据做营销不适合所有行业，但有些行业非常适合。规律是：其一，客群稀少，客户非常难寻；其二是单价过高；其三交易频率比较高。在国内，单纯的大数据公司肯定是发展不起来的。

肖文峰：在中国，做大数据方面创业还存在一个挑战，就是人才。TalkingData近来也在做大量的招聘，但是在招聘中我们发现，国内大数据行业的研发存在很严重的两极分化：大量号称大数据经验的研发，其实只是停留在部署和使用一些大数据开源技术的层次，操作的数据量都非常小，使用场景也很初级，距离我们的期望较远；而高端人才也有，大部分都在BAT，招聘的成本非常高，比如我见过工作了2、3年的BAT背景的大数据研发，薪资要求比在传统IT行业工作了10多年的研发人员还要高。而在美国，因为数据、技术、文化都相对比较开放，长期以来已经培养了一批大数据研发人才，性价比相对合理，不会存在极端的情况。所以在中国做大数据的创业，要么需要自己从头培养人才，要么就要付出较为高昂的代价。

黄洋成：国内做大数据，从目前云服务来看，绝大部分不太能够支撑大数据的应用。“云”上的成本也是很高的。在“云”上也很难保证质量。在大数据技术上，相对来说国内国外还是比较同步的，但是国内在深度还是比较欠缺。

以上，是TalkingData在硅谷与当地的工程师、开发者现场沟通的摘录，希望能够给大家一些新的思路。未来，TalkingData将尽可能的与世界各地的开发者、研发团队保持沟通，与大家分享我们的经验；吸收新的思路和想法，一同促进行业发展。

来自群组: Hadoop中国

中国的灵玖软件，这是一个专注做大数据搜索挖掘平台平台的公司，凭借15年的坚持，精耕细作，目前迅速地服务于全球30万家机构，成为大数据分析领域第一引擎。这个平台从2000年开始，写下第一组代码到现在一起伴随着互联网走进大数据时代，现与各大知名互联网公司，企业，单位，机构一起描绘中国的大数据场景。服务于消费者，服务于企业机构。为你提供大数据一站式解决方案，010-62648067，让你更懂客户。