前SAP大中华区大数据架构总监：从中国股市谈数据流分析的技术原理与应用

首先，小锦给大家再回顾一下今天课程的主要内容。卢东明老师是从一下的几个问题入手，从中国股市一步步的谈到数据流的数据原理和应用的。

而中国股市怎么了这个话题似乎说到了不少人的心窝窝里吧！连不炒股的小锦，提到中国股市的现状，也可以和大家一起准备上天台呢！股市那么绿？到底肿么了？卢老师首先就解决的这个问题。

看了以上这些图之后，你是觉得触目惊心，还是深有感触呢？分析完股市，让我们一起来看看什么是程序化交易吧！

然后，我们就要见真招了。数据流的技术原理和应用上线了，这部分你竖起耳朵听了吗？

、

最后一部分是在行业中一些场景中的应用，小锦就不再多提了。接下来为大家带来本期微课最重磅的环节——问答部分。

1可否从市场微观结构的角度，分析程序化交易带来的影响？数据流分析对于发现异常交易、操纵市场、内幕交易等违法违规行为有什么帮助？目前监管部门正在制定程序化交易办法，数据流分析能为日常监管、监测带来什么帮助？数据流分析对于证券公司或期货公司甚至交易所的风险管理有什么发挥作用的地方？

在交易层面，或者说是交易的参与者会用这样数据流分析的核武器，进行股市上的操作。那么反过来道高一尺，必然魔高一丈。监管者、监管机构也同样是需要利用这样的机制或用这样的技术来实时地发现有什么样的异常交易或者有什么操纵市场行为。就好像说如果监控者没有这样的技术的话，那么其实忽然间这个股市就变得非常可笑。那么最终产生的效果会是什么样的？

我认为你们现在正在看到中国的股市就是这样的效果。其实当它没有办法去理解大家都在做什么的时候，只能去关闭原来的那些交易的行为。也就说，我现在不能去做空或者我现在做空的时候，不允许你连续下二十三单。你必须够一单一单下！然后我不允许你用这个高速level2数据，或者去用实时的数据算法。实际上我的观点还是这样，你在和一群傻子在玩的还是和一群聪明的人在玩。如果说市场上或者外面有这么一群聪明人的话，那么迟早你要面对挑战啊！不能因为有这样的危险，暂时闭关锁国起来。

当然我们可以理解现在中国股市的行为是暂时的一个关闭而不是彻底关闭。所以我也希望中国股市慢慢会想明白，到底怎么样去规范这些行为，怎样去监管这个行为。也帮监管部门配上核武器，这样的话，这个拿枪的这些罪犯们也能够及时得到监管者的发现。

2想请教卢老师一个问题，大数据源未来的趋势会是免费共享，还是被寡头平台所独占呢。中小企业能够建立自己的数据模型，可是如果没有大数据作为支持，也很容易走上错误的道路。作为中小企业或是创业初期者，如何构建自己的数据源才是一条捷径呢，谢谢。

我觉得既然提到大数据，其实就无法从一而终，就不可能大家都是千篇一律的一种解决方案。每个人都是八仙过海，各显申通。你找到的数据，也许别人没有想到。而这个数据也未必一定是在数据量上来发挥功效。所以我们会看到，尤其在金融市场上有很多时候未必是数据量大的人就一定获胜。有的时候数据就在关键点上是一个看价值的。所以对中小企业来说，我认为大家不要被现在优先提倡的这个数据量所迷惑。

大家一提到大数据就首先就要问，你有多少T的数据？如果你没有的话，好像就很羞于见人。这种思想我觉得真的不需要有。很多中小企业有自己的专利或者是独特的数据模型，在一定的数据量上同样可以发挥价值。还是刚才说的实现的速度本身就是一个竞争优势，大家都有同样的数据都分析出来同样的方向，但是正是因为一方获取了尖端的这实现技术，那也可以在竞争中占据一方天地，这种例子屡见不鲜。

我认为中小企业不要为了大数据而大数据。因为这样的话，你会被大企业拖到一个他们熟悉你不熟悉；他们擅长你不擅长的一种竞争格局。你很难获胜啊！但是我认为中小企业首先要关注大数据，要正视大数据。更重视大数据的价值，而不要更重视大数据的大。价值其实可能更多来自于人，很多人可以从一些数据中找规律的。那我们也看到很多大型的金融公司电信公司数据动辄就是PB级，但是这些数据分析出来的价值也未必在每一个环节上都能发挥作用。

3通过大数据进行授信的业务模式前景以及可能存在的弊端和漏洞？

大数据进行授信实际上是目前众多的P2P公司所强调的竞争法宝！每个人都会在讲，我的信贷决策是基于大数据的，我的大数据的采集方法和别人不同。所以有独特的价值或者我们有各种各样的尖端数据分析人才。其实这个方向性都没有错，业务模式我认为总的方向也是对的。

充分的利用信息的方向永远是对的，存在的弊端或者是漏洞还是回到政府层面。因为中国目前对数据的管理缺乏完善的法律制度，所以我们会看到很多公司会为了获取数据的价值，而不择手段！这里危害的实际上是广大的消费者。我们说的消费行为，我们的基础信息都会成为这些数据公司所一直盯着的高价值的东西。他们会花大价钱去买东西。买完以后，一旦发生数据安全上的一些问题，就会想每一次新闻里面曝光的某家公司，整个用户信息被窃取。

给每一个人的生活、工作都带来各种各样的不方便甚至威胁！除了这样的系统性的泄露外，基于人的隐私进行各种各样的分析以及骚扰性的行为，其实也是对整个大数据授信或者大数据金融，互联网金融的行业里面，特别要值得呼吁的事情反而是政府如何去制定法律监管，如何去执行法律能够在数据的安全和人民的安全层面上进行更高层次的保护。

4都说银行未来是去 IOE ，走向云端，这对从事互联网金融及大数据金融的公司有哪些利好？银行是否会更愿意自建数据服务平台而不采用第三方的服务？

这个话题已经被炒了三四年了！我个人认为应该快冷却下去了。因为坦率地说去IOE对某些行业或者某个类型的公司，特别是以阿里为主导的这种互联网公司是有很大的优势的。但是如果简单的把这样的命题和一个答案，复制到其他行业和其他场景中这是非常不明智的。特别是就你提的互联网金融和大数据金融两个领域。

换个说法我不认为去IOE在这两个行业里边会有多大的回响。因为毕竟银行也好、P2P公司也好，互联网金融的公司也好。及时目前国家没有进行非常严格的监管，但是国家如果有精力去监管某些行业的话，我认为金融行业必然是首当其冲的。所以我认为在未来的一段时间里边，对这些金融公司的监管数据是否能够放在云端，他们估计会比其他行业要高得多。

所以我还是认为去IOE做为一个短期的政治性的一个快板书，还是可以的。但是作为永远的一部小说大家来读，肯定是很有偏颇的。你能试想工商银行、招商银行，或者是上海证交所的数据是放在某一个云上面的。我目前还是会画一个大大的问号在里边，即是云也是一个私有云，在他们内部有严格的监管的。

5数据流分析的主要数据来源？在对市场情绪方面的跟踪研究有哪些进展？

数据流分析的主要数据来源在欧美市场上几乎所有投资领域的公司或者是证券交易公司，他们都有。因为他们的行业分工比较精细，所以都会有专门的数据提供商。各种各样的数据分析公司，都会成为这些真正的金融公司或者是投资公司的数据来源，他们会买数据。已经不太会去自己做数据收集和数据整理的工作，这个成本对他们来说恰恰是社会分工的一个体现，他们愿意付。

提到对市场情绪方面的研究，我目前没有看到有更多的进展。其实大家很多时候还是在社交媒体上去获取。当然我个人认为facebook对我来说是不成功的。因为他的隐私性实在是太糟糕了，所以基本上凡是想抓个人隐私的数据在facebook上都一览无遗。这点微信做的就好得多。饿阿。我们也知道有欧洲的基金公司有专门基于市场情绪方面的算法来决定它的投资方向。这也是一个成功案例吧！