数据挖掘和互联网广告①广告作弊分析前瞻

互联网广告

作为广告的一种新形式，互联网广告在过去的10年发展远超其他的广告形式。2010年在美国，互联网广告市场就以超过250亿美元的规模超越报纸等其他传统媒体，成为继电视类媒体之后的第二大广告载体。并且发展趋于成熟，越来越稳定。而相对来看，其他的广告形式，户外、电视、广播、纸媒（杂志和报纸）等或是持平，或是有一定程度的下滑。在美国和欧洲比较发达的地区，由于经济发展不好，广告市场的整体盘子没有增加，而纸媒下降的趋势非常明显，下降的这部分都加在互联网广告上了。即使涵盖2008年美国金融危机，互联网广告的每年增长率也在15%以上。

在发展中国家我们也看到类似的趋势。图1是MarketingCharts.com制作的关于全球各种媒体上广告投放占比的示意图。我们可以看到互联网广告在全球广告市场中的占比从2010年的14.4%到2014年会增长到约21%，而对应的报纸作为广告媒体所占的份额正好相反，会从2010年21%的份额下降到2014年的17%。

图1：来自Zenith Optimedia的全球广告支出变化图

部分互联网公司的收入有相当比例来自于互联网广告，比如巨无霸Google，2012年97%的收入来自互联网广告，主要来自搜索页面上的AdWords关键字竞价和谷歌网盟的AdSense。而中国的百度，2011年99.6%的收入来自于互联网广告。所以我们说Google和百度也可以算是互联网广告公司。互联网上的新贵们，脸谱网Facebook，推特 网Twitter和2012年最热的针趣网Pinterest，绝大部分收入也是来自于互联网广告，特别是Google在2011年广告收入高达365亿美元。我们来看两个在报纸和杂志上投放广告费用的大概数据。

在图2中我们可以看到，假设每一个收到报纸和周刊的人都看到客户投放的广告，每千次展现成本大概分别在5.78元和28.01元，而且并不一定能保证用户一定会看到这一广告。而在互联网上投放广告，费用只是这一数字的几分之一、几十分之一甚至几百分之一。

图2：纸媒广告支出计算示意图

图3是艾瑞咨询公司根据中国企业公开财务报告、行业访谈预测出的中国互联网广告数据。在中国，过去的几年，每个季度都有超过环比40%以上的增长。

图3 艾瑞咨询公司提供的中国网络广告市场规模

和传统广告相比，网络广告有着无可比拟的优势，下面详细讲解：

（1）覆盖面广，传播速度快

网络广告的传播范围广泛，可以通过互联网络的渠道把广告信息全天候、24 小时不间断地传播到世界各地。目前全球网民已接近20亿，中国也超过了5亿，并且这些数字还每年成几何倍数的速度不断发展壮大。这些网民是网络广告的受众，他们可以在互联网上随时随意浏览广告信息 ，其传播的范围和速度是显而易见的。这些效果，传统媒体是无法达到的。

（2）形式多样，交互性好

网络广告的载体有文字、图片、视频等各种形式，只要受众对某样产品、某个企业感兴趣，仅需轻按鼠标就能进一步了解更多、更详细、更生动的信息，从而使消费者能亲身“体验”产品、服务与品牌。如能将虚拟现实等新技术应用到网络广告，让顾客如身临其境般感受商品或服务，将大大增强网络广告的实效。在传统媒体上做广告，发版后较难更改，即使可改动往往也需付出很大的经济代价。而在互联网上做广告能按照需要及时变更广告内容、及时改正错误。这样，经营决策的变化也能及时实施和推广。

（3）性价比高

各个媒体的优势各有所长，但是作为网络媒体却可以给所有媒体一个强有力的互补。比如说企业在电视媒体投放了广告，但是仅有短短的几秒钟，用户可能只是了解了这家企业的品牌名称，却无从了解更多的信息，一个意向客户很可能就这样流失了。但如果这家企业同时也做了网络广告，那么这个意向客户就可以通过网络广告得到更多的信息，从而真正意义上的成为这家企业的合作伙伴。

（4）效果可评估

网络广告可通过人群定向、地域定向和行为定向达到真正的精准投放，同时可以通过广告后台准确分析广告了解到有多少人看了广告，有多少人通过广告访问了企业网站，有多少人留言，有多少人有购买意向，让企业真正的掌握了主动权。在人体的感觉器官中，眼睛接受信息的比例占70%，而在互联网上通过眼睛传递的信息高达95%。所以广告的文字和图片做的质量好坏，会直接影响到广告的效果。广告的主题是否明确，图片选择布局是否美观，文案是否有吸引力以及色彩搭配是否恰当，在一定程度上决定了广告的效果，如图4所示。但是什么样的广告形式和投放方式是最优的，这些就要靠数据来说话了。

图4 网络广告示意图

互联网广告的精准性是毋庸置疑的，特别是如果我们能够通过社会化媒体上的信息和用户行为分析找到客户的具体信息和兴趣喜好等，与此相关的隐私问题我们以后会详细介绍。

如果我们发现一个用户把他在LinkedIn主页上在某个公司的职位从主管改成经理，那么可以推断他刚被提升，这也意味着他的薪水可能有一定程度的提升。这时给他推送新车的折扣劵或者某种奢侈品的广告，效果可能会不错。如果我们发现一个用户把他在Facebook的主页上的个人状态由单身转变成在恋爱中，那么我们可以给他发送双人旅游的优惠劵或者是他附近地区买一送一的餐馆折扣，被点击的概率会比较高。如果我们发现一个用户在论坛上抨击苹果公司iPhone5上的地图功能，我们可以适时发送广告推荐三星公司最新款手机。这样的例子还可以举出很多。总而言之，互联网广告是所有广告形式里唯一能够精准定位客户的广告形式，而到底能有多精准，则是依赖于我们手里的数据。

广告作弊行为

互联网广告最大的敌人就是作弊。从Facebook走上市流程开始，关于网络广告的负面消息就接连不断。继GM（美国通用汽车公司）结束和Facebook的广告合作之后，在网上发布音乐和推广歌手的数字媒体公司Limited Press在2012年7月宣布将要结束与Facebook的广告合作关系。Limited Press，现在更名为Limited Run，宣称他们公司在Facebook上80%的广告点击均来自于外挂程序，使得他们获取真实用户的广告费用远超预算。

他们在Facebook的公司官方网页上披露了公司计划删除在Facebook上的品牌页面，因为公司发现只有20%的广告点击来自于真实的Facebook用户，剩下的全部来自于外挂程序，也就是我们熟知的机器人程序。这家公司使用了6款分析工具再加上自己开发的分析工具对广告来源进行追踪，结果发现外挂程序点击占了多数。公司发言人表示，“在我们进行广告系统测试时，我们发现了一些非常奇怪的事，Facebook会向我们收取广告点击费，但是我们确定只有约20%的广告是来自于正常的用户点击。”在这之后，Facebook做出了反应，并表示通过他们的系统分析没有发现Limited Run所说的机器人程序的迹象。Limited Run公司在网上说，他们的分析软件需要浏览器开放JavaScript来分析客户来源及属性，但是发现80%的广告点击是来自于那些在客户端关闭了JavaScript的用户，使点击来源无从得知。公司又称，按照公司员工的经验，正常情况下，约1%～2%的点击会来自于关闭了JavaScript的用户，而现在超过80%的点击用户，此行为一定是不正常的。

我们且不说Limited Run做的判断是否合理，也不推断是谁一定想要以此得利，不过在网络上点击作弊的行为确实是一个普遍现象，这使广告效果大打折扣。除了Facebook，在互联网广告领域的几大商业巨头，包括谷歌、雅虎、百度都也曾因为类似事情而被质疑。

特别对于广告联盟这种新兴的互联网广告模式，广告主通常是按点击收费（CPC），而不是按展现收费（CPM）。点击次数越多，广告主花费越多，而展示广告的网站主也收益更多。在互联网广告联盟PPC（Pay Per Click，按点击付费）的商业模式下，点击作弊是指为了谋取自身利益，采取不正当的手段对广告主投放的广告进行恶意点击。如果存在大量的虚假点击，效果会大打折扣。

对于广告主来说，如果有80%的量是作弊，那么没有作弊的理想效果应该是现在他所看到的实际效果的5倍，也就是说他的投资回报率可以高5倍。可以说，点击作弊已经成为悬挂在整个互联网广告行业上的“达摩克利斯之剑”。由于利益争夺相对更为激烈和该行业本身的脆弱性，使识别广告联盟上的点击作弊更为重要。

网站联盟广告

我们来看一下互联网广告联盟PPC（Pay Per Click，按点击付费）的商业模式。在网站联盟中，有三个主体：需要做广告的广告主、提供广告位的网站主和承载广告运作的广告联盟平台。

而网站联盟的大致运营过程有以下四个步骤：

（1）广告主登录联盟平台，将自己的广告代码、广告创意、需投放的广告类型以及对于网站类型的要求和对广告位的要求写入联盟平台，在这个过程中需预先支付投放的佣金。

（2）联盟平台对广告主的广告进行审核，将审核通过的广告挂在符合要求的前台页面上。

（3）网站主登录联盟平台，在平台上通过自动过滤和行业内容以及形式匹配，登记合适的广告位，并将广告投放代码放置在自己的网站上。

（4）正式投放开始，这时如果有用户点击网站主上广告主的某一个广告，就有费用产生了。

收费方式有CPD（按时间段付费）、CPM（按千次展现付费）、CPC（按点击付费）和CPA（按最终效果付费）等多种。不过在众多广告联盟中，CPC是最常用的方式，谷歌的Google AdSense，百度网盟和盘石网盟采用的都是CPC方式收费。在CPC的模式下，一旦用户点击了广告主的广告，广告主就需支付报酬，联盟平台按照事先制定的提成比例把这份报酬的一部分分给网站主。而如果只有展示，没有点击，那么是没有任何费用发生的。

点击作弊是指为了谋取自身利益，采取不正当的手段对广告主投放的广告进行恶意点击。由上述的网盟运营过程我们可以看出，作为投放广告的广告主本身，大量的欺诈点击既不能带来最终的转化又会引起额外的成本，不可能参与作弊。联盟平台作为整个广告联盟的构建者，点击作弊现象泛滥会使联盟的信用大幅下滑、联盟参与者锐减，而且整个作弊识别的任务都是联盟平台在做，作弊可能性也不大。因此最有可能发生点击作弊的就是网站主和广告主的竞争者了。

对于网站主来说，点击作弊可以带来丰厚的额外收益，如果没有有效的作弊识别方法和严厉的惩罚措施，网站主可以肆无忌惮地进行作弊。而广告主的竞争者可以通过点击作弊来达到虚耗广告主的广告费用，减弱对方的竞争力的目的，也有一定的作弊的动机。不过，由于网站联盟的海量广告位和随机展现，广告主的竞争对手很难找到对应的广告，所以相对有一定难度。我们在下一节会以网站联盟广告为例，讲述怎样通过数据挖掘方式提高广告的转化率和应对网站联盟上的广告作弊行为。