干货：形而上的机器学习

Part 1: 机器学习的前世今生.

既然说机器学习，就从什么机器学习开始，相对而言，机器学习是一个比较泛的概念

初看的话，会觉得机器学习和人工智能，数据挖掘讲的东西很像，实际他们之间的关系可以概括为：

• 机器学习是人工智能的一个子方向
• 机器学习是数据挖掘的一种实现方式
  

举个简单的例子，给一些苹果和香蕉，人会通过特征的判断做区分，并且记忆这些特征，下次来了一个新的苹果或者香蕉的时候，就可以判断是香蕉还是苹果了

作为任意一个算法或者说用程序执行的数学问题，总需要一些输入，一些输出

对于机器学习而言，输入就是特征所构成向量的向量，或者说是一个矩阵

如果只有一个特征，输入就是一个向量了，当然，向量是一个弱化的矩阵概念，统一称作矩阵

• 目前机器学习的核心技术是基于矩阵的优化技术

• 输入:矩阵 – 待学习的信息
• 输出:模型 – 总结出的规则
  

因此，目前主流的机器学习技术就可以形式化为

• 输入:特征矩阵 X、标注向量 y

• X 是特征矩阵,不包括“样本名称”和“样本 标注”
• y 是标注向量,即“样本标注”那列
  

• 输出:模型向量 w

• 期望:X·w 尽可能接近 y

多种优化算法可以解 w,区别在于如何定义 “尽可能接近”

举个例子来说，要计算广告的CTR

这个例子中

目标是要根据已知的auc特征，猜测这个目标广告是否会被点击

例子中特征只有两个，query关键词和“是否飘红”，判断结果是是否点击

好了，现在问题和输入输出都有了，具体解决这个问题，就可以选用相关的算法了

前面定义里面有这么一个隐含的关键点：X w 尽可能接近 y

如何定义这个“接近”，思路不同，算法就不同

比如对于LR (Logistic Regression)和SVM（Support Vector Machine）是不同的，作为样例，可以按照下图理解

数学形式表示，就是

具体算法细节不是这里讨论的重点，在这两个算法中，“接近”的定义不同

学术的讲，就是“优化目标不同”

无论是否相同，我们都至少可以选一个优化目标了

有了优化目标，下面要做的就是如何求解这个优化目标了

一般现在用的思路主要是

L-BFGS，CDN，SGD这一些

把上面这一些要素放在一起，就有了完整的一个机器学习问题

Part 2: 如果你要用机器学习的方法去解决问题

就需要注意三个方面的优化了：

算法，数据，特征

我们下面分开来说

算法，就是优化目标 + 优化算法

从优化目标的角度，工业界往往没有那个资源或者实力去研究新的算法，大多是在使用已有算法或者在已有算法的基础上做扩展

从优化算法的角度，主要是三点：

• 更小的计算代价
• 更快的收敛
• 更好的并行
  

这三点也比较好理解，对于一个工程问题，计算代价小，机器就可以做别的事情，更快的收敛，就可以更好的把结果投入使用，更好的并行，就可以用现有的大数据框架解决问题

训练数据，就是尽可能和实际同分布的数据 + 尽可能充分的数据

机器学习算法中，由于期望的往往是总的误差最小，所以很可能讲数据量小的类目判别错误

如果样本数据和实际数据分布差异大的话，对于实际的算法效果一般都不好

充分的数据，这个就好解释了，数据越充分，训练就越充分，就好比考试前做的练习越多，一般效果越好

特征，就是尽可能包含足够多的需要识别对象的信息

一个简单的例子，如果只有一个特征，对于水果的判断往往偏颇，就会造成下面的结果

随着特征的增多，训练就会准确

往往对于一个工程问题来说，特征是决定最多的方面

一个算法方面的优化，可能只是优化了2~3%的效果，但是特征可能就是50~60%了，一个工程项目七八成的精力往往都是画在特征选取上的，比如百度CTR预测，特征数据目前就是100亿级别的。

最后来说一点关于deep learning 的东西

Deep learning和目前的机器学习算法（Shallow Learning）最大的区别在于特征层数

目前的机器学习算法主要是一层的，就是从特征直接推断是结果；

而Deep Learning和人类的处理问题的结果更接近，是由特征推断出一些中间层的结果，进而推断出最终结果的；

比如视觉是由一些点，进而判断出一些边，进而判断出一些形状，然后才是整体的物体的。

之前大量使用Shallow learning 主要是因为 Shallow Learning有很好的数学特征

• 解空间是凸函数
• 凸函数有大量的求解方法
  

凸函数优化可以参考

**Convex Optimization
**http://book.douban.com/subject/1888111/
**http://www.stanford.edu/~boyd/cvxbook/

而Deep Learning则容易找到局部最优解，而非全局最优解

Deep Learning解法可以参考

G. Hinton et al., A Fast Learning Algorithm for Deep Belief Nets. Neural Computation, 2006.

也可以看Andrew NG最近的课程

这里有最新的中文翻译

http://deeplearning.stanford.edu/wiki/index.php/UFLDL教程

本文整理自@戴文渊 机器学习简介 讲座