机器学习的五大流派

一开始，机器学习分为符号主义和联结主义两大学派，后来花生的大学教授Pedro Domingos在ACM Webminar上提出了机器学习的五大流派，即符号主义、联结主义、进化主义、贝叶斯派、行为类比主义。

符号主义：使用符号、规则和逻辑来表征只是和进行逻辑推理

符号主义属于现代人工智能范畴，基于逻辑推理的智能模拟方法模拟人的智能行为。其原理主要为物理符号系统假设和有限合理性原理，长期以来，一直在人工智能中处于主导地位。

其实质是模拟人的左脑抽象逻辑思维，通过研究人类认知系统的功能机理，用某种符号来描述人类的认知过程，并把这种符号输入到能处理符号的计算机中，就可以模拟人类的认知过程，从而实现人工智能。所以可以把符号主义的思想简单归结为“认知即计算”。

联结主义：使用概率矩阵和加权神经元来动态地识别和归纳模式

联结主义是统合了认知心理学、人工智能和心理哲学领域的一种理论。联结主义建立了心理或行为现象模型的显现模型——单纯元件的互相连结网络。联结主义有许多不同的形式，但最常见的形式利用了神经网络模型。

联结主义赋予网络以核心性的地位，采纳分布表征和并行加工理论，强调的是网络的并行分布加工，注重的是网络加工的数学基础。20世纪80年代以来，网络取向的联结主义取代了符号取向的认知主义，成为现代认知心理学的理论基础。

进化主义：生成变化，然后为特定目标获取其中最优的

进化理论认为反向传播只是在模型中调整权重而已，但是并没有整个弄明白大脑的真正来源是什么。所以要搞清楚整个进化过程是如何进行的，然后在计算机上模拟同样的过程。

遗传算法是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。

贝叶斯派：获取发生的可能性来进行概率推理

贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。其基本思想是已知类条件概率密度参数表达式和先验概率，利用贝叶斯公式转换成后验概率，根据后验概率大小进行决策分类。基于概率统计的贝叶斯算法最常见的应用就是反垃圾邮件功能，贝叶斯分类的运作是借着使用标记与垃圾邮件、非垃圾邮件的关联，然后搭配贝叶斯推断来计算一封邮件为垃圾邮件的可能性。

行为类比主义：根据约束条件来优化函数（尽可能走到更高，但同时不要离开道路）

近来人工智能系统在深度学习上取得的进展可以概括为行为主义和认知主义。所谓行为主义，顾名思义，关注行为表现而忽略大脑和神经的作用；认知主义则着眼于构成行为的心理过程。