学习中的知识

19.2 学习中的知识

前一节中描述了归纳学习的最简单背景。为了理解先验知识的角色，我们需要谈一谈假设、实例描述以及分类之间的逻辑关系。令 Descriptions（描述）表示所有训练集中实例描述的合取式， Classifications（分类）表示所有实例分类的合取式。那么一个“解释观察事实”的Hypothesis（假设）就必须满足下面的属性（|= 表示“逻辑蕴涵”）：

Hypothesis∧Descriptions|= Classifications （19.3）我们把这种关系称为蕴涵约束，其中Hypothesis是“未知的”。纯粹的归纳学习意味着求解这种约束问题，在这种约束中，Hypothesis 是从某个预先定义的假设空间中得到的。例如，如果我们把决策树看作一个逻辑公式（参见第 19.1.1 节中的公式（19.1）），那么一棵与所有的实例都保持一致的决策树就能满足公式（19.3）。如果我们对假设的逻辑表示形式没有任何限制，那么Hypothesis=Classifications当然也同样满足约束。奥卡姆剃刀原则告诉我们优先选择那些小的、一致的假设，所以我们尽量做得更好而不是简单地把实例记忆下来。

归纳学习这种简单的与知识无关的图景一直持续到20世纪80年代早期。现代的方法则是设计已经知道某些知识的智能体并试图学习到更多的知识。这也许听上去不是非常深刻的见解，但是它使得我们设计智能体的方式有了很大的不同。这也许还和我们关于科学本身是如何工作的理论有某种相关性。图19.6中显示了基本思想的示意图。

图19.6 随着时间变化利用并添加背景知识储备的累积学习过程

如果我们想要建造一个利用背景知识进行自主学习的智能体，这个智能体必须首先具备获取背景知识的某种方法，以便用于新的学习事件。这个方法本身必须是一个学习过程。因此智能体的生命历史可以刻画为累积的或增量的发展。大致上，智能体可以从什么知识都没有开始，如同一个纯归纳程序一样在真空条件下进行归纳。但是一旦它吃了知识树上的“禁果”，它就不能再继续进行这样朴素的推测，而应该利用它的背景知识有效地学习更多的知识。那么现在的问题就是如何实际做到这一点。