All Machine Learning

Machine Learning Foundations 6: Theory of Generalization

    一般化理论:机器是如何做到举一反三的     内容: 只要你有一个breakpoint,他其实是对未来每一个的数量都加上了很大的限制,也就是上面公式的数学归纳法,最后可以得到上限可以用一个多项式来表示,这个多项式可以取代原来公式中的M,从而证明2维情况下有了一个breakpoint一定是可以学习的。         上一节讲到: 因为M无限大的时候没有办法做机器学习,因此提出了成长函数m来取代M。     这里将探讨两个问题: 这个m到底是不是长得很慢 这个m如果真的长得很慢,那到底其能不能取代M         …

All Machine Learning

Machine Learning Foundations 5: Training versus Testing

    训练和测试过程:     首先把learning拆解成两个问题: Ein/Eout相似;Ein约等于0 然后考虑合并M的情况能有几种,也就是成长函数 growth function 再考虑成长函数的性质,到底从哪里开始出现曙光,就是break point             上一节讲到在一定条件下机器学习是可行的。 这里开始探讨无限大的 h 会造成什么样的问题。 …

All Machine Learning

Machine Learning Foundations 4: Feasibility of Learning

        这里探讨的是:机器学习是否是可行的     一开始说机器学习做不到 但是加上一些统计上的假设,譬如资料的产生方式,表现衡量方法,就可以做推论做验证,就是机器学习。         上一节主要说的是机器学习的分类 这一节首先说什么情况下机器学习做不到,在做不到情况下怎样处理可以变的做得到。         首先看个小问题:     …

All Machine Learning

Machine Learning Foundations 3: Types of Learning

    内容 根据资料输出结果不同来分类:classification,regression,structured 根据资料输出的标记不同来分类:supervised,unsupervised,simisupervised,reinforcement(增强) 根据取得资料的方法不同来分类:batch,online,active 根据资料输入的抽象不同来分类:concrete, raw, abstract         上一节讲到的是对于回答是非题,我们可以采用 PLA 来解决         先复习一下是非题:例如银行要不要给顾客发信用卡,给机器资料,机器给出答案要或者不要。 两种可能性习惯用正负1来表示。 …

All Machine Learning

Machine Learning Foundations 2: Learning to Answer Yes/No

    内容:     线性可分相关处理 详细介绍了 PLA 以及变形:口袋算法         上一讲说的就是     机器学习 通过演算法A学习资料D,从H集合里面选择最符合数据D表现的G     今天讲的是怎么样的机器学习算法可以做是非题?   …

All Machine Learning

Machine Learning Foundations 1: The Learning Problem

    课程基本信息         机器学习 学习的两条路径     理论:数学之美,但是不会用 方法:直接一个一个例子使用,但是不知道该在什么情况下用什么。         这门课里面是从基础切入。 每一个学习机器学习的人都因该会的东西。 不代表简单。     …