All Machine Learning

Machine Learning Techniques Lecture 5: Kernel Logistic Regression

    内容:kernel logistic regression 一开始先把soft-margin SVM解释成一个和logistic regression有关的模型,他所在做的就是L2 regularization,对应到一个特别的hinge error measure。然后把SVM和logistic regression连上关系,SVM几乎就是L2-regularized logistic regression。如果是这样的话,有一个SVM的解,可以透过第二个阶段的训练的方式把它变成一个适用于soft binary classification的。如果硬要在z空间里面真的求解一个logistic regression的问题,也可以透过representer theorem做到,付出的代价是求解用的beta很多都不是0,计算量很大。         …

All Machine Learning

Machine Learning Techniques Lecture 4: Soft-Margin Support Vector Machine

    内容:soft-margin SVM 首先列出soft-margin SVM的形式表达,出发点是不坚持所有的已知数据点不一定全部要分对,所以增加了一个参数用来控制设定违反分类结果的程度。推倒的时候也是一个QP问题,所以同样通过对偶问题来化简求解。soft-margin SVM可以告诉我们的是可以把数据通过alpha的值分为三类,边界上的,边界内的,边界外的,对于我们做资料分析很有用。另外我们还提到可以使用cross validation来选择模型参数。         上一讲:Kernel SVM 目的是通过把Dual SVM的转换和算内积步骤合起来成为Kernel消除空间维度对计算量的影响,这样以后对于任意维度的SVM都能做到。     Soft-margin support vector machine: …

All Machine Learning

Machine Learning Techniques Lecture 3: Kernel Support Vector Machine

    内容: kernel SVM 首先讲了把原来的dual SVM的转换和内积的两步合并为Kernel,通过这样回避了原来SVM计算涉及到的对空间维度的依赖,然后讲了多项式kernel和Gaussian kernel,最后对这些kernel做了简单的比较,如果想要的是效率的话往linear走,想要复杂边界的话往高纬度走。         上一次我们看的是SVM的对偶形式,其新的形式好像跟空间维度D没有关系,可以使用二次规划来求解。     今天来看一下 Kernel support vector machine,把好像拿掉,使SVm的形式真的和空间维度没有关系。     …

All Machine Learning

Machine Learning Techniques Lecture 2: Dual Support Vector Machine

        内容:dual(对偶) support vector machine     告诉大家一个新的SVM问题:SVM的对偶问题。对偶问题的出发点是希望移除维度d对于non-linear SVM运算的影响,然后推导出透过 KKT 条件就可以得到对偶的SVM,KKT条件可以转化为QP形式来求解对偶SVM,但最好需要根据SVM来优化QP的运算过程。解的结果你会发现那些活下来的alpha>0的点有重要意义,就是support vector,就这些直接决定了最胖的分隔线。             回顾:linear …

All Machine Learning

Machine Learning Techniques Lecture 1: Linear Support Vector Machine

    这里讲的是 linear support vector machine     我们的出发点是想要找那个比较胖的分隔线,更加兼容测量错误,然后把问题公式化以后开始简化他直到得到一个二次规划的标准问题,然后就可以求解了,这就是一个完整的方法。然后我们再回头来看这个方法的理论保障是减少了有效的Dvc,这样就可以做得更好,这就是SVM。         课程基本信息。     Coursera 前8周是基石课程,后面8周是技法课程。 华语授课,投影片授课。     …

All Machine Learning

Machine Learning Foundations 16: Three Learning Principles

    总结: Occam’s Razer: 简单是好的 Sampling Bias: 小心抽样的偏差 Data Snooping: 小心不要偷看资料         上一节: 很重要的工具 validation,留下一定的验证资料来模拟测试程序,来衡量和选择比较好的训练模型。     这一节: …

All Machine Learning

Machine Learning Foundations 15: Validation

    总结:Validation(验证) 从要选择一个好的模型来做切入:如果用 Ein 做选择是很危险的,但是你没有办法用 Etest 来做选择,我们用 Validation来做选择,我们做了相应的理论证明。 再讲 leave one out cross validation:假设validation最小达到1,然后做很多次取平均结果,理论上结果会比较好,但是这要花很大的计算上的时间。 实际上 leave one out vross validation没有那么可行,常用的是 v-fond …

All Machine Learning

Machine Learning Foundations 14: Regularization

    这里讲的内容: Regularizer hypothesis set 就是在原来 H 的基础上加上条件,这样以后可以把要解的问题转换成 augmented error 的问题,就是把 W 的平方加进去,这代表了我们会降低 effective 的 Dvc,最后我们说到 regularizer 是一个非常 general 的工具,我们可以设计使用 符合目标函数特性的,能说服自己的,又容易优化求解的 …

All Machine Learning

Machine Learning Foundations 13: Hazard of Overfitting

    内容 Ocerfitting 的概念: Ein 变低, Eout 变高 Overfitting 很危险很容易发生,原因是:两种noise,数据不够,目标太复杂 怎么解决 Overfitting:data cleaning/hinting/pruning, 等等,下面的课程继续介绍         上一次我们讲到原来我们的model是线性的,如果我们把linear model配上non-linear的transform,那就产生的非线性的model来扩展我们的学习,代价是付出额外的model的complexity。   …

All Machine Learning

Machine Learning Foundations 12: Nonlinear Transformation

    今天讲的是非线性的变换         上次讲到三个linear model都可以用在各式的classification问题上面,包括二元分类和多元分类的问题。但是这些model的重点是linear的,用线性的方式算一个分数,今天我们要把这个model衍生到non-linear的情况。         Linear hypotheses     如果今天是二元分类的话,视觉上就像切一条线,数学上表示就是 分数 = 权重 * …