Machine Learning Foundations 3: Types of Learning

Machine Learning Foundations 3: Types of Learning


 
 

内容

  1. 根据资料输出结果不同来分类:classification,regression,structured
  2. 根据资料输出的标记不同来分类:supervised,unsupervised,simisupervised,reinforcement(增强)
  3. 根据取得资料的方法不同来分类:batch,online,active
  4. 根据资料输入的抽象不同来分类:concrete, raw, abstract

 
 


 
 

上一节讲到的是对于回答是非题,我们可以采用 PLA 来解决

 
 


 
 

先复习一下是非题:例如银行要不要给顾客发信用卡,给机器资料,机器给出答案要或者不要。

两种可能性习惯用正负1来表示。

 
 


 
 

用图来表示就是给出一堆有标识的点,机器会把区域划分成两部分分别表示正负1的区域。划分可以是直线曲线甚至其他不规则划分方式。

 
 

二元分类是最基本的问题。

 
 


 
 

那么如果我们今天不是要把问题分成两类,就是多类问题。

 
 

譬如分美元铜板,有四种。

如果我们给机器的是硬币的重量,如图所示,我们希望机器可以通过相关数据分硬币为四类。这就是 multiclass 问题。

 
 

其他例子:

手写数字分类 0-9

一张图里面是什么水果

电子邮件分类:重要的,社交的,广告的,等等

 
 

Recognition 领域有非常多的应用。

 
 


 
 

对于医院来说:

二元分类解决的是 这个病人生病还是没有生病

多元分类解决的是 这个病人得的是什么类型的病

 
 

regression解决的是 这个病人刚动完手术,大概要多久才能恢复

这里的输出是一个范围,这样的问题在统计里面就是回归分析

 
 

线性回归就是一个典型的回归分析。

 
 

回归分析应用:

预测明天股票的涨跌,天气的状况

 
 

这个问题在统计里面已经研究很多年,里面的很多工具会用到机器学习里面。

 
 


 
 

来更复杂的:自然语言辨识

写出一段话,能不能知道这段话里面每个词的词性。

自动词性标注是自然语言里面的重要问题。

 
 

如果输入是个句子,一个词的词性与所在句子的位置有关。

这是一种结构性关系,是一个结构性关系的学习与分类的问题。

结构化的学习

 
 

这个问题很复杂,但是应用很广泛。

 
 


 
 

简单总结:根据输出来分类,机器学习的问题可以包括:

是非题(0/1);

回归分析(n);

结构化学习。

 
 

下面讲得比较多的是是非题和回归分析的方法。这里分类不止这些,这里只是常用的。

 
 


 
 

图书馆门禁系统,分类人群做不同收费,根据人脸识别。

 
 


 
 

答案:2

四类别分类问题。

 
 


 
 

铜板加相关资料 喂给机器,然后机器给结果。

 
 

这样的方式是 监督学习

 
 

这是一个完整的教学,告诉你是什么铜板,每个铜板的特点是什么,然后让你去学习。

 
 


 
 

这里是非监督学习,聚类

 
 

告诉你这些都是铜板,让你自己想办法分类。不是教你说各个类别有什么特点,然后告诉你应该怎么分。

 
 


 
 

分群是一个相对比较难的。因为你都不知道要分几类,该怎么定制划分标准。

 
 


 
 

非监督学习,就算不用输出,我们也可以通过资料来学出一些东西。

 
 

譬如说分布的疏密,可以应用于交通导流。

譬如说找出不合群的,可以用于网络安全里面找出入侵者。

 
 

非监督学习的实现方法更多样。

 
 


 
 

混合方式(混合监督学习,非监督学习):半监督学习

 
 

做法是有一堆资料,只有其中一些是已经知道的分类的,剩下的不知道。

这个应用很广泛,譬如一大堆照片,已经人工分类了一些,然后机器自动去区分剩下的所有,来根据资料本身特征和少数标记的资料来区分。

 
 

上面三种时最基本的学习方式。

 
 


 
 

一种不一样的机器学习方式:

 
 

你想一下你是如何教宠物坐下的。你很难直接输出指令让宠物听懂,也不能去示范教学,但是可以通过惩罚机制来告诉宠物的选择是否正确。

 
 

这里注意的是两点:

你每次都是告诉宠物对还是不对,分类标准不是最期望的而是相对正确方向的。还要有惩罚奖励机制。

 
 

譬如:输入广告系统,用户点击就是好,不点击就是不好,很多轮以后学到的就是一个用户比较喜欢点击的广告系统。

 
 

这样的学习动作是序列化的发生的。

 
 


 
 

至此一共是四种学习方式:

  1. 监督式(核心)
  2. 非监督试
  3. 半监督试
  4. 增强试

 
 


 
 

一个公司做树的辨识系统,是一个什么样的问题?

 
 


 
 

答案3

 
 


 
 

Batch Learning

 
 

收集一堆完整的资料并手动分类,然后喂给机器得到g,然后后续分类使用这个g来分类。

 
 

特点是:

成批喂资料给机器分类

 
 


 
 

应用:

收集一堆分好的电子邮件来学习,医院癌症病人资料来学习,等等

 
 


 
 

但是很多时候的应用是:

 
 

今天你收到一份邮件,机器判断是不是垃圾邮件,你回答是不是,根据你回答的结果来调整g,明天再来几分邮件,在用新的g来判断新的。

 
 

特点:

线性的线上学习方式

 
 

PLA 非常适合改造成线上学习这种方式。

增强试学习就是这种线上试学习方式。

 
 

这里我们希望的是每一轮的g越变越好

 
 


 
 

哲学上:

batch:填鸭式教育

online:启发式教学

但是从机器的角度,这两种方式都是被动的学习。

 
 

这几年新的发展方向:让机器问问题,主动式学习

 
 

上面的橙色线:机器提问我有一个输入,然后你得回答机器是什么,来高效率的提升学习能力。

 
 

使用的场合也是资料标注很贵的场景。

 
 


 
 

总结:和机器沟通的方式

Batch

Online

Active

 
 

这课主要在batch的方式。

 
 


 
 

想要标记照片分类

 
 


 
 

答案 3

 
 


 
 

最后一部分谈谈 输入的部分有些什么样的变化?

 
 

信用卡的问题:输入就是申请资料(concrete feature:可以数字化的资料)

 
 


 
 

铜板:大小,重量

信用卡:过去信用资料

癌症:病人病历

 
 

通常都带有人类的智慧,专业知识。(domain knownledge)

 
 

这些都是比较简单的问题

 
 


 
 

例如:手写数字的辨识

 
 

这里输入会是:

对称性,密度(所占多少格)

 
 


 
 

譬如区分1,5两个数字,密度就可以区分的很好。

 
 

以上这些都是 concerte feature

 
 

还能怎么做:图片变成 16*16 的格子取0、1表示是否填充,拉升出来就是一个256位的向量。

这里就抽象化了,常用于视觉声音。

 
 

资料抽象化抽取特征

人做:特征工程

机器做:深度学习就是在大量的非监督学习资料里面抽取特征。

 
 


 
 

最困难的:非常非常抽象

 
 

预测每个使用者给每部歌曲几分

 
 

输出是0-100的实数

输入:使用者和歌曲分别的编号和分数,可以看作一张图表

 
 

因此我们要做的就是 帮助使用者抽取歌曲的特征,然后再根据歌曲特征和用户喜好再匹配学习。

 
 

这个方式也很实用,特征抽取更抽象。

 
 


 
 

总结:三种不同的输入形式

  1. Concerte
  2. Raw
  3. Abstract

     
     

 
 


 
 

线上图像学习

 
 


 
 

答案 4

都可以考虑

 
 


 
 

总结见开头

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

1 Comment for “Machine Learning Foundations 3: Types of Learning”

Comments are closed.