吴恩达:机器学习的六个核心算法

吴恩达:机器学习的六个核心算法

最近,吴恩达在其创办的人工智能周讯《The Batch》上更新了一篇博文,总结了机器学习领域多个基础算法的历史溯源。
文章开头,吴恩达回忆他的研究历程中曾有一次抉择:
多年前,在一次项目中,选择算法时,他不得不在神经网络与决策树学习算法之间做选择。考虑到计算预算,他最终选择了神经网络,在很长的一段时间内弃用增强决策树。
这是一个错误的决定,「幸好我的团队很快修改了我的选择,项目才成功。」吴恩达谈道。
他由此感叹,不断学习与更新基础知识是十分重要的。与其他技术领域一样,随着研究人员的增加、研究成果数量的增长,机器学习领域也在不断发展。但有些基础算法与核心思想的贡献是经得起时间考验的:
  • 算法:线性和逻辑回归、决策树等
  • 概念:正则化、优化损失函数、偏差/方差等
在吴恩达看来,这些算法与概念是许多机器学习模型的核心思想,包括房价预测器、文本-图像生成器(如DALL·E)等。
在最新的这篇文章中,吴恩达与团队调研了六种基础算法的来源、用途、演变等,并提供了较为详细的讲解。
这六种算法分别是:线性回归、逻辑回归、梯度下降、神经网络、决策树与k均值聚类算法。
1
线性回归:直的&窄的
线性回归是机器学习中的一个关键的统计方法,但它并非不战而胜。它由两位杰出的数学家提出,但200 年过去了,这个问题仍未解决。长期存在的争议不仅证明了该算法具有出色的实用性,还证明了它的本质十分简单。
那么线性回归到底是谁的算法呢?
1805 年,法国数学家 Adrien-Marie Legendre 发表了将一条线拟合到一组点的方法,同时试图预测彗星的位置(天体导航是当时全球商业中最有价值的科学方向,就像今天的人工智能一样)。

吴恩达:机器学习的六个核心算法

图注:Adrien-Marie Legendre 的素描画像
四年后,24 岁的德国神童 Carl Friedrich Gauss (高斯)坚称他自 1795 年以来一直在使用它,但认为它太琐碎了,无法写。高斯的主张促使Legendre匿名发表了一份文章,称“一位非常著名的几何学家毫不犹豫地采用了这种方法。”

吴恩达:机器学习的六个核心算法

图注:Carl Friedrich Gauss
斜率和偏差:当结果与影响它的变量之间的关系遵循直线时,线性回归很有用。例如,汽车的油耗与其重量成线性关系。
  • 汽车的油耗 y 与其重量 x 之间的关系取决于直线的斜率 w(油耗随重量上升的幅度)和偏置项 b(零重量时的油耗):y=w*x+b。
  • 在训练期间,给定汽车的重量,算法会预测预期的油耗。它比较了预期和实际的油耗。然后,它将平方差最小化,通常通过普通最小二乘技术,磨练 w 和 b 的值。
  • 考虑汽车的阻力可以生成更精确的预测。附加变量将线延伸到平面。通过这种方式,线性回归可以容纳任意数量的变量/维度。
普及的两个步骤:该算法立即帮助航海者追踪星星,以及帮助后来的生物学家(尤其是查尔斯·达尔文的堂兄Francis Galton)识别植物和动物的可遗传特征。这两项深入发展释放了线性回归的广泛潜力。1922 年,英国统计学家 Ronald Fisher 和 Karl Pearson 展示了线性回归如何适应相关性和分布的一般统计框架,使其在所有科学中都有用。而且,近一个世纪后,计算机的出现提供了数据和处理能力,可以更大程度地利用它。
应对歧义:当然,数据永远不会被完美地衡量,有些变量比其他变量更重要。这些生活事实激发了更复杂的变体。例如,带有正则化的线性回归(也称为「岭回归」,ridge regression)鼓励线性回归模型不要过多地依赖于任何一个变量,或者更确切地说,均匀地依赖于最重要的变量。如果为了简单起见,另一种形式的正则化(L1 而不是 L2)会产生 lasso(压缩估计),鼓励尽可能多的系数为零。换句话说,它学会选择具有高预测能力的变量并忽略其余的。弹性网络结合了这两种类型的正则化。当数据稀疏或特征看起来相关时,它很有用。
在每个神经元中:现在,简单的版本仍然非常有用。神经网络中最常见的神经元类型是线性回归模型,随后是非线性激活函数,使线性回归成为深度学习的基本组成部分。
2
逻辑回归:跟随曲线
曾经有一段时间,逻辑回归只用于对一件事进行分类:如果你喝了一瓶毒药,你可能会被贴上的标签是“活着”还是“死去”呢?时代变了,今天,不仅呼叫紧急服务为这个问题提供了更好的答案,而且逻辑回归也成为了深度学习的核心。
毒物控制
逻辑函数可以追溯到 1830 年代,当时比利时统计学家 P.F. Verhulst 发明它来描述人口动态:随着时间的推移,指数增长的初始爆炸随着它消耗可用资源而趋于平缓,从而产生特征逻辑曲线。一个多世纪过去后,美国统计学家 E. B. Wilson 和他的学生 Jane Worcester 又设计了逻辑回归来计算给定有害物质有多少是致命的。

吴恩达:机器学习的六个核心算法

图注:P.F. Verhulst
拟合函数:逻辑回归将逻辑函数拟合到数据集,以便预测给定事件(例如,摄入士的宁)发生特定结果(例如,过早死亡)的概率。
  • 训练水平调整曲线的中心位置,垂直调整曲线的中间位置,以最大限度地减少函数输出与数据之间的误差。
  • 将中心调整到右侧或左侧意味着杀死普通人需要或多或少的毒药。陡峭的坡度意味着确定性:在中途点之前,大多数人幸存下来;超过一半,「就只能说再见了」(死亡的意思)。缓坡更宽容:低于曲线中部,一半以上幸存;再往上,只有不到一半的人会幸存。
  • 在一个结果和另一个结果之间设置一个阈值,比如 0.5,曲线就变成了一个分类器。只需在模型中输入剂量,您就会知道您应该计划聚会还是葬礼。
更多结果:Verhulst 的工作发现了二元结果的概率,忽略了进一步的可能性,例如中毒受害者可能会进入来世的哪一边。他的继任者扩展了算法:
  • 在 1960 年代后期,英国统计学家 David Cox 和荷兰统计学家 Henri Theil 独立工作,对具有两种以上可能结果的情况进行了逻辑回归。
  • 进一步的工作产生了有序逻辑回归,其中结果是有序值。
  • 为了处理稀疏或高维数据,逻辑回归可以利用与线性回归相同的正则化技术。

吴恩达:机器学习的六个核心算法

图注:David Cox
多功能曲线:逻辑函数以相当准确的方式描述了广泛的现象,因此逻辑回归在许多情况下提供了有用的基线预测。在医学上,它可以估计死亡率和疾病风险。在政治学中,它预测选举的赢家和输家。在经济学中,它预测商业前景。更重要的是,它在各种各样的神经网络中驱动一部分神经元(其中非线性是 Sigmoid 函数)。
3
梯度下降:一切都在下坡
想象一下黄昏后在山上徒步旅行,发现脚下什么都看不到。而且您的手机电池没电了,因此您无法使用 GPS 应用程序找到回家的路。您可能会通过梯度下降找到最快的路径。小心不要从悬崖上走。
太阳和地毯:梯度下降比通过陡峭的地形下降更有利。1847年,法国数学家Augustin-Louis Cauchy发明了近似恒星轨道的算法。60 年后,他的同胞 Jacques Hadamard 独立开发了它来描述薄而灵活的物体(如地毯)的变形,这可能会使膝盖向下徒步更容易。然而,在机器学习中,它最常见的用途是找到学习算法损失函数的最低点。

吴恩达:机器学习的六个核心算法

图注:Augustin-Louis Cauchy
向下爬:经过训练的神经网络提供了一个函数,该函数在给定输入的情况下计算所需的输出。训练网络的一种方法是通过迭代计算实际输出与期望输出之间的差异,然后更改网络的参数值以缩小差异,从而将输出中的损失或误差最小化。梯度下降缩小了差异,将计算损失的函数最小化。网络的参数值相当于地形上的一个位置,损失的是当前高度。随着你的下降,你可以提高网络计算接近所需输出的能力。可见性是有限的,因为在典型的监督学习情况下,该算法仅依赖于网络的参数值和损失函数的梯度或斜率——即你在山上的位置和你脚下的斜率。
  • 基本方法是向地形下降最陡的方向移动。诀窍是校准你的步幅。步幅太小,就需要很长时间才能取得进展;步幅太大,你就会跳入未知的领域,可能是上坡而不是下坡。
  • 给定当前位置,算法通过计算损失函数的梯度来估计最快下降的方向。梯度指向上坡,那么该算法就是通过减去梯度的一小部分来以相反的方向前进。称为学习率的分数 α 决定了再次测量梯度之前的步长。
  • 反复做这几个步骤,希望你能到达一个山谷。恭喜!
卡在山谷里:太糟糕了,你的手机没电了,因为算法可能没有把你推到凸山的底部。你可能会陷入由多个山谷(局部最小值)、山峰(局部最大值)、鞍点(鞍点)和高原组成的非凸面景观中。事实上,图像识别、文本生成和语音识别等任务都是非凸的,并且已经出现了梯度下降的许多变体来处理这种情况。例如,该算法可能具有帮助它放大小幅上涨和下跌的动量,从而使其更有可能到达底部。研究人员设计了如此多的变体,以至于看起来优化器的数量与局部最小值一样多。幸运的是,局部最小值和全局最小值往往大致相等。
最优优化器:梯度下降是寻找任一函数的最小值的明确选择。在可以直接计算精确解的情况下——例如,具有大量变量的线性回归任务中——它可以逼近一个值,而且通常速度更快、成本更低。但它确实在复杂的非线性任务中发挥了作用。凭借梯度下降和冒险精神,你可能可以及时赶出山区吃晚饭。
4
神经网络:寻找函数
让我们先把这个问题弄清楚:大脑不是一个图形处理单元集,如果它是的话,那它运行的软件要比典型的人工神经网络复杂得多。而神经网络的灵感来自大脑的结构:一层层相互连接的神经元,每个神经元根据其相邻状态来计算自己的输出,由此产生的一连串活动形成了一个想法——或识别出一张猫的照片。
从生物到人工:大脑通过神经元之间相互作用来学习的想法可以追溯到 1873 年,但直到 1943 年,美国神经科学家 Warren McCulloch 和 Walter Pitts 才利用简单的数学规则建立了生物神经网络模型。1958 年,美国心理学家Frank Rosenblatt开发出感测器——这是一种在打卡机上实现的单层视觉网络,旨在为美国海军建立一个硬件版本。

吴恩达:机器学习的六个核心算法

图注:Frank Rosenblatt
越大越好:Rosenblatt 的发明只能识别单线分类。之后,乌克兰数学家 Alexey Ivakhnenko 和 Valentin Lapa 通过在任意层数中堆叠神经元网络,克服了这一限制。1985 年,独立工作的法国计算机科学家 Yann LeCun、David Parker 和美国心理学家 David Rumelhart 及其同事,描述了使用反向传播来有效训练此类网络。在新千年的第一个十年中,包括 Kumar Chellapilla、Dave Steinkraus 和 Rajat Raina(与吴恩达合作)在内的研究人员通过使用图形处理单元进一步推动了神经网络的发展,这使得越来越大的神经网络能从互联网生成的海量数据中得到学习。
适合每项任务:神经网络背后的原理很简单:对于任何任务,都有一个可执行它的函数。一个神经网络通过组合多个简单函数构成可训练函数,每个函数由单个神经元执行。一个神经元的功能由称为「权重」的可调参数决定。给定这些权重和输入示例及其所需输出的随机值,就可以反复更改权重,直到可训练的函数能完成手头的任务。
  • 一个神经元可接受各种输入(例如,代表像素或单词的数字,或前一层的输出),将它们与权重相乘,乘积相加,并得出由开发人员选择的非线性函数或激活函数的总和。期间要考虑到它是线性回归、加上一个激活函数。
  • 训练修改权重。对于每个示例输入,网络会计算一个输出并将其与预期输出进行比较。反向传播可通过梯度下降来改变权重,以减少实际输出和预期输出间的差异。当有足够多(好的)例子重复这个过程足够多次,网络就能学会执行这个任务。
黑匣子:虽然运气好的话,一个训练有素的网络可以完成它的任务,但最终你要阅读一个函数,往往会非常复杂——包含数千个变量和嵌套的激活函数——以至于解释网络是如何成功完成其任务也是非常困难的。此外, 一个训练有素的网络只和它所学的数据一样好。例如,如果数据集有偏差,那么网络的输出也会出现偏差。如果它只包含猫的高分辨率图片,那它对低分辨率图片的反应就不得而知了。
一个常识:在报道 Rosenblatt 于1958年发明的感测器时,《纽约时报》开辟了人工智能炒作的道路,报道中提到“美国海军期望拥有一台会走路、说话、看、写、自我复制和意识到自己存在的电子计算机雏形。” 虽然当时的感测器没有达到这个要求,但它产生了许多令人印象深刻的模型:用于图像的卷积神经网络;文本的循环神经网络;以及用于图像、文本、语音、视频、蛋白质结构等的transformers。它们已经做出了令人惊叹的事情,像下围棋时的表现超过了人类水平,在诊断X射线图像等实际任务中也接近人类水平。然而,它们在常识和逻辑推理方面的问题仍然较难应对。
5
决策树:从根到叶
亚里士多德是一个什么样的「野兽」?这位哲学家的追随者、第三世纪期间生活在叙利亚的 Porphyry 想出了一个合乎逻辑的方法来回答这个问题。他将亚里士多德提出的“存在类别”从一般到具体组合起来,将亚里士多德依次归入到每个分类中:亚里士多德的存在是物质的而不是概念或精神;他的身体是有生命的而不是无生命的;他的思想是理性的而不是非理性的。因此,他的分类是人类。中世纪的逻辑教师将这个序列绘制为垂直流程图:一个早期的决策树。
数字差异:快进到 1963 年,密歇根大学社会学家John Sonquist和经济学家James Morgan在将调查的受访者分组时,首次在计算机中实行了决策树。随着自动训练算法软件的出现,这种工作变得很普遍,如今包括 scikit-learn 等在内的各种机器学习库也已经使用决策树。这套代码是由斯坦福大学和加州大学伯克利分校的四位统计学家花费了10 年时间开发的。到今天,从头开始编写决策树已经成为了《机器学习 101》中的一项家庭作业。
空中的