Yann LeCun认为，「能量模型」开辟了通往「抽象预测」的道路，为能够进行规划的人工智能提供了「统一世界模型」。

编译 | 钱磊

编辑 | 陈彩娴

继自监督学习之后，Yann LeCun 在接受 ZDNet 的最新访谈中又着重探讨了他在几年前曾大篇幅推崇的概念：「能量模型」（energy-based models）。

什么是能量模型？

Yoshua Bengio、 Ian Goodfellow 和 Aaron Courville 等人在2019年出版的《深度学习》（又称「花书」）一书中将「概率函数」定义为「描述了一个或一组随机变量呈现其每种可能状态的可能性大小」，而能量模型则简化了两个变量之间的一致性。能量模型借用统计物理学的概念，假设两个变量之间的能量在它们不相容的情况下上升，在一致的情况下则下降。这可以消除将概率分布“标准化”过程中出现的复杂性。

在机器学习领域，能量模型是一个「老」概念，至少可以追溯到20世纪80年代。但近年来，越来越多成果使能量模型变得更可行。据ZDNet报道，近年来随着对能量模型的思考不断深入，LeCun围绕该概念做了几次演讲，包括2019年在普林斯顿高等研究院的一次演讲。

最近，LeCun在两篇论文中描述了能量模型的研究现状：一篇是 LeCun 与Facebook AI 实验室（FAIR）的同事于去年夏天共同发表的“Barlow Twins”；另一篇则是他与 FAIR、Inria 合作发表于今年1月的“VICReg”。

正如LeCun在采访中所说，他目前的研究与量子电动力学有一些有趣的相似之处，尽管这不是他的重点。他关注的重点是人工智能系统的预测可以进步到何种程度。

LeCun自己开发了一种叫做“联合嵌入模型（joint embedding model）”的现代能量模型，他相信这能为深度学习系统带来“巨大的优势”，这个优势就是“抽象表示空间中的预测”。

LeCun认为，这种模型为“预测世界的抽象表征”开辟了道路。抽象预测能力是深度学习系统广义上的发展前景，当系统处于推断模式时，这种抽象预测机器的“堆栈”可以分层生成规划场景。

这种模型可能是实现LeCun心目中的统一“世界模型”的重要工具，而这种统一的“世界模型”将推进实现他心目中的自主人工智能，自主人工智能能够通过对场景之间的相关性和图像、语音和其他形式输入数据的相关性建模来进行规划。

以下是ZDNet与LeCun通过Zoom的对话记录，内容有所编辑：