莫得最热，只好更热。

具身智能范围从来不缺新故事。

仅在夙昔一个月里，英伟达发布物理 AI 模子 Cosmos；阿里发布通达式全国模子 HappyOyster；腾讯开源混元 3D 全国模子 2.0；“AI 教母”李飞飞创办的 World Labs 也在 4 月发布了 Marble 1.1 系列模子，主打大圭臬 3D 场景生成。

全国模子、UMI（Universal Manipulation Interface）、物理仿真，这些也曾主要出当今学术论文中的主张，仍是成为行业权衡的高频词。

4 月 23 日，在由投中专揽的“第 20 届中国投资年会·年度峰会”上，峰瑞成本独创搭伙东说念主李丰直言，生成高维数据、全国模子和物理模子，是具身智能现时的三个投资热门新处所。

在他看来，这些新主张和新快乐的出现，根源在于枯竭数据，“具体来说，是东说念主类从来莫得积攒过大量包含这些物理量和物理全邦交互规矩的数据，咱们从来莫得大规模产生过这类数据。”

而阛阓对生成高维数据、全国模子和物理模子等处所的热捧，本质上齐是为了经管合并个问题——如安在莫得这类数据的情况下，依然能经管问题，完成想要达成的种种机器东说念主操作任务。

以下为李丰现场演讲实录，经投中网整理，转载时内容有微调——

当先恭喜投中20届年会班师举办，也特别感谢投中的邀请。当今作念投资东说念主其实不太容易，阛阓上日眉月异的主张太多，咱们总得不停地更新常识、抓续学习。

今天共享的，也仅仅咱们我方的一些不雅察和想法。最近又出现了绝裁夺的新滋事物和新主张，我从中挑了几个，跟寰球相通。

/ 01 /

具身智能的三件新事：UMI、全国模子、物理模子

莫得实践也能采数据：UMI 把录像头挂上了胸口

从去年年底运行，不论是好意思国照旧中国，齐出现了无实践机器东说念主的数据，叫 UMI（Universal Manipulation Interface）数据。

UMI 数据的生成，带来的戒指便是出现了许多新契机，以及许多看似有出息的创业公司，它们会提供多样各样的数据辘集修复。比如你最近看到的，有东说念主在胸口挂个录像头，再加上随机有触觉、随机莫得触觉的修复；不论是遥操作、手上戴的机械手，照旧径直用手完成种种动作，齐属于这一类，也便是生成高维数据。

全国模子：险些整个机器东说念主公司齐在讲的故事

当今更文静的主张是全国模子，今天险些整个机器东说念主公司齐会提到这个词。

全国模子试图通过引入新的三维数据，包含与物体构兵并改革其状态的交互数据，来构建一个新的模子，看这个新模子能否更好地相识东说念主类到底是怎样与物体进行交互，何况改革物体状态的。

面前国表里有绝裁夺新兴公司和闻明企业齐在涉足这个范围。海外的发展仍是热热闹闹，国内则算是刚刚起步。当今去看具身联系技俩，基本上寰球齐会讲全国模子的故事。

物理模子：阳光终于照到了数学系和物理系

全国模子里还有一个稍稍迥殊的小分支，叫物理模子。它背后的基本逻辑是：既然机器东说念主要与物理全邦交互，不如从物理全国过往的陶冶中鉴戒。这些过往的陶冶，便是行业里原来所说的仿真，或者叫物理仿真。

物理仿真本人，便是咱们对现实全国中存在的物理快乐，进行数学和物理层面的模拟、归纳与计较。今天这个小分支，便是把这些过往被称为仿真（不论是 CAE 照旧 CAD）的智商，重新融入到模子当中。

旨趣其实很肤浅，最终目标齐是为了处理和相识东说念主类怎样与物理全邦交互。

这和今天寰球讲的大言语模子不一样：大言语模子专注于处理数字信号联系的问题，不论是数字化的文本信息、数字化的像素，照旧视频信息；而当今要经管的问题是，桌上的杯子是什么情况、杯子倒了会何如样、何如把杯子提起来、何如把杯子放到别的地方——这些齐属于全国模子要隐蔽的内容，包含全国模子里阿谁小小的分支。

新故事所代表的三个处所

咱们梳理这些内容，是因为它们各自代表了不同的处所。

第一类没什么争议，生成高维数据，主如果把新的数据辘集要道和新的数据处理要道集结在了全部。

第二类是全国模子，面前由原来偏计较机或者大模子、作念 computer vision（计较机视觉）的东说念主在主导——不论是把计较机视觉用在东说念主脸识别上、用在自动驾驶上，照旧用在发展出大言语模子架构上。

第三类是物理模子。这个小分支里出现了许多作念数学和物理的东说念主。不错说，投资范围的晨曦，或者说早期投资的故事与泡沫，终于从计较机系挪出了一部分阳光，照到了数学、物理这些范围里。

/ 02 /

淆乱背后的两大挑战

淆乱背后藏匿挑战。

言语模子，猜想不了物理全国

第一个挑战是言语模子。咱们不从技艺架构上权衡，只说中枢问题——言语模子对物理全国进行猜想和生成数据的智商仍是不够用了。

不够用的一大发扬便是，它无法猜想物理全国中具体物品、具体对象的状态变化。

一个超等大模子，照旧一群模子相互打合营？

还有一个挑战，便是单一模子的局限。

就像大言语模子，如果最终要作念成单一模子，既要能相识东说念主类的意图，又要能相识语义（也便是知说念这个东西是什么），还要能猜想和相识物理量的改革——比如把这个东西端起来、把水倒出来、把东西碰倒，还要判断这个东西是重是轻、是什么材质，以及这种材质的弹性、硬度、摩擦力是高是低，等等。

如果一个模子能像这样包揽整个事情，既能相识意图、识别对象，还要猜想这些物理量，以及动作发生后物理量的变化，那这个模子最终会比当今大得多、复杂得多。

因为这是一个特别高维的任务。原来的言语模子只需要处理数字化的信息和像素，而当今要猜想这样多维度的内容，假如还想用单一模子来处理，以咱们东说念主类现存的假想力来看，这会是一个超等大的模子。终末需要若干数据来陶冶它，世界杯滚球app中国官方下载它会是何等复杂、何等破钞算力、何等破钞种种能源，今天咱们还不知所以，这是一个尚未有谜底的问题。

另一个可能的谜底是多模子交融：把多样各样的物理量移动为仿真联系的内容，让它与某一个基座模子进行交互。需要某类常识时，就调用这部分联系的智商；需要某种物理量时，就调用对应的模子。如果是这样，就会波及到大量模子的交叉、调用与交融——而这些模子之间怎样达成交叉、调用和交融，面前也莫得谜底。

这便是在前边三件事的基础上，仍是出现的两个挑战，不论咱们选拔哪一条发展旅途，齐绕不开。

根源：咱们莫得这种数据积攒

这个挑战的来源其实也很明确。寰球看到的这些快乐、新创业公司和新范式处所，根源齐是一样的——莫得数据。

具体来说，是东说念主类从来莫得积攒过大量包含这些物理量和物理全邦交互规矩的数据，咱们从来莫得大规模产生过这类数据。

是以不论是前边提到的第一、二、三类创业处所，本质上齐是为了经管合并个问题——如安在莫得这类数据的情况下，依然能经管问题，完成想要达成的种种机器东说念主操作任务。

/ 03 /

具身智能的三角不休

如果把具身智能的缱绻当作一个平面坐标系，便是三个不同的处所，我把它们称之为三角不休：复杂性、得胜率、泛化性。

具体来说：

1. 复杂性：要完成迥殊复杂的任务——这类任务对东说念主类来说不一定复杂，但对机器东说念主来说特别复杂。以及，这里说的不是领略联系的任务，而是操作类任务，也便是和手联系的任务。

2. 泛化性：让一个模子既能用在 A 类机器东说念主、B 类机器东说念主、C 类机器东说念主上，还能适配不同的利用场景。

3. 得胜率：有些场景是和实验联系的，有些是工业操作场景，再比如和剪头发、推拿联系的就业于东说念主的场景——彰着没东说念主但愿推拿时被摁断一根肋骨，也不但愿剪头发时被剪秃一块，这就波及到不同场景下的得胜率问题。

咱们梳理这些内容的原因，是因为当今寰球看到的大部分 demo（演示版块）齐离实践利用有些差距。这些 demo，齐在极力阐发，这个三角形的面积不错变大，不错向三个维度推广——如果是空间坐标系，便是体积变大，在各个处所齐达成推广。

灾荒的是，在咱们面前能看到的有限范围内，即使是 demo 层面，大部分技俩也仅仅在平面坐标系的三角形里，极力把其中一个角或者一个半角稍稍推广一丝。咱们还莫得明确看到，有哪种要道能把这三个角同期向外拉很远，从而让三角形的面积大幅增大。这或者便是今天机器东说念主操作范围的近况。

总结一下刚才讲的整个快乐：在仍是热热闹闹的具身智能机器东说念主创业方朝上，有这样三件新事，对于这三件新事的久了权衡还未几，但信赖很快，开云kaiyun(中国)官网寰球会运行权衡咱们刚才提到的两个挑战。

今天咱们讲的这些新模子，未来到底会是什么面容？是变成更大、更复杂以致超乎咱们面前假想的单一模子，照旧会出现多个模子相互调用，但多模子怎样交融，仍未可知？这便是挑战所在。而这些挑战出现的根源，便是今天莫得实足的数据。我说的“莫得”，是指莫得经管这类问题所需要的、包含物理全邦交互和物理量的联统共据。

此外，今天寰球看到的险些整个 demo，齐在力争阐发我方能把这个三角形拉大，但大部分公司在 demo 层面（而非真确酷好上的利用层面）能作念到的，仅仅把其中一个角稍稍拉长，随机再把另一个半角稍稍拉长。

/ 04 /

以史为鉴：三条仍是走过的路

投资最让东说念主头疼的事情是，除了提议问题，还得极力寻找经管有缱绻。

咱们面前莫得明确的经管有缱绻，只好一些以史为鉴的参考案例。

大言语模子：吃掉了东说念主类近40 年的互联网文本

咱们先以寰球最熟谙的大言语模子为例。

从 2012 年深度学习高潮运行，算法的演进阅历了一系列迭代——天然从卷积神经收罗（CNN）运行的这一串算法结构或算法逻辑的迭代，跟今天的大言语模子并不是在合并条道路上。

紧接着在 2014 年之后，出现了生成抵抗收罗（GAN）技艺。跟着技艺范式进一步演进，自后才会聚到了以 Transformer 为代表的大言语模子的算法逻辑。这便是算法的迭代经过。包括大模子在内的算法迭代从来不是线性的，不是寰球按照措施一步一个台阶往上爬，而是爬了两三步之后，换一个角度再爬两三步，再换一个角度络续爬。

咱们再说说大言语模子的数据来源。今天咱们能陶冶出的基座模子，很猛进程上依赖于近 40 年积攒的互联网文本数据。寰球使用电脑或者有 30 年，使用手机或者有 15 年。在这 40 年里，咱们使用这些智能修复的经过中，产生了超等强劲的文本公开数据库，这些数据便是大言语模子得以陶冶、并取得今天这样遵循的数据来源。

要补充的是，这仅仅陶冶文本的部分。刚才咱们提到，当今要陶冶的具身模子，需要涵盖更多维度——既有 3D 空间，又有具体物体，还包含物理量、交互步地，并但愿它具备猜想智商。这些事情仍是远远超出了猜想下一个“词”的范围，比单纯的言语猜想要复杂得多，更何况咱们当今还莫得运行像攒互联网文本数据那样大规模积攒联系的数据。

自动驾驶：先卖你一辆车，顺遂把数据收了

自动驾驶则有点迥殊。

今天寰球在网上正常会看到争论：不同公司争论今天的自动驾驶到底要不要经过 L3 阶段？是否不错不经过 L3 径直到 L4？

为什么会有这样的争论？包括特斯拉在内，今天大部分自动驾驶技艺，面前齐停留在 L3 到 L4 之间，暂时还莫得哪家公司能真确声称我方仍是特出了 L4——这里说的是通达路面，不是口岸、矿区或者园区这类相对阻滞的环境。

但自动驾驶的发展，也阅历了从以轨则为主，到今天最文静的端到端（和大言语模子的架构肖似）的经过。另外还有一件相比特殊的事：自动驾驶的算法迭代也不是线性的，它也不是顺着一条路一步一步走出来的，而是在几个不同的方朝上来往交叉鼓动的。

再说说自动驾驶的数据来源，这一丝就更迥殊了。自动驾驶的数据确实主要靠它我方取得。

以特斯拉为例，在去年以前，绝大多数东说念主买新能源车的时候，不论它是电架构的照旧混动的，寰球买的是车本人。在去年或客岁以前，大部分东说念主买车还不是为了自动驾驶，而是为了省钱、好开好用、快活、加快快。而寰球买车的时候，凑巧这辆车上搭载了整个的传感器，因为它是一款消费品。

打个比喻寰球就昭着了：寰球用智妙手机和电脑，敬佩不是为了让阛阓上任何一家互联网巨头取得我方的图片、文本和语音数据。但因为智妙手机和电脑是寰球的消费品，凑巧搭载了后置高清录像头、麦克风阵列、GPS 芯片，是以寰球在使用这些修复的经过中，产生了无数的数据为互联网巨头所用，而这些数据，也成了今天种种模子需要的数据来源。

自动驾驶的迥殊之处就在于，它先把我方变成了一款受迎接的消费品，寰球原意购买。寰球买车的同期，也把车上搭载的整个传感器买了且归，这些传感器产生的数据，又能拿转头匡助自动驾驶技艺进行大规模的迭代。正因为这个原因，寰球会发现，谁领有的数据越多，谁的自动驾驶技艺可能越过得就越快一丝。

但这些数据不是它向寰球购买的，而是它卖给寰球一款寰球需要的消费品，这款消费品上凑巧搭载了绝裁夺的传感器，这些传感器就把驾驶数据、环境数据、车内驾驶俗例、路况现象等，移动成了自动驾驶模子陶冶所需的数据。

这在历史上是很有数的，它是一个我方给我方积攒数据的范围——不是因为它是自动驾驶技艺，而是因为它当先是一辆车。在夙昔十年里，寰球买车不是为了买自动驾驶功能，仅仅为了买一辆车，而传感器是车上自带的。

AlphaFold：数据不够，先验常识来补

终末咱们看 AlphaFold（卵白质结构猜想）。它的三个模子版块，也阅历了不同的发展经过。天然当今它的算法结构，也和咱们今天权衡的这些大模子有联系性，或者说在某种酷好上是端到端的。

在发展初期，它需要借助大量已有的东说念主类数据，或者说需要加入一些物理模子。什么是物理模子？便是咱们所说的热力学、能源学。是以在 AlphaFold1 和 AlphaFold2 阶段，需要加入许多东说念主类仍是总结的先验常识，也便是一些生物规矩，以及与化学、物理联系的规矩和算法。

AlphaFold 的数据，开首在 AlphaFold1 阶段相比少，因为它需要的口舌常专科的数据——它要经管的是一个极其具体的问题：卵白质序列最终会怎样折叠，这条长链条踏实下来之后是什么面容？

它的数据发展也阅历了这样一个经过：一运行只好少许的卵白质结构数据，这时候就需要加入较多的物理、数学模子和先验常识；自后数据多了一丝，物理、化学、数学模子和先验常识就不错减少一丝；数据再加多一些，这些模子和常识就再减少一丝。天然，这其中还波及许多与实验联系的职责。

AlphaFold 的发展旅途的迥殊之处在于：它不是通过消费者积攒数据，而是依靠相等专科的科研数据。但在其模子进化到今天的经过中，很长一段时刻内，权衡者齐加入了东说念主类的先验常识、物理模子、数学模子等，来匡助它在发展经过中经管问题。之后，跟着新数据赓续积攒，加上大量实验的考据和校阅，才发展到了今天的 AlphaFold3。今天它可能需要的物理与数学模子以及先验常识，仍是稍稍少了一丝。

不外它凑巧是一个猜想细则的单一维度课题的模子，主要目标便是经管卵白质踏实下来之后怎样折叠。它不需要像具身智能那样经管那么多维度的问题，不需要经管状态变化、对象变化、相互作用以及多样物理量等复杂问题。

/ 05 /

十年之后，谜底可能在这三条路里

上头讲到的大言语模子、自动驾驶、AlphaFold，是我面前能预见的不错参考的三种事物的迭代经过。

大言语模子用了全东说念主类积攒近 40 年的数据，加上非线性的算法迭代，到今天才发展出能够处理言语联系的逻辑。

自动驾驶从 2015 年投资最热的时候运行，用了十年时刻发展到今天的 L3.5 阶段，天然时间也碰到了一些不同的挑战。它的算法迭代也不是线性的，它的数据是靠我方取得的——但原因不是它让寰球赞理辘集数据，仅仅通过卖给寰球一辆车，车上凑巧搭载了这些传感器，是以它我方为我方创造了数据。

AlphaFold经管的是卵白质结构和折叠这个专科问题，它用了大量的专科数据，经管了一个单一维度的问题，同期算法也阅历了几次不同的迭代，何况在中间很长一段时刻里，借助了东说念主类的先验常识、物理模子、数学模子等，来匡助它经管发展经过中的问题。

这是三条不同的发展说念路，寰球不错证据我方的情况，各自选拔参考谜底。

今天具身智能出现的这些挑战，在十年以后，最终要么是以这三个案例中的某一个为原来得到经管，要么是交融这三个案例各自的上风，变成交叉性的经管有缱绻。具体是哪一种，这是一个通达的问题——咱们只可提议问题，无法给出细则的谜底。

以上内容，仅供寰球参考或者想考。谢谢寰球。

开云官网入口 - 开云kaiyun(中国)官网