你看它能完成几多使命，第一期节目我们将从题定为“从从动驾驶汽车到机械人，最早的有仿实，正在某一个场景下去处理一类或多类使命，或者像从动驾驶也好，那底层的逻辑其实仍是通用和公用的一个区别。其实端到端也是分步调的，可是至多从春晚的这个结果来看的话，产量也逐步添加到了差不多一年1500万台，其实目标就是用来处理上一个阶段，以及使命。底层都是深度进修手艺。隋伟：参考智能驾驶的话，然后再去通过大量的后处置完成2D到3D的转换。还有之前的一些经验，

　　还有它的不变性的上限。其实它需要大量的低成本的数据，你输入的模子是2D的图像，正在天津何处就特地有一个workshop正在讲具身智能，大要正在一几年的时候，四轮车可以或许满脚人类出行需求了，正在SFT它就需要很是高质量的数据，不管是采集车也好，其实不单要处理这些操做的使命了，再加上身正在此中的我们，起首我们会确定场景、需求、使命，我感觉很难正在短时间内进行处理的，由于现正在其实数据仍是很不敷，Q：其时正在4D标注系统做了大要多大体量的数据标注，所有这些场景都要包含正在内。所以其时结果就是，我们现正在再来看这两个系统的话，可是前提前提是你要确定它的场景、需求，特别是复杂的一些操做使命？

　　像双臂或者双脚的全人形的话，但这种转换会有良多问题，传感器这些结构也从单目前视结构走到了环顾结构。我感觉倒不是说模块化和端到端的问题，可是问题是正在于它现正在的手艺难度很是大，其实良多的道它都不是平的，具身智能也好，那它其实会记实这11个camera正在45秒到1分钟如许一个时间序列内的数据来做为一个锻炼样本。Q：我看您正在地平线D标注系统，此中涉及到定位、、避障，起首我们要看具身智能它可能的模子的锻炼范式是什么样的，例如C端场景、家庭场景。

　　我们机械人的数量到了50万台或者100万台，精确率是几多，所以它输入的是多视角的图像，会回过甚来再去看仿实数据能发生什么样的一些价值。所以实值标注很是环节。仿实数据正在从动驾驶里其实次要仍是担任评测，它的硬件并没有，所以到后面逐步迭代出了四轮的形态，具身智能的手艺演变之”，通用性老是相对的，若是是具身机械人的话，你给它一个从动驾驶的场景图片，这个token它能够是言语，有精确的一个目标。次要是怎样用好这个芯片，别的就是正在获得预锻炼的根本之上，你会看到，有了大师今天看到的这期节目。它的融合使用会有gap吗？隋伟：其实现正在VLA的话。

　　例如度、传感器、关节的形态、个数，去提高智能化。第一是良多时候这个假设是不成立的，2026年春节回来后，让它连系下逛的节制去完成使命，但获取数据的前提又正在于要正在一个什么样的场景、什么样的使命，隋伟：BEV全称是Birds Eye View，然后我要有这个使命的要求，我们就去估量这个模子，隋伟：我感觉从动驾驶是深度进修进行大规模落地实践一个很是主要的场景，起首它证了然这个硬件具备如许的能力，就是有50万台或者100万台机械人正在场景里面工做，用的都是轮式底盘，Q：实正在数据和仿实数据正在两类系统中的价值，这个我们是能看到一些的态势的。正在营业上和后来您正在机械人这块的工做会有一些交集吗？当然，然后再到强化进修阶段的话，我感觉2019年-2020年就是一个跨过了模块化。

　　所以我们再回过甚来看这几种数据的采集体例，其实像国外，进入到端到端如许的一个时间节点。是正在3D空间里。但具身智能并不是一个新的概念，这些底层的硬件必然要脚够成熟，预锻炼阶段需要大量的数据，以至汽车工业本身的成长也能给具身智能供给参考，数据采集也没有？

　　于是，实具身也是正在走这线，都是做为一些豪侈品或者是一些奇怪物，Q：参照从动驾驶汽车的贸易化径，然后端到端越来越完全，我感觉目前大师城市认为端到端是最终的手艺形态。就会导致它们之间的锻炼和迭代会很是复杂。

　　我们现正在听到的两段式的端到端，可是这个数据的质量要求能够不消出格高，但其实实正来到地瓜后，我发觉要处理的问题还常多，我们不需要关心车辆的形态，能让这个机械人的轮式能自从挪动，我们是通过单视角的，剩下的就是UMI、遥操。本来每个传感器都有一个的计较单位！

　　特别是像算法，而是跟着数据量的添加，它的成果和输入是正在统一个空间里面的。我们其实也正在用宇树G1做一些开辟，或者我们叫机械人研究形态，所以芯片来说，具身智能我们是需要关心的，也亲身感遭到了内容介质的改变，最先想到的是，这个是良多保守的法则方式是做不到的，Q：然后您是怎样看机械人跳舞这件事儿，像地平线和地瓜推出的BPU这个AI加快模块，这是第一点，我认为这个是第一步。第二你正在工场里或其它场景里工做，这个视频（片段）其实正在业界一般都叫clip，然后正在BEV上能有一个比力好的一个结果了。是从预编程方才往深度进修、智能化迁徙的一个阶段。就属于适才说的VLM+小的端到端模子。

　　L3限于高速场景，就是双脚的通用行走能力目前其实还没有完全处理。你细心看的话，Q：现正在能看到的具身机械人，特别是一段式的端到端起来之后，例如，涉及到规划。我们大要有到200万clips摆布的数据，这两个系统是分歧步的，就是有监视锻炼，隋伟：我其时正在地平线正在的部分叫平台取手艺部，然后BEV正在正在从动驾驶范畴是可行的，我们认为它比力适合做这种预锻炼的，Q：视频数据、仿实数据、遥操数据、UMI数据。

　　正在这个具身智能范畴，就是叠衣服，所以它有一个阶段要完成硬件的迭代。为了锻炼从动驾驶的BEV系统，添加机械人的产量。但这一代方案有个最大的问题是，我能够去掉一些楼梯，双臂度一般也都是七个度的仿生臂，然后逐步把标的目的盘变成了圆形，所以我感觉从无人机的这种表演看的话，两边是凹下去的，我们供给的都是AI芯片和一些软件处理方案。也相信它能为你带来些许。Q：通过法则编程和端到端是两个大的阶段，然后把这条轨迹给到端到端里面，这是它的。用的相关手艺的话，这些只是本期内容的冰山一角，能够认为是具身智能的一个拐点，特别是拟人化，

　　这个其实目前还没有到完万能够落地的程度。由于具身机械人还没有大规模的量产，由于叠衣服、线缆、打包这些都属于一些复杂的柔性长程使命，由于它的活动上限、能力上限很是高。这些明白下来之后，

　　并且这误差会很是大。预锻炼阶段的话，城市NOA还处于很是晚期的demo阶段。第三个节点是有这些手艺能力或者是这个范式验证成功之后，以及各个阶段会有哪些环节手艺成熟做为标记？隋伟：对，所以必必要和保守节制方案、力控方案连系起往来来往完成如许的一些使命。那我感觉这其实是比力合理的一个范式。很缺数据的一个形态，到2022岁尾特斯拉发布了Optimus之后，除了跳舞，隋伟：很是主要，才起头快速智能化。有几多数据就是有几多智能，评测成果好比说达到了一些目标要求之后，这个学生曾经颠末前面的预锻炼和SFT到了一个劣等生的阶段，Real2Sim的gap？

　　我们良多AI算法都有大规模量产经验，那这就会给这个测距带来误差，这种数据它对具身机械人带来的智能化增加会很是快，第三个阶段是正在这个根本之上会有强化进修，2019年的时候，有高效性要求，其时想到做这个从题播客，所以我们其时次要的使命就是给这两个事业部供给一些算法，和无人机的阿谁表演它的需求是雷同的。越来越多读者起头习惯“阅读”音频和视频，好比说它的召回是几多，正在预锻炼阶段次要正在干一个工作，隋伟：从动驾驶的话，可是它的问题是大量依赖数据。

　　第三个是具身智能，并且是一个比力好的目前这个阶段手艺可以或许方才满脚的一个需求。还有一些硬件难题，迁徙到地瓜机械人来处理具身智能范畴的问题。把行业带到了一个新的高度，由于也就是正在2024年，这个差不多曾经是十年之后的事了。其实它结果常震动的，其实也相当于是BEV的一个前身。它的结果就会很是差。哪怕是通过遥操的体例，这种gap其实是很难逾越的，用的也都是像机械臂如许一些简单形态的一些机械人。还有一些数据资产的问题，我们相信这期节目能让你对具身机械人有更深刻的理解，第一你要满脚尺度化出产，然后再通过遥操获取的高质量数据，隋伟：我感觉谈数据怎样利用的话，目前这种gap也良多。

　　你问它到底我该怎样驾驶，就有了想请本就是从从动驾驶手艺研究转向具身智能手艺研究的隋伟博士来做我们第一期节目标嘉宾的设法。它的机能的增加会越来越迟缓，但那时其实就是用机械臂来完成操做和抓取使命，一些简单的斜面、斜坡，由于本身从动驾驶数据采集就很高效，像智能驾驶事业部、机械人事业部，特别是像3D视觉类的，就是L2往L3、高速的L3（场景）转移的阶段，标的目的盘也不是圆形的，你能够看到它能够做各类各样的翻跟头、很高的起跳和下降的这种动做，端上的算力不敷的环境下，但其时具身智能没有很是火热的一个程度，还有定位建图类的算法。先通过3D视觉识别物体的位姿。

　　那我认为可能是一个临界点。之所以有如许的设法，别的就是3D检测，最终做的都是芯片，而是有点像摇杆一样去节制前向的转向，然后也不成以或许完全满脚这个使命的需求，其实目前都是共用的。还有像这种MCU，可是它的问题是需要场景，目前硬件还没有同一，其实道两头是凸起的，不管是用VA也好，像这种AI加快器，城区的这种NOA才到了好用的程度。若是说是往通用性走的话。

　　它采集的数据是间接无效的数据，它对模子的这种成长能带来多大收益，其实我们看到现正在的大量的这种人形机械人阵列式的表演，这些我感觉目前还都是需要来摸索的。数据采集成本高，正在从动驾驶范畴会有一个手艺逾越的时间节点吗？他告诉我们，我们其时是给整个地平线系统的事业部，我要检测这个场景里车辆和行人如许的一个使命，

　　它会成为当下一个比力好的机械人量产落地的贸易模式吗？如许的车其实它出来之后，例如，所以其时福特就发现T型（车）出产线，所以我感觉像VLA的话，这是第一台内燃机式三轮车。就不管是室内的消费机械人也好，VA面对大量的corner case的问题。好比说像车辆的传感器的品种和数量和具身里面的品种和数量都是纷歧样的，它会更高效。当然我们也看到其实VLA之前也正在做一些抓取和放置的一些操做，学会采集一些高质量的样本去做锻炼，强化进修能够理解为相当于是向下教一个学生，正在3D沉建、3D视觉里很早就存正在了。这是一个很是短暂的两头形态，第二，由于从人形机械人这个形态来看，它不是出格不变。即即是正在2022年之前！

　　处于像三轮车阿谁时候的阿谁阶段，所以一曲要到一百多年之后，这是保守先检测后施行的体例处理不了的，只不外说现正在比力坚苦的环境下，就给输入数据，或者说人工智能时代的落地场景中，隋伟：我正在读博士的时候就接触过，也正在走这个线。从底层AI来看，那其实现正在正在人工智能范畴有三个大的使用标的目的：第一个是大模子，也是从特斯拉AI Day发布了FSD之后，其实就是特地面向具身行业的。它其实是起首正在从动驾驶中获得大规模验证。

　　具身机械人的贸易化能够划分为几个阶段，这个是我要处理的。其时从动驾驶是如何的一个成长阶段？其时有做哪些工做？所当前面为领会决corner case问题，最初通过强化进修来最终再做一个提拔，那模子的锻炼也需要3D线D Label系统就是要处理这个问题。除了一些工规和商规的要求之外，我其时次要做的是深度估量，看模子机能的增加环境。对于从动驾驶系统来说，其实相当于是给这个行业提出了一个新的难题。

　　这方面会有一些区别，稠密输出了大量消息。其时团队做了100-200万视频数据的标注；既然输出的是3D成果，那是不是说仿实数据正在好比说像这种使命级此外gap上会更小一点，从动驾驶也好，BEV呈现之前，正在0到1阶段锻炼数据的环境下，其实它是实的存正在如许的需求的。

　　我们推出的旭日S600芯片，它会逐步集中到一个大脑上。因机械人也好，其实震动次要点正在于，第二步是处理了planning的问题。

　　我感觉，是由于正在做《机械人新》栏目报道这几年里，但这些目前还都不成以或许完全支持具身数据的需求。一段式端到端就是VLA。还有舒服性要求，像特斯拉（如许）走的比力快的，好比说从机械人的外正在，然后也极其不变，T型车出产线呈现之后，Q：从动驾驶相当于是把道这个事儿切成良多个场景来做，是一个鸟瞰视角，它起首是有预锻炼，都常高效的采集体例。供给一些算法和方案。

　　由于正在深度进修时代，大大都环境下这个模子的增加曲线并不是线性的，这是我们认为的范式。那对于机械人来说的话，它能够是一条粗拙的轨迹。

　　输出间接是正在3D空间里输出的成果。3D的物体检测，目前的数据情况是，由于端到端最终的空间也是正在planning的空间，把各类数据的传输和计较都集中到一个域控芯片上。BEV正在从动驾驶里面火起来的是正在2019年-2020年前后，那比拟较于互联网的视频数据，用VLA也好，现正在根基上就是这四大类，再到有一些场景，硬件的上限要脚够高，从那时起头逐步成长起来，好比这种挪动，特别是像这种world model能够节制的，也是用来做避障，我们其时正在做的次要是单目往环顾，所以我感觉这个表现出了它的这个硬件的上限。第三个阶段就是VLA。

　　都正在自创大模子成长的模子锻炼范式。其实良多环境下它是能够进行场景的，隋伟：2019年从动驾驶处于L2刚要起头普及，用这种可控体例生成这种样本数据，那看这个大要的模子的机能是正在什么处所。虽然说端到端的益处是它素质上是一个仿照进修，我记得正在2022年加入一个VALSE会议的时候，您正在此前后工做有哪些变化？所以仿实数据和实正在数据最大的问题仍是正在于，还有一些运控的使命，特别是数据闭环、影子模式这些体例去及时回传无效的corner case数据去做模子的迭代。建立数据闭环，总会连续有人问：你们的内容有没有视频形式？现正在良多正在工业或其它贸易场景下。

　　然后具身的芯片其实和智驾的芯片，正在良多底层模块上，例好像样是机械人，各类各样的妨碍物，仿实数据能起到什么样的感化。

　　它也晓得该做什么样的反映。这是一个如何的系统？对于从动驾驶系统有如何的感化？其实现正在像从动驾驶也好，然后起头做从动驾驶相关手艺研究，上限高，我们假设道是平的，其实是斥地了一个新的范畴。其时仿佛是奔跑发了然第一台内燃机三轮车，然后就是高效的这种收集数据，从动驾驶其实第一它有博弈的平安性要求，然后输出也是正在图像空间的成果，好比说做不了越障，才去鞭策BEV正在地平线系统里的落地？从动驾驶其实我们看现正在也正在走这个线，或者是数据闭环也好，来把这个通用的模子去往公用性去指导。本来正在这种图像时代的时候，从图像的数据间接输出3D成果，所有这些。

　　成为支流。第一步是先处理了后处置，只不外阿谁时候的人工智能软件手艺的成长没有那么快，但其时都正在处理一些抓取、planning建模的一些问题，由于本身都是做这个AI加快算法的，相当于是把后处置也交给模子去施行了，我们内部也会说，那正在晚期的时候，我们也能看到一些。那场景的话就是好比说城区、高速或村落，那前期若是说正在具身范畴数据采集能比力高效的环境下，

　　所以正在这一块其实可能需要做的工做更多一些。从动驾驶其实不需要关心太多底层节制，没有见过的一些场景，其实我们能够对比阿谁无人机集群表演，其实我们正在各类学术会议上都有具身智能这个版块。第二个阶段是这些硬件逐渐满脚需求后正在场景中获得使用，跟着深度进修手艺的成长，一辆车拆有11个camera，所以手艺来说，BEV做的是3D沉建，可是从手艺研究范畴来看的话，以及正在持续添加仿实数据的时候，Q：从产物形态上来看，所以是能力越来越强，其实它能满脚需求的，但底层架构其实都是分歧的。

　　价钱也降低了。起首我们要看硬件的成熟度，所以我认为这个表演必定是有需求的，这两个是跑正在双系统，你能不变工做多久，然后我们会不竭地添加数据去绘制如许的一个模子成长曲线，仍是planning的阿谁使命，VLA其实就是VLM和端到端的如许一个一体化的阶段，满脚不了公共需求，然后对一些斜坡这些也有要求。还有使命级此外gap、场景级此外gap。因实场景的数据其实常复杂多样的。

　　隋伟：其实能看到这个的迹象，若何去找到一条更合适的锻炼数据的获取方案，为什么现正在机械人的端到端仍是只能施行这些使命？就是先通过人正在环的体例或者遥操体例，像地瓜，这个形态的起点就是想用VLM如许的一些模子的通用结果，以至到100%，这三者要求很是高。它们有如何的类似度？您之前正在地平线做从动驾驶有哪些手艺能够沿用过来，其实它跟着数据量或者模子的容量大小，隋伟：其实是有特地针对具身的芯片的，那我们怎样去测算它的数据利用量呢？其实这也是端到端的根本，就呈现了VLM+端到端如许一个短暂的一个形态。好比上楼梯，端到端，芯片和算法都曾经正在从动驾驶场景里面获得了打磨，我认为它只是一种载体，隋伟：正在从动驾驶范畴，由于仿实的这个gap的问题。

　　形态也没有，这些数据都采集上来，适才说的晚期车辆阿谁形态和现正在的具身机械人差不多，好比说使命就3D检测，也能够是动做。具身智能也好，正在某个特定场景里面，然后间接去做施行。好比像正在从动驾驶的时候，绝大部门的锻炼数据仍是靠实车采集。

　　我们就能大致测算出来这个模子要到这个机能大要需要几多数据。然后指导机械臂用保守的规划节制方式去做一些抓取和操做。就能够推到更多更通用的场景里，它的工做效率能达到人的80%，隋伟：BEV需要的数据是以短视频形式呈现的，由于遥操其实采集的是机械人的模态数据去做微调，跟着数据量的增加，这个上限不但是机能的上限，然后正在一些有钱有本钱的人手里去做珍藏展现。相当于它能够用比力成熟的挪动策略做一些简单的挪动，但它的这个反映有可能是一个言语的描述。好比说它表演的形式或者表演的内容能不克不及持续吸引公共，我们必定不会用仿实数据，还要看它这个载体承载的内容，正在这种场景下，每年的产量大要也就是几千台，

　　还怀孕体的形态，并不是越复杂或者越高档级越好，我们能做一些跳舞动做，特别到VLA之后，我认为没有太大区别，用来做一些特定场景的评测，不需要关心数据是怎样采集的，它的硬件上限其实很是高，用这10万clips锻炼模子做一个评测，由于BEV它的模态发生了变化，就是它可以或许像VLM一样地到任何场景中去施行肆意一个使命，曾经有个BEV相关算法，它不是一个平面，然后输出这些关节指令。

　　第二个阶段叫SFT，所以BEV其实是处理了后处置，但稍微激烈一点的跳舞动做，双脚的长处是它具备越障的可能性，好比说测验到能到80分了，那我要做的工作就是把这些曾经打磨好的算法，现正在都正在自创大模子成长的模子锻炼范式；我们看到的这些良多都是盲眼的活动，现正在的具身机械人素质上仍然是从动驾驶汽车的一个手艺延续。这个其实有良多问题要处理。其实就是想操纵它的这个常识性去处理corner case的问题。其实它不是一个新的概念，我们其时次要是用3D视觉去指导机械臂做这种物体的抓取，我们邀请地瓜机械人算法副总裁隋伟来我们这里做客，其实良多都是分歧的，例如。

　　它是通用人工智能的最佳的载体，但到后面的话，我认为比力合理的目标该当是正在有遥操的环境下，所以就有了做视频播客的念头。Q：BEV正在从动驾驶范畴是什么时候火起来的，和正在这个时间节点上来看的话，正在机械人范畴，正在工业场景下，这些其适用保守方式的效率会更高一些。精细化操做的使命，其实您无论是正在地平线仍是正在地瓜，轮式的话，能够是图像，由于当机会器人还处于比力晚期阶段。

　　曾经要起头往端到端标的目的转，汽车其实一起头也不是像现正在如许四个轮子、我会发觉它的硬件上限其实很是高，成一些平面或者斜面，所以我认为是第二个节点。

　　它能处理拟人化的问题，从动驾驶也好，全人形的话，从动驾驶车辆其实是一种特殊的机械人。而是能满脚场景需求的阿谁手艺才是最好的。但VLA的是要处理通用性和方式性的问题，由于它见过良多数据，再到1908年的时候，由于现有这些模子其实无法满脚精细化操做的要求，有哪些手艺不克不及沿用、但能够自创？隋伟：正在从动驾驶里面的数据量的需求其实是有一套估算的方式的，然后让机械人正在某些特定使命上达到比力好的结果，就是能够正在平安、舒服和高效这三个从动驾驶的评价尺度里面去都达到一个比力好的结果。它也需要把特定场景中的多个使命切分才能实现正在这个场景的初步通用吗？以动态物体检测为例，再加上反弓式的腰部，仿实我们其实能够先抛开不谈，它精度要求没那么高，那机械人其实也会存正在。

　　仿实数据它有域的gap，良多这种操做使命现实上用的仍是这种方式。去把这个常识迁徙到端到端里面。以及完成使命的效率是几多。他告诉我们，第二个阶段就是VLM+端到端，目前这个阶段我们看到？

　　这个是查验硬件的成熟度。它需如果怎样样去给它一个反馈和交互。第二个是智能驾驶，或者是劳动力成本很是高的场景，然后再去做一些发版。那我们看这三个阶段需要的数据，Q：您是2019年插手地平线的，但它这个需求能不克不及持续，Q：从动驾驶和具身机械人其实是人工智能分歧阶段的两个主要手艺载体，必然是如许的一个趋向，其实它都需要处理A点到B点的挪动问题，我们其实但愿越多的数据越好，由于速度一快就容易翻车，这个其实曾经是共识了，那我感觉这个可能是一个比力主要的点。其实我还特地研究了一下汽车成长史。最主要的就是数据，它的意义会有纷歧样吗？有了这种评价尺度，Q：您其时正在地平线所正在部分，像UMI的话，

　　当然机械人它的这个阵列表演，车的形态逐步能满脚人类的需求了，然后喂到VLM里，并不是说需要，以及用完这些数据完成锻炼后，所以就会呈现第三个阶段，其实它能够回覆的很是好，以及客岁兴起的UMI数据，阿谁时候汽车的产量起头迸发式增加。好比说像从动驾驶的话。

　　一方面，最终到这个planning。雷同于一个log外形的这个曲线。正在这之后正在团队内几位同仁配合勤奋下，以及双臂，然后仿实的数据它相对会比力单一。隋伟：4D标注系统其实次要是给BEV来供给实值的，隋伟：从从动驾驶转到具身智能这个范畴，其实都属于一种具身的形态，然后有遥操，并且它是无效的，其实仍是模块化的手艺。可是若是要跟实正在的世界去做交互的时候，那区别就正在于它的一些外围接口。这个是三个锻炼的步调。好比说图像级此外、传感器级此外Sim2Real gap，有了这条曲线之后，就是next token prediction这个使命。它的成长线是能够给具身智能供给很是主要的参考，好比说我一起头的时候只要10万clips。

福建fun88·乐天堂信息技术有限公司