98 年哈工大教授创业:要做人形灵巧操作世界模型
VLA和世界模型已经把机器人推向“看懂世界”和“预测世界”的阶段。
但只要模型真的进入物理世界,问题很快就会变得更具体:
它拿什么学习这个世界,靠什么把动作做出来,又怎么知道自己到底碰到了什么。
前两个问题,分别指向数据和本体。第三个问题,指向触觉。
本周,哈工大(深圳)杨朔团队发布了TouchWorld,一个面向灵巧操作的触觉世界模型。
它的核心能力,是让机器人不只预测画面如何变化,也开始预测接触如何发生,并在真实操作中利用触觉反馈修正动作。
TouchWorld不是孤立的一篇论文。此前,杨朔团队已经推出EgoTouch和TouchAnything:
- EgoTouch解决灵巧操作的触觉数据怎么采;
- TouchAnything尝试从第一人称视频中恢复触觉,如何做低成本的触觉数据增广。
这三项工作连起来,构成了一条清晰路线:先采触觉,再恢复/对齐触觉,最后让具身模型真正使用触觉。
沿着这条路线,出生于1998年的年轻教授杨朔创办了破晓智能(PHANES AI)。
破晓智能要做的,是融合人类视频数据与触觉感知模态,构建人形机器人全身移动灵巧操作世界模型。
更具体地说,它不是只做一个触觉模型或硬件,而是希望围绕“机器人如何真正学会操作”,搭建一套从数据、模型到控制的完整能力链。
“破晓”这个名字,也对应了这家公司想解决的问题:在人形机器人走向真实操作之前,触觉数据、触觉世界模型、灵巧手反馈控制、全身移动操作仍然处在技术混沌中。
破晓智能希望从触觉数据切入,把这些能力重新串起来,让机器人从“看见世界”,走向真正“接触世界、操作世界”。
杨朔现任哈尔滨工业大学(深圳)计算机科学与技术学院长聘教授、博导,也是破晓智能创始人兼CEO。
公开信息显示,他26岁获评哈工大(深圳)计算机学院长聘教授、博导,曾获Google Ph.D. Fellowship,入选国家级高层次青年人才、深圳市“高精尖缺”人才、广东省重大人才工程。
一个最简单的例子是按喷壶按钮。
从视觉上看,手碰到按钮和真的把按钮按下去,画面差别可能很小。尤其当手遮挡按钮时,图像很难判断任务是否已经完成。但触觉上,手指有没有接触、压力有没有到位,是更直接的判断。
TouchWorld预测触觉目标,就是让机器人知道:如果这个子任务完成,手指上应该出现怎样的接触和压力。
这对灵巧操作很重要。很多任务的完成状态并不完全体现在画面里,而是体现在手和物体之间的接触关系里。
Reactive,指的是高频触觉反馈修正。
真实操作中,物体会滑,接口会偏,手指可能没抓稳,灵巧手本身也会出现定位误差。机器人不能每次都等上层模型重新规划。它需要像人一样,在接触瞬间根据触觉反馈做快速调整。
人抓一个湿滑物体时,不会重新推理每个关节角,而是根据手上的触感立刻调整抓握姿态。TouchWorld的reactive模块也是这个逻辑:上层模型给出粗动作,底层根据实时触觉反馈输出修正量,让动作在接触中不断纠偏。
在TouchWorld的设计里,reactive模块的推理频率是Tactile World Model的4倍。中间策略每输出一个动作,底层都会进行多次细微调整,每次输出的是一个delta修正量,而不是重新生成完整动作。
这套机制让触觉不再只是被动记录,而是参与动作生成和执行控制。
TouchWorld在六个真实机器人任务上进行了测试:浇花、桌面清理、电源插头插入、杯子插入、擦锅、抽纸巾。
这些任务看起来并不炫,但非常适合检验触觉的价值。
浇花需要按压喷壶按钮;插头插入和杯子插入考验精密接触;擦锅需要持续调节压力;抽纸巾涉及柔性物体和稳定拉取;桌面清理则要求机器人在多个子任务之间切换,并保持抓取稳定。
实验中,TouchWorld在clean setting下平均成功率达到65.0%;在人为扰动场景下,平均成功率达到57.2%。
相比Pi-0.5、FTP-1、GR00T N1.7等对照方法,TouchWorld在两个设置下分别高出最强baseline15.7和16.0个百分点。
这个结果不意味着灵巧操作已经被解决。65.0%的成功率也说明,这套系统距离大规模泛化还有很长距离。
它验证了一件更具体的事:当任务进入接触阶段,触觉目标预测和高频反馈修正,确实能提升机器人操作稳定性。
对破晓智能来说,这比单点成功率更重要。TouchWorld证明了触觉可以进入机器人世界模型和操作策略,而不只是停留在传感器读数层面。
破晓智能这个名字,也蕴含着它成立的理由:机器人行业并不缺demo,也不缺关于通用智能的宏大叙事。但当机器人真的要从展示走向真实场景,很多基础设施仍然处在技术收敛前的混沌状态。
五指灵巧手加触觉就是其中之一:高自由度、带全掌触觉的灵巧手方案还不成熟;触觉数据难采;真机灵巧操作数据稀缺;触觉手套噪声大;不同传感器之间的数据表示不统一;统一benchmark也还没有建立……
这些问题看起来琐碎,却互相钳制着、决定了触觉灵巧操作能不能真正走出来。
在杨朔团队研究过程中,为了采集高自由度灵巧手的触觉数据,团队曾把触觉手套裁剪后,硬套到五指灵巧手上,自己搭出一套真机采集方案。
但是手套用几天就会坏,灵巧手会发热,第一天标定好的系统,第二天也可能出现漂移,数据噪声很大,采集效率并不高。
这些看似很工程的问题,反过来强化了一个判断:触觉灵巧操作不是单点模型问题,而是一个系统问题。
这也是破晓智能为什么不能只停留在模型侧、研发侧的真实原因。
在触觉灵巧操作里,数据本身就是基础设施。破晓智能正在搭建面向人类操作的多模态数据采集平台,方向是低成本、无感便携、全场景的数据采集,把第一人称视觉、腕部视角、手部姿态、全掌触觉、全身姿态等信息放进同一套系统里。
这些工作指向同一个目标:让机器人不只看到人类怎么操作,还能获得更接近“人手真实感觉”的数据。
只有这样的数据足够多,TouchAnything才能从视频中恢复触觉,TouchWorld才能进一步学习如何预测接触、使用触觉。
破晓智能要做的,也不只是发布一个模型。
它要围绕人形机器人全身移动灵巧操作,补齐一套系统能力:触觉数据采集、触觉估计、触觉世界模型、遥操与硬件infra、评测体系,以及面向人形机器人的全身移动灵巧操作模型。
如果说EgoTouch和TouchAnything解决的是触觉数据从哪里来,TouchWorld解决的是机器人如何预测和使用触觉,那么HumanWBC指向的是破晓智能最终想完成的闭环:让机器人把感知理解、自主移动、全身控制和灵巧操作接起来,从“能看懂”,走向“能走过去、抓起来、做完事”。
这一步会把问题从桌面灵巧操作继续推向更复杂的人形机器人任务:移动、平衡、双臂协同、长程任务、全身控制,以及触觉反馈如何和机器人整体动作系统结合。
破晓智能想做的,是让机器人从“看见世界”,走向“理解接触世界”。
未来的人形机器人要进入家庭、服务、工业等真实场景,不能只靠视觉和语言。它必须知道自己有没有碰到、有没有抓稳、有没有滑、力是否合适,以及动作偏了以后该如何修正。
从EgoTouch到TouchAnything,再到TouchWorld,杨朔团队已经把这条路线推进到了真实机器人操作系统里。
破晓智能第一次亮相,想抛出的判断很明确:机器人基础模型的下一层能力,是触觉。
而冲破黎明前黑暗的第一步,就是让机器人真正知道自己碰到了什么。
TouchWorld
论文:
https://arxiv.org/abs/2607.07287
tech blog:
https://phanes-lab.github.io/TouchWorld-website/
TouchAnything
论文:
https://arxiv.org/abs/2605.13083
官方项目主页:
https://jianyi2004.github.io/TouchAnything-Website/
*本文系量子位获授权刊载,观点仅为原作者所有。
-
07.13
永远的蔚蓝星球内购破解版—无限钻石官方下载
-
07.13
金铲铲之战S17赛季五费全羁绊弈子 金铲铲之战S17羁绊棋子
-
07.13
神奇幻想兑换码大全—永久有效礼包码整理总汇
-
07.13
动物夜市游戏无限金币破解版—无限萝卜免内购版下载
-
07.13
驱散小恶魔礼包码长期有效—16个兑换码最新领取
-
07.13
指尖像素城礼包码全部有效 通用礼包码十个
-
-
下载
- |
-
-
下载
- 《行尸走肉第一章》免安装中文汉化硬盘版下载
- 单机|436 MB
- 一款以动作冒险为主题的游戏
-
-
下载
- 《街头霸王X铁拳》免安装中文汉化硬盘版下载
- 单机|111MB
- 一款非常好玩的格斗游戏
-
-
下载
- |
-
-
下载
- 《暗黑破坏神3》免安装繁体中文正式版下载
- 单机|7630 MB
- 一款以角色扮演为主题的游戏
-
-
下载
- 《马克思佩恩3》免安装硬盘版下载
- 单机|27033 MB
- 一款以第三人称射击为主题的游戏