搜索
南洋理工MMLab发布Hand2World，实现世界模型“手眼”协同交互
3 小时前
据CSDN消息，南洋理工大学MMLab团队近日推出Hand2World模型，该模型使AI世界模型能够通过空中手势实时生成第一人称交互视频，实现了从“被动观察”到“主动触达”的技术跨越，解决了手眼交互难题。Hand2World采用基于3D手部网格的投影作为控制信号，利用像素级Plücker射线嵌入显式编码相机运动，成功解耦了手部动作与头部视角转动。在技术架构上，Hand2World支持流式输出与无限时长的连续交互，在三大基准测试中显著提升了生成视频的视觉质量与3D一致性。
