高德发布3D重建模型ABot-Recon:12帧可重建万帧3D场景
2 小时前 / 阅读约2分钟
来源:凤凰网
高德发布首个无长程依赖的万帧级流式3D重建模型ABot-Recon,仅凭12帧局部画面即可实时重建上万帧3D场景,在权威评测中取得SOTA表现,已在GitHub开源推理及评测代码和权重。

凤凰网科技讯 8月28日,高德近日发布首个无长程依赖的万帧级流式3D重建模型ABot-Recon。该模型仅凭连续12帧局部画面,即可实时重建上万帧的3D场景,无需长程记忆锚点。在KITTI、Oxford Spires、VBR等权威评测中,ABot-Recon取得最低误差的SOTA表现。

ABot-Recon采用“局部位姿预测+残差优化”技术路径,模型仅以最近12帧连续画面作为局部上下文窗口,预测当前相机坐标系下的局部点云与相邻两帧间相对位姿,计算复杂度与内存占用不随视频长度增长。

针对局部预测的误差累积,模型在预测与训练端分别设计了纠偏和误差约束机制。在Oxford Spires基准测试中,ABot-Recon平均轨迹误差较行业代表方法LingBot-Map降低40.6%,相对旋转误差RPE-R低至0.12°,为同类方法最优。在KITTI-02测试中,推理速度达24.45FPS,为行业代表方法的1.24倍。峰值显存占用约6.71GB,约为同类模型的三分之一,可在GTX 1080Ti消费级显卡上运行。

该模型仅需单目RGB视频输入,无需额外深度传感器或已知相机参数。高德已在GitHub开源推理及评测代码和权重,并在魔搭社区上线体验专区。