地平线发布 LoFT 原生视频几何基础模型,多项指标达 SoTA
1 小时前

地平线机器人实验室发布原生视频几何基础模型LoFT,可从RGB视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知提供几何基础。该模型采用双循环Transformer架构:第一循环聚合跨帧信息,第二循环更新相机状态并反馈至特征计算,结合双循环特征预测逐帧深度及置信度。团队搭建专属训练平台,依托近297万条有效训练序列、9.62亿帧覆盖多类场景的图像完成训练。经三套评测体系对比测试,LoFT在多项深度估计指标上达到当前最优水平,可适配机器人第一人称视频、动态街道等多类场景。