字节跳动 SeedRealtime 音视频全双工大模型发布：支持边看、边听、边说，已上线豆包 - AI

热门话题

白天

搜索

资讯

字节跳动 SeedRealtime 音视频全双工大模型发布：支持边看、边听、边说，已上线豆包

9 小时前 / 阅读约2分钟

来源：IT之家

字节跳动推出原生音视频全双工大模型SeedRealtime，实现音视频联合理解、主动交互和流畅交互节奏，已在豆包App全量上线，用户可更新至最新版本体验视频通话功能。

IT之家 8 月 5 日消息，字节跳动 Seed 今日宣布推出原生音视频全双工大模型 SeedRealtime，走向全模态自然交互。

SeedRealtime 用统一架构原生融合音频、视频与文本，能在连续的多模态信息流上实时交互，带来“边看、边听、边说”的全新体验。它实现了以下三项核心突破：

音视频联合理解：原生支持声音、画面与时序信息的深度融合。模型既能结合场景消解同音词歧义，也能准确理解视觉中的时序指代，让所见、所闻与所说融为一体。
主动的交互能力：具备持续的环境感知与主动表达能力。模型能在察觉画面状态变化时（如关键目标出现）主动提醒，并能调用工具融入表达，让交互从被动响应升级为主动协作。
流畅的交互节奏：能够实时感知用户的对话状态与交流节奏，在适当时机自然接话、停顿与回应；同时具备较强的抗干扰能力，能分辨旁人闲聊与背景噪声，不因干扰误触发，保持沟通的流畅连贯。

端到端人工评测结果显示，相比级联模型，SeedRealtime 的音视频对话节奏问题减少了一半 —— 模型对说话时机的把握更加自然，“话未说完被抢断、话音已落却回应迟缓、或是被背景杂音与闲聊误触发”等卡壳现象显著减少；同时，单次对话能够完整、顺畅交流的概率也有明显提升。