港中深联合微软研究院提出多模态统一建模新架构 ConvexLLM
1 小时前

香港中文大学(深圳)与微软研究院联合提出多模态统一建模新架构ConvexLLM。该架构通过创新C-Gate架构,将语音等音频信息映射至大语言模型原有文本词向量的凸包中,以冻结词向量的非负加权组合生成音频表示,无需先转写为文本,使声音可直接调用大模型预训练积累的知识与推理能力。在VoiceBench等多项基准测试中,该架构取得同量级开源模型领先表现,BBH任务领先最强基线8.8个百分点,并可同时适配环境声、音乐等多类音频理解任务,为语音与语言的统一建模提供了新技术路径。