多模态神经网络SALMONN 能够理解声音世界的AI模型 论文提出了激活调整阶段

站长之家（）10月25日 消息:SALMONN是多模的一个多模态神经网络，能够直接处理和理解包括语音、态神音频事件和音乐在内的经网正规出国劳务公司一般音频输入 ，并在多种语音和音频任务上取得竞争性表现。络S理解

论文地址:https://arxiv.org/pdf/2310.13289v1.pdf

SALMONN采用了两个互补的声音世界正规出国劳务音频编码器，一个用于处理语音 ，多模的澳大利亚出国劳务正规公司另一个用于处理非语音音频事件 ，态神以实现对各种音频任务的日本找活经网优越性能
。

论文提出了激活调整阶段，络S理解以解决SALMONN在训练中过度拟合到某些任务的声音世界问题，该阶段能够使SALMONN具备跨模态的多模的新能力，如问答和叙述。态神这一研究有望推动具有通用听觉能力的经网人工智能的发展。