阿里开源首个音频模型ThinkSound：通义AI变身“音效师”

2025年7月4日，阿里通义实验室向外界宣布了一项重磅消息：他们成功开源了首个音频生成模型——ThinkSound。这一创新举措不仅标志着阿里在音频生成技术领域的领先地位，更为整个音频行业带来了全新的变革机遇。

据悉，ThinkSound模型首次将思维链（CoT）技术引入音频生成领域，这一技术的运用旨在解决现有视频转音频（V2A）技术中存在的诸多问题。传统V2A技术在处理视频画面时，往往难以精确捕捉视觉与声音之间的时空关联，导致生成的音频与画面关键事件出现错位，影响了用户的观看体验。而ThinkSound通过引入结构化推理机制，模仿了人类音效师的分析过程，从而实现了对视频画面的深度理解和精准匹配。

具体来说，ThinkSound在处理视频画面时，首先会理解视频的整体画面与场景语义，把握视频的主题和氛围；接着，它会聚焦到具体的声源对象上，分析这些对象在视频中的动态变化和声音特征；最后，根据用户的编辑指令，逐步生成高保真且同步的音频。这一过程不仅确保了音频与画面的高度同步，还使得生成的音频更加自然、逼真。

为了训练这一模型，阿里通义实验室团队构建了首个支持链式推理的多模态音频数据集AudioCoT。该数据集包含了超过2531小时的高质量样本，覆盖了丰富的场景和声音类型。同时，团队还设计了面向交互编辑的对象级和指令级数据，为模型的训练提供了更加全面、细致的数据支持。

ThinkSound模型由两个主要部分组成：一个是多模态大语言模型，负责“思考”推理链，对视频画面进行深度分析和理解；另一个是统一音频生成模型，负责“输出”声音，根据多模态大语言模型的分析结果生成相应的音频。这两个部分的协同工作，使得ThinkSound能够在处理复杂视频画面时表现出色。

值得一提的是，ThinkSound在多项权威测试中均表现优于现有主流方法。这一优异成绩不仅证明了ThinkSound模型的先进性和有效性，也为其在未来的广泛应用奠定了坚实基础。

目前，ThinkSound模型已经开源，开发者可以在GitHub、Hugging Face、魔搭社区等平台上获取代码和模型。未来，阿里通义实验室还将继续拓展ThinkSound在游戏、VR/AR等沉浸式场景的应用，为用户带来更加丰富的音频体验。

对于这一创新成果，业界专家给予了高度评价。他们认为，ThinkSound模型的开源将推动音频生成技术的快速发展，为音频行业带来更多的创新机遇。同时，这也将促进音频技术与视频技术的深度融合，为用户带来更加沉浸式的视听体验。