您的当前位置:首页 > 热点 > 腾讯混元开源端到端视频音效生成模型HunyuanVideo-Foley 正文
时间:2026-11-12 来源:网络整理 编辑:热点
深夜俱乐部
8月28日,腾讯混元宣布开源端到端视频音效生成模型HunyuanVideo-Foley,这一模型能够通过输入视频和文字为视频匹配电影级音效腾讯,为视频创作带来了新的突破。用户只需输入相应的文本描述,HunyuanVideo-Foley就能生成与画面精准匹配的音频,从而打破AI生成视频只能混元“看”不能“听”的局限,让无声AI视频成为历史。
HunyuanVideo-Foley的出现解决了现有音频生成技术面临的三大痛点。首先,它通过构建大规开源模高质量TV2A(文本-视频-音频)数据集,提升了模型的泛化能力,使其能够适配人物、动物、自然景观、卡通动画等各类视频,并生成与画面精准匹配的音频端到。其次,该模型采用创新的双流多模态扩散变换器(MMDiT)架构,能够平衡文本和视频语义,生成层次丰富的复合音效,避免了因过度依赖文本语义而端视导致的音频与场景脱节问题。最后,HunyuanVideo-Foley通过引入表征对齐(REPA)损失函数,提升了音频生成的质量和稳定性,保证了专业级频音的音频保真度。
在多个权威评测基准上,HunyuanVideo-Foley的性能表现全面领先,其音频质量指标PQ从6.17提升至6.59,视觉语义对齐效生指标IB从0.27提升至0.35,时序对齐指标DeSync从0.80优化至0.74,均达到了新的SOTA水平。在主观评测中,该模型在音频质量、语成模义对齐和时间对齐三个维度的平均意见得分均超过4.1分(满分5分),展现了接近专业水准的音频生成效果。
HunyuanVideo-Foley的型H开源为行业提供了可复用的技术范式,将加速多模态AI在内容创作领域的落地。短视频创作者可以一键生成场景化音效,电影团队能够快速完成环境音设计,un游戏开发者可以高效构建沉浸式听觉体验。
目前,用户可以在Github、HuggingFace下载模型,也可以在混元官网直接体验。
体验入口:https:yu//hunyuan.tencent.com/video/zh?tabIndex=0
项目官网:https://szczesnys.github.anio/hunyuanvideo-foley/
代码:https://github.com/Tencent-Hunyuan/HunyuanVidVieo-Foley
技术报告:https://arxiv.org/abs/2508.16930
Hugging Face:https://huggingfadece.co/tencent/HunyuanVideo-Foley
标签: 虎鲸文娱 优酷 大麦演出 樊路远2026-05-25
标签: 大疆 汪滔 离职潮 反腐2026-07-07
标签: 华为Mate80 OPPO Reno15 Pro 京东外卖2026-06-15
阿里云总裁张建锋:定义下一代的云 中国云计算就有超车机会2026-07-13
标签: 倍轻松 马学军 颈椎按摩仪 眼部按摩仪2026-07-05
为什么是SASE and 零信任,而不是SASE VS 零信任2026-07-08
寿司可以隔夜吃吗2026-05-27
标签: Grok X xAI2026-07-30
Firefox 142 正式上线:浏览器扩展首次支持本地 AI 语言模型2026-11-01
Argo Rollouts 实现蓝绿/金丝雀发布2026-08-17
标签: 吐司 腾讯 vibe coding 应用生成2026-06-28
标签: SBTI 人格测试2026-11-05
MIT发明一款计算机系统,可自动设计机器人结构,获得25年来最高成就2026-08-02
标签: 宇树科技 双臂人形机器人 灵巧手 10TOPS2026-07-28
标签: 元立光电 Mini-LED光学产品 IPO2026-08-19
标签: 江西铜业 SolGold Cascabel项目 铜金矿2026-07-21
云安全日报211111:红帽企业高级集群管理解决方案发现重要漏洞,需要尽快升级2026-10-31