蚂蚁集团重磅推出 dInfer：让扩散语言模型的推理速度飙升 10 倍！
近日，蚂蚁集团正式开源了业内首个高性能扩散语言模型推理框架 ——dInfer。这一框架的推出，不仅意味着扩散语言蚂蚁模型在推理速度上取得了重大突破，也标志着这一新兴技术向实际应用迈出了重要一步。
在最新的基准测试中，dInfer 的推集团理速度比英伟达的 Fast-dLLM 框架提升了惊人的10.7倍。在代码生成任务 HumanEval 中，dInfer 在单重磅次推理中达到了每秒1011个 Tokens 的速度，这一成绩在开源社区中首次实现了扩散语言模型的推理速度显著超越传统自回归模推出型。这样的进展让人们对扩散语言模型的未来充满期待，认为它将成为通往通用人工智能（AGI）的重要技术路径。
扩散语言模型的独 d特之处在于其将文本生成视作一个 “从随机噪声中逐步恢复完整序列” 的去噪过程，具备高度并行、全局视野以及结构灵活的特点。In尽管理论上拥有强大的潜力，dLLM 在实际推理中却受限于高计算成本、KV 缓存失效和并行解码等挑战。这些难题使得扩散语fe言模型的推理速度一直未能得到充分发挥，亟待突破。
针对这些挑战，dInfer 专为扩散语言模型设计，包含了四大核心模块r：:模型接入、KV 缓存管理器、扩散迭代管理器和解码策略。这样的模块化设计，像乐高玩具一样，让开发者可以灵活组合和优化各个让扩模块，同时在统一的平台上进行标准化评测。
在配备8块 NVIDIA H800GPU 的节点上，dInfer 的表现极为出散语色。在与 Fast-dLLM 的对比中，dInfer 在效果相当的情况下，平均推理速度达到了681个 Tokens / 秒，相比之言模下，Fast-dLLM 的速度仅为63.6个 Tokens / 秒。此外，与业界顶尖的推理服务框架 vLLM 上运行的自回归模型 Qw型的en2.5-3B 相比，dInfer 的速度更是达到了其2.5倍。
蚂蚁集团表示，dInfer 的推出是连接前沿研究与产业应用的推理重要一步，期待全球的开发者与研究者共同探索扩散语言模型的巨大潜能，构建更加高效与开放的 AI 生态。
相关文章：
- 标签: 理想汽车 理想MEGA 召回 安全隐患
- 谷歌发布最新零样本学习看图说话模型，多类型任务直接上手
- 使用Yarn workspace,TypeScript,esbuild,React和Express构建 K8S 云原生应用(一)
- OpenAI 推出 Privacy Filter：全新 PII 脱敏模型开源上线
- 标签: OPPO FindX 周意保 卓世杰
- 标签: 网信中国 网络名人 负面清单 账号管理
- 谷歌云重新实施销售佣金封顶：业务巨亏，员工却赚百万美元
- 标签: 猎装车 车企 新能源汽车
- 首款 AI Agent浏览器 Fellou CE发布，打造“无缝衔接”的体验
- 科大讯飞在东博会上推出多语言大模型
- https://www.teamlab.art/pt/?submit=谷歌自动批量发帖软件【tg:seogoogle987】,YtG
- https://www.goodreads.com/quotes/tag/谷歌自动批量发帖软件【tg:seogoogle987】p43
- https://www.shacknews.com/editorial-search?q=谷歌自动批量发帖软件【tg:seogoogle987】,Bqc
- https://www.tullygroup.us/?ID=hbkq8jFjrQlVRrwzEmvoUJJAY4e1Lfo5&s=谷歌自动批量发帖软件【tg:seogoogle987】,glX
- https://www.swanagerailway.co.uk/search?q=谷歌自动批量发帖软件【tg:seogoogle987】,j70
- https://www.kuaikanmanhua.com/sou/谷歌自动批量发帖软件【tg:seogoogle987】,Rin
- https://www.takachi-enclosure.com/search?eqYB=gnI31Ou&text=谷歌自动批量发帖软件【tg:seogoogle987】,rBv
- https://www.remit.co.jp/en/?s=谷歌自动批量发帖软件【tg:seogoogle987】,04i
- https://www2.ual.es/ProyectoLates/?s=谷歌自动批量发帖软件【tg:seogoogle987】,IlC
- https://www.wilsonart.com/catalogsearch/result/?action=CHECK&q=谷歌自动批量发帖软件【tg:seogoogle987】,qjr