开云体育
百度智能云开源生产级 MT开云体育P 代码实现 DeepSeek-V32 推理服务吞吐提升超 2 倍
开云体育[永久网址:363050.com]成立于2022年在中国,是华人市场最大的线上娱乐服务供应商而且是亚洲最大的在线娱乐博彩公司之一。包括开云、开云棋牌、开云彩票、开云电竞、开云电子、全球各地赛事、动画直播、视频直播等服务。开云体育,开云体育官方,开云app下载,开云体育靠谱吗,开云官网,欢迎注册体验!据了解,这套技术代码来自于百度智能云内部百舸 AI 计算平台团队。代码开源之前也已经在百度内部核心业务中长期运行,性能与稳定性上均经过严苛考验。社区用户可以结合自身业务场景,“开箱即用”地使用这套代码能力。
今年年初,DeepSeek 以低成本和高性能横空出世,迅速吸引全球科技圈关注。而 MTP 正是其实现这一效果的核心技术创新之一。
在 DeepSeek 之前,大模型和推理多采用传统的自回归解码方式,模型每次只生成一个 token,生成下一个时必须等待上一个完成。如同逐字输入,过程稳定但速度存在瓶颈。
MTP 则采用的是批量生成、集中验证的机制。模型会一次性智能地推算出多个后续 token 作为候选,然后统一进行验证。这好比从逐字输入升级为智能联想输入,一次性能提供多个候选词句,从而大幅减少生成轮次,突破序列化瓶颈。
在训练阶段,MTP 有助于大模型更好地理解词元之间的依赖关系,从而提升大模型整体性能;在推理阶段,MTP 快速生成多个候选词元,并由主模型进行一次前向传播来验证和修正,从而实现推理加速。
作为模型的配套技术,MTP 需要与大模型自身的架构保持深度适配。这也导致最新的 DeepSeek-V3.2 由于采用了与过往不同的的 DSA(DeepSeek Sparse Attention,稀疏注意力)架构,使得此前适用于 DeepSeek 老版本的 MTP 代码无法直接复用于 DeepSeek-V3.2,急需全新的系统级优化和深度适配工作。
百度百舸团队此次开源的 MTP 方案,与 DeepSeek-V3.2 的 DSA 架构进行了深度适配,并在百度集团内部业务中进行了生产级场景的完整验证。此次开源,使得 SGLang 社区开发者无需重复底层探索与试错,能够直接获得性能倍增且稳定可靠的推理能力。
未来,百度百舸团队将持续开源生产级别核心代码,方便中小企业及开发者快速、稳定、低成本地部署先进 AI 能力,加速创新落地。
百度百舸 AI 计算平台是百度智能云打造的面向大模型训推一体化的基础设施,可以从资源准备、模型开发、模型训练到模型部署,为 AI 工程全周期提供丰富特性和极致易用体验。今年 8 月,百度智能云正式发布百度百舸 5.0,在网络、算力、推理系统,以及训推一体系统等四大方向上全面升级,并正式上线了昆仑芯超节点公有云服务。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。


2025-10-30
浏览次数:
次
返回列表