开云体育
开云体育微软推出DeepSeek-R1大模型NPU技术引领边缘计算新纪元!
在人工智能与边缘计算逐渐交汇的时刻,微软再一次引发了科技界的关注,宣布发布专为NPU(神经处理单元)量身定制的DeepSeek-R1大模型。这一创新步伐不仅展现了微软对边缘计算潜力的深刻洞察,也预示着搭载高通骁龙X芯片的Copilot+PC将揭开技术革命的新篇章,后续英特尔酷睿Ultra200V等平台也站上这一历史舞台。
据微软官方透露,DeepSeek-R1的首个版本——DeepSeek-R1-Distill-Qwen-1.5B,现已顺利上线AzureAI Foundry及GitHub,供广大开发者下载使用。同时,参数规模更大的7B和14B版本也在紧锣密鼓地筹备当中,为开发者挖掘Copilot+PC中强大的NPU性能提供了更多可能性。
微软强调,Copilot+PC所搭载的NPU开启了AI应用的新模式。不同于传统方式,此模式下的生成式AI能够在被调用时迅速响应,并且支持半持续运行的服务模式。这不仅大幅提升了用户的互动体验,更让开发者有机会建立起更为主动和持续的智能服务。
为了达成这一飞跃,微软借助在PhiSilica项目中积累的推理优化经验,将这些先进技术成功植入针对NPU优化的DeepSeek模型之中。这包括模型分割技术,以达成性能与效率的最佳平衡,使用低比特率量化技术,以及实现从Transformer模型到NPU的高效映射。
并借助Windows Copilot Runtime(WCR)和ONNXQDQ格式,微软确保了在丰富的Windows生态系统中广泛部署这些模型。为了方便开发者亲身体验DeepSeek模型的魅力,微软提供了简单易用的下载渠道。只需在Visual Studio Code中安装AIToolkit扩展,便可迅速获取这一行业领先的创新成果。
值得一提的是,以ONNXQDQ格式优化的DeepSeek模型也即将添加至AIToolkit的模型目录,使得开发者能够轻松从AzureAI Foundry进行直接拉取。微软通过实例展示了原始模型与NPU优化模型之间的显著差异。在相同的提示下,这两种模型生成的响应略有不同,体现了NPU优化模型在推理能力上的明显提升,同时也验证了微软在模型优化方面的深厚实力。无疑,这一切都将为广大开发者插上腾飞的翅膀,让他们在AI创新的浪潮中揽尽风光!返回搜狐,查看更多