开云体育
开云体育官方DeepSeek新模型开源发布参数量达6710亿
据悉,DeepSeek-Prover-V2-671B模型参数规模高达6710亿,或为去年发布的Prover-V1.5数学模型的升级版本。该模型采用了更为高效的safetensors文件格式,并支持多种计算精度,使得模型在训练和部署过程中更加迅速且资源消耗更低。在模型架构上,DeepSeek-Prover-V2-671B继承了的先进设计,采用了混合专家(MoE)模式,拥有61层Transformer层和7168维的隐藏层,极大提升了模型的复杂处理能力。
尤为值得一提的是,DeepSeek-Prover-V2-671B支持超长上下文处理,最大位置嵌入达到163840,这一特性使其能够轻松应对复杂的数学证明任务。此外,模型还采用了FP8量化技术,有效减小了模型体积,同时提高了推理效率,为AI在数学领域的应用开辟了新的可能。(纯钧)