9月29日消息,火速寒武今天,適配DeepSeek宣布正式發布DeepSeek-V3.2-Exp模型?;鹚俸?strong>漫禁天堂
新版本在V3.1-Terminus的適配基礎上引入了DeepSeek Sparse Attention(一種稀疏注意力機制),針對長文本的火速寒武訓練和推理效率進行了探索性的優化和驗證。
就在同一天,適配寒武紀宣布已同步實現對深度求索公司最新模型DeepSeek-V3.2-Exp的火速寒武適配,并開源大模型推理引擎vLLM-MLU源代碼。適配
開發者可以在寒武紀軟硬件平臺上第一時間體驗DeepSeek-V3.2-Exp的火速寒武亮點。
寒武紀一直重視芯片和算法的適配漫禁天堂聯合創新,致力于以軟硬件協同的火速寒武方式,優化大模型部署性能,適配降低部署成本?;鹚俸?/p>
此前,適配寒武紀對DeepSeek系列模型進行了深入的火速寒武軟硬件協同性能優化,達成了業界領先的算力利用率水平。
針對本次的DeepSeek-V3.2-Exp新模型架構,寒武紀通過Triton算子開發實現了快速適配,利用BangC融合算子開發實現了極致性能優化,并基于計算與通信的并行策略,再次達成了業界領先的計算效率水平。
寒武紀表示,依托DeepSeek-V3.2-Exp帶來的全新DeepSeek Sparse Attention機制,疊加寒武紀的極致計算效率,可大幅降低長序列場景下的訓推成本,共同為客戶提供極具競爭力的軟硬件解決方案。