近日,摩爾線程與無問芯穹共同披露,他們成功地完成了由國產全功能GPU——摩爾線程MTT S4000所構成的千卡集群驅動的大規模AI模型“MT-infini-3B”的訓練工作,并使用無問芯穹的AI Studio PaaS平臺進行構建。
據介紹,此項訓練歷時13.2天,過程穩定而有序,集群整體運行穩定性達到了100%。相較于單機訓練,千卡集群的擴展效率提升了超過90%。
此次實訓被譽為“充分證明了夸娥千卡智算集群在大模型訓練中的可靠性,同時開創了國產大語言模型與國產GPU千卡智算集群深度合作的新模式”。
值得注意的是,經過此次實訓,MT-infini-3B模型的性能在同類模型中名列前茅。在C-Eval、MMLU、CMMLU三個測試集中,其表現均優于其他在國際主流硬件上訓練的模型。
無問芯穹的聯合創始人兼CEO夏立雪表示,公司正致力于開發“M種模型”和“N種芯片”間的“MxN”中間層產品,以實現多種大模型算法在多元化芯片上的高效、統一部署。
他還透露,無問芯穹已與摩爾線程建立了深度戰略合作關系,而本次“MT-infini-3B”的訓練成果則是業內首例基于國產GPU芯片的從零開始到全面大模型實訓的成功案例。
-
gpu
+關注
關注
28文章
4776瀏覽量
129358 -
語言模型
+關注
關注
0文章
538瀏覽量
10342 -
摩爾線程
+關注
關注
2文章
203瀏覽量
4666
發布評論請先 登錄
相關推薦
評論