全球首個知識增強千億大模型在深圳發布參數規模達2600億

2021-12-08 21:41:39來源：中國新聞網

鵬城實驗室8日與百度聯合召開發布會，發布雙方共同研發的全球首個知識增強千億大模型——鵬城-百度·文心。該模型參數規模達到2600億，是目前全球最大的中文單體模型。

同時，百度產業級知識增強大模型“文心”全景圖首次亮相，從技術自主創新和加速產業應用等兩方面，推動中國人工智能進一步發展。

中國工程院院士、鵬城實驗室主任高文在致辭中表示，預訓練模型對整個科學的發展、社會的發展、創新的發展都是非常重要的工具，這對人工智能的發展是一個福音。

據百度首席技術官王海峰介紹，百度知識增強大模型從大規模知識和海量數據中融合學習，效率更高，效果更好，具有良好的可解釋性。從2019年3月發布文心ERNIE1.0，到最新的產業級知識增強大模型文心全景圖，既包含基礎通用的大模型，也包含面向重點領域、重點任務的大模型，以及豐富的工具與平臺，有助于促進技術創新和產業發展。

此次發布的鵬城-百度·文心是“全球首個知識增強千億大模型”，在機器閱讀理解、文本分類、語義相似度計算等60多項任務取得良好效果，并在30余項小樣本和零樣本任務上刷新基準。

據悉，鵬城-百度·文心研發過程中，鵬城實驗室的算力系統“鵬城云腦Ⅱ”和飛槳深度學習平臺聯手，解決了超大模型訓練的多個公認技術難題。“鵬城云腦Ⅱ”是中國國產自主的首個E級人工智能算力平臺，曾在多個國際性能測試上獲得冠軍。飛槳是中國首個自主研發的深度學習開源開放平臺，研制了端到端自適應分布式訓練框架，實現多硬件支持，并行效率高達90%，有效支持鵬城-百度·文心千億大模型高效、穩定地訓練。

本次聯合發布的鵬城-百度·文心將進一步解決人工智能技術在產業應用中缺乏領域和場景化數據等關鍵難題。本著“開源開放”的理念，該模型代碼近期將在OpenI啟智社區開源，依托鵬城云腦Ⅱ對外開放，聯合“產學研協”各方，挖掘人工智能大模型的賦能能力，助力科技創新，推動產業發展。

關鍵詞：知識增強千億大模型

責任編輯：hnmd003