6月20日消息，據(jù)內(nèi)部人士透露，百度文心大模型3.5版本已內(nèi)測可用。早在5月末中關(guān)村論壇上，百度創(chuàng)始人、董事長兼CEO李彥宏透露，百度大模型產(chǎn)品“文心一言”的“母本”將迎來3.5版本。
時隔不到一個月，最新版本文心大模型達到了怎樣的實力？在公開測試集上進行的基礎(chǔ)模型少樣本（Few-Shot）評測顯示，文心大模型3.5（ERNIE 3.5）在多個測試集的得分已超過ChatGPT。
三大評測基準綜合評估 上萬道考題“統(tǒng)考”主流大模型
為驗證主流大模型的各項綜合能力，評測在AGIEval、C-Eval和MMLU三個權(quán)威評測基準上進行綜合評估。
AGIEval評測基準是微軟研究院發(fā)布的、專門用于評估模型在“以人為本”的標準化考試中表現(xiàn)水平的測試集。該基準選取20種面向普通人類考生的官方、公開、高標準的資格考試，包括普通大學入學考試（如中國的高考和美國的SAT考試）、司法考試、數(shù)學競賽、律師資格考試、國家公務(wù)員考試以及美國的GRE、GMAT等。
C-Eval評測基準是由上海交通大學、清華大學以及愛丁堡大學聯(lián)合創(chuàng)制和發(fā)布的中文基礎(chǔ)模型評測集。它包含13948個多項選擇題、涵蓋52個不同的學科，設(shè)置了四個難度級別，是面向中文語言模型的綜合考試評測集。
MMLU是伯克利大學、哥倫比亞大學、伊利諾伊大學厄巴納-香檳分校和芝加哥大學聯(lián)合發(fā)布的一種大規(guī)模多任務(wù)語言理解的基準測試，用于衡量模型的英文跨學科專業(yè)能力。該測試包含57個科目，涵蓋STEM、人文、社會科學等。
除了文心大模型3.5，評測的模型還有ChatGPT、GPT-4、ChatGLM、LLaMa系列大模型。評測可以看出大模型在能力上的優(yōu)劣，同時對模型的迭代發(fā)展也有著很強的指導作用。
評測結(jié)果：文心大模型3.5中文能力超GPT-4，綜合能力超ChatGPT
在AGIEval、C-Eval等中英文權(quán)威測試集和MMLU英文權(quán)威測試集中，國產(chǎn)文心大模型3.5取得了超過ChatGPT和LLaMa、ChatGLM等其他大模型的分數(shù)表現(xiàn)，在中文評測項中超越了GPT-4。
在中文AGIEval評測中，文心大模型3.5得分64.37，遠超ChatGLM-6B、LLaMa-7B、LLaMa-13B、LLaMa-65B，同時還超過了 ChatGPT的40.27分和 GPT-4的56.96分，位居第一。AGIEval評測英文部分中，GPT-4得分65.55居于首位，文心大模型3.5得分錄得 50.59分，僅次于GPT-4。緊隨其后的是ChatGPT錄得48.75分。
在中文C-Eval評測中，文心大模型3.5測出71.93的最高得分，不僅高于ChatGPT的51.70分，還略高于GPT-4的68.57分，領(lǐng)先于LLaMa-65B、LLaMa-7B、ChatGLM-6B的得分。
在英文MMLU測試中，GPT-4和ChatGPT的表現(xiàn)較好，分別以82.47分和68.85分領(lǐng)先于其他大模型。文心大模型3.5得分65.10緊隨其后，優(yōu)于LLaMa-65B、LLaMa-13B、LLaMa-7B、ChatGLM-6B等模型分數(shù)。
從上述評測得分來看，文心大模型3.5版中文能力突出，甚至有超出 GPT-4 的表現(xiàn)；綜合能力稍遜于GPT-4，但已經(jīng)在評測中超過了 ChatGPT，遠遠領(lǐng)先于其他開源大模型。
國產(chǎn)大模型中文能力優(yōu)勢突出 綜合能力加速縮小差距
盡管市面上有多個大模型橫空出世，但大模型研發(fā)門檻高、難度大、投入高，依賴算力、數(shù)據(jù)等綜合支撐的現(xiàn)實不容小覷。在推動大模型產(chǎn)業(yè)化的路上，中國企業(yè)如何在大模型發(fā)展過程中發(fā)揮所長優(yōu)勢，加速縮小差距？
中國工程院院士鄔賀銓曾在接受采訪時表示，中國企業(yè)在獲得中文語料和對中國文化的理解方面比外國企業(yè)有天然的優(yōu)勢，中國制造業(yè)門類最全，具有面向?qū)嶓w產(chǎn)業(yè)訓練產(chǎn)業(yè)AIGC的有利條件。在算力方面中國已具有較好的基礎(chǔ)。
以百度文心大模型3.5為例，與3.0版本相比，通過各項算法和數(shù)據(jù)的優(yōu)化，尤其是百度首創(chuàng)的知識增強和檢索增強技術(shù)的優(yōu)化，新版本文心大模型在各項能力上均有明顯提升。據(jù)了解，百度人工智能四層架構(gòu)的端到端優(yōu)化，尤其是框架和模型層的協(xié)同優(yōu)化，讓文心大模型訓練速度、模型效果加速提升。
創(chuàng)新工場董事長兼CEO李開復也曾公開表示“中國擁有豐富的中文語料和龐大的市場，通過發(fā)展AI大模型，中國可以推動創(chuàng)新產(chǎn)業(yè)的發(fā)展，實現(xiàn)科技與經(jīng)濟的雙重紅利。而且中國擁有龐大基數(shù)的年輕工程師和最堅韌的企業(yè)家，為發(fā)展AI大模型提供了強大的人才支持，技術(shù)領(lǐng)先、策略靈活、市場反應(yīng)快、能打硬仗、落地執(zhí)行力強，將是中國大模型公司的成功關(guān)鍵?！?/p>
眼下，市場呼喚大模型，呼喚先進可用的 AI大模型。相信以百度等為代表的中國科技公司，基于對中國文化的感悟和對中國市場的理解，能夠做出不遜于國外公司的AI應(yīng)用。在數(shù)智化的征程上，中國企業(yè)應(yīng)積極迎接挑戰(zhàn)，持續(xù)創(chuàng)新。