百度王海峰：文心3.5效果全面提升 將發(fā)布更多百度官方和第三方插件

中證網(wǎng)訊（記者 彭思雨）7月6日，2023世界人工智能大會在上海開幕。百度首席技術(shù)官、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心主任王海峰表示，文心大模型3.5效果、功能、性能全面提升，實現(xiàn)了基礎(chǔ)模型升級、精調(diào)技術(shù)創(chuàng)新、知識點增強(qiáng)、邏輯推理增強(qiáng)等，模型效果提升50%，訓(xùn)練速度提升2倍，推理速度提升30倍。截至目前，百度飛槳深度學(xué)習(xí)開放平臺已凝聚750萬名開發(fā)者。這也是百度2023年以來首次對外披露飛槳生態(tài)最新數(shù)據(jù)。

“文心一言將發(fā)布更多優(yōu)質(zhì)的百度官方和第三方插件，讓用戶能夠更好地應(yīng)用文心大模型，同時也將逐步開放插件生態(tài)，幫助開發(fā)者基于文心大模型打造自己的應(yīng)用�！蓖鹾７宸Q。

據(jù)了解，文心一言已經(jīng)于6月17日對外發(fā)布官方插件百度搜索和ChatFile。百度搜索是默認(rèn)的內(nèi)置插件，使得文心一言具備生成實時準(zhǔn)確信息的能力。ChatFile是長文本摘要和問答插件，支持超長文本輸入。

王海峰還在大會上解讀了文心大模型3.5的核心技術(shù)創(chuàng)新。據(jù)他介紹，在基礎(chǔ)模型訓(xùn)練上，文心大模型3.5采用了飛槳最先進(jìn)的自適應(yīng)混合并行訓(xùn)練技術(shù)及混合精度計算策略，并采用多種策略優(yōu)化數(shù)據(jù)源及數(shù)據(jù)分布，加快了模型迭代速度，顯著提升了模型效果和安全性。同時，創(chuàng)新了多類型多階段有監(jiān)督精調(diào)、多層次多粒度獎勵模型、多損失函數(shù)混合優(yōu)化策略、雙飛輪結(jié)合的模型優(yōu)化等技術(shù)，進(jìn)一步提升模型效果及場景適配能力。

在知識增強(qiáng)和檢索增強(qiáng)基礎(chǔ)上，文心大模型3.5提出了“知識點增強(qiáng)技術(shù)”，對用戶輸入的查詢、問題等進(jìn)行分析理解，解析出生成答案所需要的相關(guān)知識點，之后運用知識圖譜和搜索引擎為這些知識點找到相應(yīng)答案，最后再用這些知識點構(gòu)造輸入給大模型的提示，為大模型注入更具體、更詳細(xì)、更專業(yè)的知識點，顯著提升大模型對世界知識的掌握和運用。

在推理方面，通過大規(guī)模邏輯數(shù)據(jù)構(gòu)建、邏輯知識建模、多粒度語義知識組合以及符號神經(jīng)網(wǎng)絡(luò)技術(shù)，提升文心大模型3.5在邏輯推理、數(shù)學(xué)計算及代碼生成等任務(wù)上的表現(xiàn)。