中國AI大模型工業(yè)應用指數發(fā)布

今天(4日)2024世界人工智能大會(huì )暨人工智能全球治理高級別會(huì )議在上海世博中心啟幕。在“AI賦工業(yè)，數智啟未來(lái)”人工智能賦能新型工業(yè)化主題論壇上，《中國AI大模型工業(yè)應用指數(2024年)》發(fā)布。

隨著(zhù)人工智能技術(shù)的快速迭代發(fā)展，AI大模型工業(yè)應用場(chǎng)景不斷豐富。“中國AI大模型工業(yè)應用指數”旨在及時(shí)跟蹤國內外AI大模型技術(shù)發(fā)展態(tài)勢，挖掘大模型潛在工業(yè)應用場(chǎng)景，系統評估通用人工智能與工業(yè)融合的進(jìn)展與成效。

指數體系由大模型基礎應用能力與行業(yè)應用能力構成。大模型基礎應用能力包含文生文、圖生文等領(lǐng)域的準確性、穩定性能力;大模型的行業(yè)應用能力包含民爆、電力、石化、鋼鐵、醫藥等重點(diǎn)行業(yè)大模型在研發(fā)設計、生產(chǎn)制造、運維管理等環(huán)節具體場(chǎng)景的應用有效程度。

經(jīng)過(guò)多輪測評與專(zhuān)家研討，在基礎應用能力方面，率先發(fā)布中國AI大模型文生文準確性與穩定性指數，其中準確性指數反映了國內外頭部AI大模型在工業(yè)領(lǐng)域文本生成的精準程度?？傮w上，國內大模型準確性指數為78，國際大模型準確性指數為76，國內頂級大模型在工業(yè)領(lǐng)域文本生成的準確性已具備競爭力;在行業(yè)知識層面，我國在多個(gè)行業(yè)如電力、建材、紡織的知識儲備已經(jīng)具備一定領(lǐng)先優(yōu)勢;細分能力層面，國內模型在語(yǔ)句能力和專(zhuān)業(yè)知識掌握上比國外模型更加優(yōu)秀，在數理能力還有待提升。穩定性指數代表模型在一定外部擾動(dòng)下持續給出正確回答的能力，反映模型在復雜環(huán)境下的魯棒性?？傮w上，國內大模型穩定性指數為71分，低于國際的74分;在行業(yè)知識層面，電力和采礦等行業(yè)知識儲備有待提升;在細分能力層面，國內大模型需要在順序變換和邏輯擾動(dòng)等領(lǐng)域需進(jìn)一步加強。

在行業(yè)應用能力方面，率先發(fā)布中國AI大模型民爆行業(yè)應用指數，針對大模型在民爆行業(yè)安全防控場(chǎng)景開(kāi)展應用評測?？傮w上，國內大模型行業(yè)應用指數為84分，國際為93分，國外大模型仍具備領(lǐng)先優(yōu)勢;在場(chǎng)景細分能力上，國內大模型在人員行為監測、事故監測、危險車(chē)輛監測細分場(chǎng)景與國外大模型有一定的差距，國內模型仍有較大進(jìn)步空間。