人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動(dòng)力量，正在引領(lǐng)全球經(jīng)濟(jì)發(fā)展。如何準(zhǔn)確、客觀(guān)、全面衡量當(dāng)前人工智能系統(tǒng)能力，成為產(chǎn)學(xué)研用各界關(guān)注的重要問(wèn)題。為提升產(chǎn)業(yè)規(guī)范化水平和促進(jìn)技術(shù)路線(xiàn)收斂，完善配套評(píng)測(cè)基準(zhǔn)，打造智能化時(shí)代的新“標(biāo)尺”，電子標(biāo)準(zhǔn)院會(huì)同產(chǎn)學(xué)研用優(yōu)勢(shì)機(jī)構(gòu)，共同打造“求索”人工智能?chē)?guó)家標(biāo)準(zhǔn)評(píng)測(cè)基準(zhǔn)體系。圍繞算力、大模型、軟硬協(xié)同等重點(diǎn)方向，孵化了12項(xiàng)國(guó)家標(biāo)準(zhǔn)，開(kāi)發(fā)了系列評(píng)測(cè)基準(zhǔn)工具：人工智能系統(tǒng)性能測(cè)試基準(zhǔn)（AISBench）；大模型評(píng)測(cè)基準(zhǔn)（LMBench）；人工智能軟硬件適配測(cè)試工具（AICL）。
日前，“求索”人工智能?chē)?guó)家標(biāo)準(zhǔn)評(píng)測(cè)基準(zhǔn)體系由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院副院長(zhǎng)劉賢剛、國(guó)家能源集團(tuán)數(shù)據(jù)中心總經(jīng)理張延生、中國(guó)物流集團(tuán)有限公司科技創(chuàng)新部總經(jīng)理張暉、中國(guó)建筑集團(tuán)有限公司信息化管理部副總經(jīng)理王劍濤、中國(guó)鐵建股份有限公司科數(shù)部副總經(jīng)理隋舟、中石油昆侖數(shù)智科技有限責(zé)任公司首席技術(shù)專(zhuān)家羅革新、中國(guó)鋼研科技集團(tuán)有限公司人工智能首席張?jiān)瀑F、中國(guó)移動(dòng)研究院管理運(yùn)營(yíng)部副總經(jīng)理劉偉東、中國(guó)電信研究院大數(shù)據(jù)與人工智能研究所所長(zhǎng)王峰、中國(guó)電力科學(xué)研究院人工智能研究所黨委書(shū)記/副所長(zhǎng)周飛、南方電網(wǎng)人工智能科技有限公司副總經(jīng)理梁壽愚、寶山鋼鐵股份有限公司數(shù)智技術(shù)創(chuàng)新中心主任張偉共同發(fā)布。
人工智能算力測(cè)試基準(zhǔn)（AISBench）:對(duì)標(biāo)MLPerf、SPEC等國(guó)際先進(jìn)計(jì)算基準(zhǔn)，聚焦我國(guó)計(jì)算產(chǎn)業(yè)發(fā)展特色需求，圍繞人工智能加速卡、服務(wù)器、集群、人工智能計(jì)算中心等多種計(jì)算產(chǎn)品形態(tài)，建設(shè)涵蓋評(píng)測(cè)指標(biāo)、評(píng)測(cè)方法、模型負(fù)載、評(píng)測(cè)工具等多項(xiàng)關(guān)鍵要素的智能算力測(cè)試基準(zhǔn)體系，對(duì)人工智能計(jì)算能力進(jìn)行全面和量化的評(píng)估。AISBench旨在提供一個(gè)公平且可重復(fù)的基準(zhǔn)框架，確保不同智能計(jì)算系統(tǒng)能夠在相同條件下進(jìn)行比較，有效指導(dǎo)用戶(hù)選型。
基礎(chǔ)通用大模型測(cè)試基準(zhǔn)和行業(yè)大模型測(cè)試基準(zhǔn)（LMBench）:通過(guò)主客觀(guān)相結(jié)合的大模型評(píng)測(cè)方法，從語(yǔ)言、語(yǔ)音、視覺(jué)、多模態(tài)等任務(wù)領(lǐng)域，以及通用性、智能性等系列維度指標(biāo)開(kāi)展大模型能力驗(yàn)證，以大模型評(píng)測(cè)平臺(tái)為支撐開(kāi)展大模型測(cè)評(píng)，幫助用戶(hù)優(yōu)中選優(yōu)。LMBench也可為智能體、具身智能、空間智能等前沿領(lǐng)域的大模型技術(shù)創(chuàng)新提供有力支撐，以及推動(dòng)大模型技術(shù)在不同產(chǎn)業(yè)場(chǎng)景中的深度融合與協(xié)同發(fā)展。
人工智能軟硬件適配測(cè)試工具（AICL）:面向異構(gòu)人工智能計(jì)算設(shè)備協(xié)同以及軟硬件南北向互聯(lián)互通需求，建立跨架構(gòu)、跨平臺(tái)的標(biāo)準(zhǔn)化適配技術(shù)體系，指導(dǎo)大規(guī)模人工智能軟硬件系統(tǒng)和算力設(shè)施兼容適配。AICL旨在實(shí)現(xiàn)人工智能計(jì)算接口“大一統(tǒng)”，清除CUDA、oneAPI、OpenCL等國(guó)外適配體系的技術(shù)路線(xiàn)限制，引領(lǐng)自主智能算力產(chǎn)業(yè)生態(tài)建設(shè)。為適應(yīng)人工智能計(jì)算技術(shù)日新月異的趨勢(shì)，AICL依托開(kāi)源開(kāi)放社區(qū)，根據(jù)技術(shù)產(chǎn)業(yè)發(fā)展情況動(dòng)態(tài)更新、實(shí)時(shí)滾動(dòng)。
目前，AISBench、LMBench、AICL已經(jīng)得到50余家單位的支持和參與，形成了科學(xué)化、體系化的基準(zhǔn)體系。未來(lái)，以國(guó)家標(biāo)準(zhǔn)為核心指引的“求索”人工智能?chē)?guó)家標(biāo)準(zhǔn)評(píng)測(cè)基準(zhǔn)體系，將持續(xù)秉持開(kāi)放合作的態(tài)度，持續(xù)完善人工智能基準(zhǔn)評(píng)測(cè)標(biāo)準(zhǔn)規(guī)范，不斷優(yōu)化評(píng)測(cè)指標(biāo)、評(píng)測(cè)方法和評(píng)測(cè)工具，及時(shí)回應(yīng)產(chǎn)業(yè)界、學(xué)術(shù)界對(duì)人工智能規(guī)范化發(fā)展的熱切關(guān)注，引領(lǐng)產(chǎn)業(yè)生態(tài)建設(shè)，更好滿(mǎn)足人工智能產(chǎn)業(yè)高質(zhì)量發(fā)展對(duì)標(biāo)準(zhǔn)化的迫切需求，有力支撐人工智能賦能新型工業(yè)化。
來(lái)源 | 中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院網(wǎng)站
轉(zhuǎn)自：中國(guó)標(biāo)準(zhǔn)化
