數位部AI評測中心啟動 語言模型納10項目評分

發表於 2023-12-06 13:29 作者： 區塊鏈情報速遞pro

（中央社記者蘇思雲台北6日電）數位部今天舉行AI產品與系統評測中心啟動儀式，數位部表示，先以語言模型作為評測對象，擬定10項AI評測項目，包含安全性、可解釋性、彈性、公平性、準確性、透明性、當責性、可靠性、隱私及資安等10項目，Meta也對評測表達興趣。

數位部今天在台北科技大學舉辦AI產品與系統評測中心啟動活動，包括數位部長唐鳳、行政院政委兼國科會主委吳政忠、以及國科會可信任人工智慧對話引擎（TAIDE）、Meta、微軟等國內外語言模型開發商代表都親自參與。

數位部數位產業署署長呂正華指出，AI產品與系統評測中心涵蓋制度推動委員會、技術審議小組、祕書組3部分，將制定AI產品與系統評測制度與AI產品與系統評測指引。AI評測體系中，AI產品與系統評測中心制定AI評測制度跟方法，並陸續在明年成立驗證機構、測試實驗室，提供AI評測與驗證服務，初期測試不收費。

數位部目前偕同工研院跟資安院等機關展開AI評測工作，呂正華說明，AI評測機制將先以語言模型為評測對象，參考歐美AI規範內容，擬定10項AI評測項目，包含安全性、可解釋性、彈性、公平性、準確性、透明性、當責性、可靠性、隱私及資安等10項目。

唐鳳致詞時表示，AI快速發展，也加速對社會帶來衝擊，AI評測不只是純粹的技術，也因為每個地方文化不同，同一句話可能在不同地方會有不同解讀，外界很關心相關AI產品不能只是交給國際大廠片面決定，也得透過微調去適應各地文化，未來相關產品可在出廠前做評測。

吳政忠致詞時表示，AI評測是超前部署，去年ChatGPT問世後，國科會今年2月就宣告台灣要往這塊發展，公私協力打造TAIDE，後續應該可以來驗測一下。未來每家公司都會打造自家的生成式AI，畢竟不可能把公司問題拿去詢問公開模型。

唐鳳會後受訪時表示，透過評測，希望讓國內外廠商了解什麼樣的AI才符合社會期待，AI要誠實、要無害，要符合地方用詞才行。數位部跟國科會在TAIDE開發過程中緊密合作，對外蒐集的社會期待也有融入TAIDE進行訓練，未來這套機制會對外開放，沒有限制申請對象或測試頻率等，目前建立的10項標準未來也可能動態調整。

活動現場包含Meta跟微軟代表都有出席，媒體關注是否意味未來也有意願送測，唐鳳表示，一直有跟Meta保持互動，Meta對評測也有表達意願，加上TAIDE也是透過Meta釋出的模型，因此對這項模型架構已有測試經驗，數位部也有跟微軟討論到未來希望開放源碼AI上進一步合作。

與會專家解釋，AI評測並非一套死題庫去詢問語言模型，概念上會好比資安紅隊攻擊一樣，試圖引誘模型講出錯誤答案，找出可能漏洞，評測也會透過不斷追問的方式了解模型，因為漏洞也可能在追問中發生。

根據資料，數位部明年規劃建立AI評測技術，重點評測項目為語言模型與影像分類產品等，2025年讓國內評測技術符合國際標準，2026年讓國內產品通過國內外標準評測。（編輯：潘羿菁）1121206

標題：數位部AI評測中心啟動 語言模型納10項目評分

地址：https://www.coinsdeep.com/article/72086.html

鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播信息之目的，不構成任何投資建議，如有侵權行為，請第一時間聯絡我們修改或刪除，多謝。