ChatGPT 檢查程式碼大失誤!Coinbase:多次忽略高風險BUG,無法取代人工

發表於 2023-03-21 20:00 作者: 區塊鏈情報速遞pro

人工智慧聊天機器人 ChatGPT 因其強大的功能度風靡全球,甚至傳出有超越安全專家的智能合約審查能力。不過,Coinbase 在 20 日發布報告表示,儘管 ChatGPT 顯示出快速評估智能合約風險的能力,但並不符合「安全審查」的準確性要求。 (前情提要:安全專家也輸人工智慧?Coinbase高管:ChatGPT-4 檢查出以太坊智能合約漏洞!) (背景補充:ChatGPT更進化!升級版「GPT-4」律師考試贏9成人、能讀懂圖片,OpenAI:已達人類表現)

 

工智慧聊天機器人 ChatGPT 因其強大的功能、幾乎可應對所有問題的高準確度風靡全球,更僅用 3 個月的時間,就成為史上增長速度最快的應用。

Coinbase:ChatGPT 不符合「安全審查」的準確性要求

隨著 chatGPT 審查程式碼的能力震驚全球,為了往後能實際運用該人工智慧作爲大規模採用的工具,Coinbase 也展開更多的測試。不過,Coinbase 在 20 日發布報告表示,儘管 ChatGPT 顯示出快速評估智能合約風險的能力,但並不符合整合到 Coinbase 安全審查流程中的準確性要求。

根據公告,Coinbase 比較了 ChatGPT 和人工安全審查之間的 20 個智能合約風險評分,ChatGPT 12 次產生與人工審核相同的結果,但在 8 次失誤中,有 5 次是 ChatGPT 錯誤地將高風險資產標記為低風險。報告中寫道:

雖然 ChatGPT 審查的效率非常高,但仍有一些限制會影響該工具的準確性。

此外,報告總結了三項 ChatGPT 當前面臨的問題,分別是:

  • ChatGPT 無法識別何時缺少上下文來執行穩健的安全分析。
  • 當我們多次問同一個問題時,ChatGPT 不會總是給出相同的答案。似乎是受到程式碼中註釋的影響,並且偶爾會默認註釋而不是函數邏輯。
  • OpenAI 未來將繼續迭代 ChatGPT 版本,這會導致額外的輸出不穩定。

最後,Coinbase 總結道,雖然 ChatGPT 沒有達到準確度標準,但它確實顯示出足夠的潛力。

未來 Coinbase 將繼續進一步試驗新興工具,但在人工智慧能夠顯示與其現有流程相同程度的準確性之前,這些工具將僅用作支持工具,而不是主要工具。

標題:ChatGPT 檢查程式碼大失誤!Coinbase:多次忽略高風險BUG,無法取代人工

地址:https://www.coinsdeep.com/article/11580.html

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播信息之目的,不構成任何投資建議,如有侵權行為,請第一時間聯絡我們修改或刪除,多謝。

你可能還喜歡