在筆者的公司Edge Case Research (編按:一家為自動駕駛系統開發安全方案的新創公司),我們相信人工智慧(AI)技術有可能讓每個人都更安全。舉例來說,AI能持續保持警覺性,並擁有比人類更快的本能反應,在未來有助於大幅減少自駕車的事故。但要能超越人類的開車表現並不容易,這將取決於AI能否在各種駕駛情境下安全且可靠的運作。

偏誤(bias),或稱系統性錯誤(systematic error),對於AI安全性來說是一項重大挑戰。在現今以AI驅動的產品中可能會出現偏誤,例如臉部辨識軟體在識別白人男性的表現上,比起識別女性和有色人種來得較準確。AI會出現偏誤的原因有很多:例如選錯了攝影機,就可能不適合識別深色皮膚的人種;或者是因為訓練資料所擷取的臉部影像大多數是白人男性。

20190516_AIbias_NT01P1

你可能會發現什麼樣的問題?分析基於開放原始碼所開發之行人偵測器的效能,圖中為一些分析說明。
(來源:Edge Case Research)

因為AI是被導入安全關鍵應用,很容易發現偏誤會帶來怎樣的風險。當自駕車運用AI技術偵測行人,這與臉部辨識功能沒有什麼不同,但我們不會希望自駕車比較容易撞到頭髮較長、皮膚較黑或個子比較矮的人。安全性不應該取決於你的長相。

我們的行人偵測器之性能可以說是在漏報和誤報之間進行權衡,這種權衡通常透過偵測器處理數千或數百萬個人類分析影像的能力優劣來衡量,但這種分析可能會漏掉重要的安全性風險。我們的偵測器在偵測各種行人方面的表現算是可圈可點,但它仍然常常會遺漏坐輪椅的人,這種偏誤很顯然地無法被接受。

偏誤來自於機器學習本身,運用成人資料做訓練的偵測器通常可能會遺漏個子較矮的兒童,此外在某些場景和照明條件下訓練也可能無法得到很好的結果,像是穿著深色衣服(在黑暗背景下被拍攝)或置身於刺眼的太陽光下。

人工智慧中所產生的偏誤可能令人吃驚,因為機器學習與人類學習相當不同。我們已經看到AI未能辨識穿著反光背心的建築工人,雖然你預期這些背心應該能提升偵測率,但請從統計數據的角度考慮此問題,實際上只會有一小部分行人穿這麼亮的黃背心,因此明亮的黃色與一個人的存在感無關。這種奇怪的例子會不斷出現,例如神經網路可能會漏掉追蹤站在一個垂直物體如電線桿附近的人。你想過這個嗎?

20190516_AIbias_NT01P2

誤報率
(來源:Edge Case Research/Shutterstock)

這就像雞生蛋、蛋生雞的理論:你可以測量AI中的偏誤,但前提是你要知道如何尋找每一種特殊的偏誤情況,這就是為什麼我們認為建立具安全性、自主性的產品標準不僅要求製造商測試已知的偏誤,還應該仔細尋找新的、意想不到的新偏誤,而這些偏誤可能不會被發現,直到產品被廣泛地運用。這也是為何Edge Case Research建立了一個名為「全像」(Hologram)的測試和分析平台,協助研發人員加快識別偏誤和邊緣案例,進而更快地解決安全性問題。

編譯Patricia Lin;責編:Judith Cheng

(參考原文:Bias in AI: Impact on Safety,by Michael Wagner)