安全報告惹議 自駕車產業有法也難管?

2021-07-06
作者 Junko Yoshida,EE Times首席國際特派記者

目前並沒有足夠的資訊顯示,我們可以信任任何一家開自駕車技術的公司或自動駕駛車(AV),但負責車輛安全的機構已在發放免審查的通行證相相關業者。其次,花了時間和資源制訂了安全標準,卻不強制要求遵循,究竟又是怎麼回事?

自動駕駛車(Autonomous vehicles;AV)已經融入於美國各城市的公共街區和道路(圖1)。這是否意味著,監管機構和社會大眾應該相信這些車輛是安全可靠的?實際上,並沒有足夠的資訊顯示,我們可以開始信任任何一家開發AV技術的公司或自駕車,然而,負責車輛安全的監管機構卻已經在發放免審查的通行證給科技公司和AV製造商。

監管機構和關注該領域的業界觀察家們唯一可取得的「安全」資訊,就是車輛開發業者提交給美國國家運輸安全委員會(National Transport Safety Board,NHTSA)的報告。在NHTSA網站上搜尋「Voluntary Safety Self-Assessment 」(自願性安全自評估,VSSA)就可以找到這些文件。

為了支持「創新」,NHTSA並未要求各家業者提交任何特定的資料,更不用說採用標準格式的資料了。不過,NHTSA其實提供了自願評估指南(Voluntary Guidance)和VSSA樣版(VSSA Template)。顧名思義,VSSA是一種自願性的自我評估。各業者甚至並未被要求提交VSSA,因此許多公司當然也就不「自找麻煩」了。

這與美國食品藥物管理局(FDA)和聯邦航空總署(FAA)形成了鮮明的對比,FDA和FAA均要求藥品供應商和飛機製造商在產品推出之前證明產品符合嚴格的產業標準。

Semicast Research首席分析師Colin Barnden指出:「FDA並不允許隨機找個人來測試新藥,FAA也不容許在人口稠密地區進行飛機測試。」他強調,「永遠行駛在相同的路線上,雖然沒發生任何不好的事情,也沒有人被撞身亡,並不能證明一項新技術是安全的。NHTSA (和各州監管機構)有責任確保大眾的安全,而不是推動實驗性的新技術在未經同意的人身上進行測試。」

 

圖1:AV已經穿梭於美國各城市的公共街區和道路。

(來源:Argo AI)

 

AV泡沫化

從各方面來看,美國的AV產業正處於泡沫之中。

首先,AV製造商可以用自家標準和程序對其AV進行自我認證。其次,他們並未被要求提交VSSA。第三,有些AV製造商甚至未能在其報告中提及任何涉及安全的業界標準,如ISO 26262 (功能安全)、ISO 21448  (預期功能安全)和ANSI/UL 4600,即使碰巧引用了這些標準,也只是順帶提過。

只有少數公司選擇提交報告。截至2021年4月28日,有55家公司獲得了加州監理所(DMV)核發的AV測試執照(由駕駛監控)。在這55家公司中,迄今也只有15家向NHTSA提交了VSSA。

NHTSA目前總共收到了24份VSSA文件。這兩個數字之所以不同,有兩個原因:在美國進行測試的公司並不一定都在加州測試,而且還有兩家公司提交了兩份VSSA報告。

EE Times查閱了AV開發人員在NHTSA網站上提交的每一份VSSA。每家公司都提到了「拯救生命」,均表示「贏得社會大眾的信任」很重要,也都指出「透明度」是他們發佈安全報告的目的。

由於這類冠冕堂皇的辭彙並不夠嚴謹,我們決定建立一個記分卡(表1),希望能夠辨別哪些用心提交VSSA的公司確實在「謹慎關注安全性」。我們的檢查主要側重於每家公司如何使用業界標準(例如ISO 26262、ISO 21448或ANSI/UL 4600)——因為每項標準各司其職,並且都適用於所有的AV。

這24份安全報告中也有極端情況,其中有3份報告根本沒有提及任何業界標準,分別來自Zoox——現在隸屬於亞馬遜(Amazon)、Local Motors和蘋果(Apple)。

與此完全相反的是歐洲汽車製造商BMW、賓士(Mercedes-Benz)和博世(Bosch),他們都是業界標準的重要推手。

 

圖2:測試目標及其相應的測試平台與系統要素。

(來源:Safety Self-Assessment Report)

 

除了這些極端例子,還有各種特別的狀況,許多VSSA提交者雖然提到了ISO 26262,卻並未聲明其車輛符合該標準。2顯示測試目標及其相應的測試平台和系統要素。

#ISO洗脫

正如Edge Case Research共同創辦人兼技術長、卡內基梅隆大學(Carnegie Mellon University,CMU)教授Philip Koopman指出的,「許多VSSA都提到了標準,但卻沒有真正承諾要按標準來做。含糊其詞地挑揀零碎的標準片段,並不能真正表明這些公司在安全方面做了些什麼。」他將這種情況稱之為「#ISO洗脫」(#ISOwashing)。

例如,Waymo並未在其於2020年9月的安全報告中提及任何標準,但卻如此吹捧其系統安全計劃:「作為2015年第一家在公共道路上完成全自動駕駛的公司,我們編寫了Waymo自己的劇本。」

Waymo在2020年10月發佈了一份長達30頁的檔案「Waymo’s Safety Methodologies and Safety Readiness Determinations Waymo」(Waymo安全方法論和安全準則)中,引用了大量標準並解釋尚未完全符合這些準則的原因。

針對ISO 26262:

ISO 26262Waymo的危險分析流程提供了重要的依據。然而,Waymo並未嚴格遵從ISO 26262標準,因為它並不完全適合L4 ADS (自動駕駛系統)

對此,Koopman說:「在解讀這樣的聲明時,思考它說了什麼和沒說什麼都很重要。」

Koopman解釋,「Waymo的意思是他們比較重視ISO 26262的第3部份,關於危險和風險分析,但因為無法完美契合而未完全遵從。不過,他們並未提及是否考慮ISO 26262的其他部份。」

他補充說:「他們也未說明實際上遵循什麼樣的準則,因為他們似乎對業已成熟的ISO 26262功能安全標準中那些規則不太滿意。」他總結道,「現實情況是,ISO 26262應該可以用於其車輛的很多功能,就像用於其他任何車子一樣。ISO 26262是可以量身打造的,很難理解他們為什麼不對其進行調整以符合自家的需求。」

還有一個例子是Argo AI,該公司在最近發佈的安全報告(Safety Report)中寫道:「我們的系統工程設計建立在兩個關鍵的ISO標準之上:ISO 26262和ISO 21448。」

Koopman指出:「雖然態度看起來還不錯,但讀者根本不明白他們實際上想表達什麼。」他承認,「這句話給人的印象肯定是他們符合這兩項標準,但如果真的符合標準,為什麼不直接說『符合』(conform)二字呢?我認為他們並未就安全問題​​做出最真實的聲明,要不就說「符合」或是較不那麼正式的「遵從」(follow)用語。否則,哪怕發出的聲明再慎重,也得不到人們的信任。」

EE Times編輯曾經聯繫Argo AI解釋其聲明,該公司的一位發言人說,「我們的目的在於符合安全標準,但由於尚未完成安全測試,因此在聲明中採用了那樣的措詞。」

是不是因為存在一些因素,使得AV產業人士對現有標準有一些看法,認為這些標準與其於第4級(L4)和第5級(L5)追求的車輛「自主性」沒有任何關係呢?Koopman明確表示:「ISO 26262解決了功能安全問題,值得在L4/L5車輛中佔一席之地。但L4/L5還需要涵蓋更多的預期功能安全(SOTIF/ISO 21448)和系統級安全(ANSI/UL 4600),所有這些內容都需要涵蓋。」

由於目前的AV測試還無需進行監督、驗證或校驗,如何在AV大量上路之前確保其安全性,形成了一個難解之謎。

儘管有些現有的AV標準相互競爭且不一致,英特爾(Intel)首席工程師Jack Weast最近在一篇的文章中寫道:「這個問題還是可以解決的,即採納專家們(如學者、工程師、汽車製造商和業界代表)的方法,他們已經齊心協力制訂出技術中立的安全標準。」Jack Weast同時也是IEEE P2846標準主席。

事實上,Weast並不是唯一這樣認為的人。

由於產業本身已經花費了大量的工程資源來建立這些標準,Koopman反問道:「還有什麼理由不遵循這些標準呢?」

在提交VSSA的AV公司中,輝達(Nvidia)的出現令人稍感意外,但這也展現了Nvidia在開發AV平台(完整結合其強大的SoC和AV軟體堆疊)的雄心,並便於讓車輛製造商輕鬆地將該平台應用在自家的AV車輛中。3為Nvidia安全報告的截圖。

Nvidia在其安全報告中寫道:「Nvidia Drive架構使車輛製造商能夠製造並部署功能安全的AV和卡車,並符合ISO 26262和ISO/DIS 21448、NHTSA推薦規範,以及全球NCAP要求等國際安全標準。」

 

圖3:Nvidia在其安全報告中聲明符合ISO 26262和ISO/DIS 21448等國際安全標準。

(來源:Nvidia Self-Driving Safety Report)

 

然而,我們發現這家GPU巨擘的聲明中也存在一點爭議。Nvidia聲明符合ISO 26262,但並不意味著使用Nvidia晶片的AV就一定符合ISO 26262標準。

Koopman對此看法表示認同:「沒錯,這取決於客戶實際上是否符合標準。」他解釋說,如果Nvidia提供的方案只是讓客戶在「模擬」中符合21448標準,那就迴避了最終產品在現實世界中是否符合21448標準的問題。

Koopman補充道,「除了Nvidia,我們還看到了一些業者宣稱符合ISO 26262的聲明,但他們實際上只提到了晶片,甚至並未包含所有硬體。」

安全報告流於廣告文宣?

看著這24份安全報告,不可避免地會有一種印象,即這些報告更像是公司的行銷宣傳冊。

Barnden指出,這些所謂的安全報告「完全可以互換」。如果我收到來自Motional、Waymo和Zoox的文案,不去看公司名稱的話,我根本無法區分它們有何不同。」

問題不僅在於報告中華而不實的圖片過多,同時也欠缺實質的技術內容。Barnden說:「我看不出哪些指標可以衡量過去12個月取得的進展,也搞不清楚明年發佈的新安全報告中會有哪些重大變化。無止境地重複『安全』這個詞並不能使產品或流程變得安全。」

以Waymo為例。Barnden說:「2020年,Waymo向加州DMV報告在628,839英哩行駛里程內發生了21次「解除自駕」(disengagement),平均大約每30,000英哩發生一次。但正如我們在最近的一段視訊中看到的,一輛「完全無人駕駛」的Waymo車子竟然被一個靜止不動的交通錐給弄迷糊了。在Waymo位於亞利桑納州錢德勒(Chandler, Az)附近的主測試區內,這輛AV居然在高速公路上倒車,致使一條車道完全堵塞,迫使人類駕駛繞道而行。事實上,「解除自駕」報告毫無意義。如果未能搭配經過訓練的人類安全駕駛員,這些車輛在公共道路上行駛顯然還不夠安全。」

Waymo案例

Waymo自駕車自2015年即已上路行駛,但令人驚訝的是其無人駕駛計程車仍然會因為一個交通路錐而混淆——這似乎很難被界定為一起「邊緣案例」(edge case)。

最近幾個月,曾經被視為AV產業領導者之一的Waymo有六名高階主管出走,包括執行長、財務長、財務主管、製造主管、安全總監,以及系統安全主管。可以理解的是,人才的大量外流引起了人們的顧慮,也讓矽谷流言四起。

這讓我們又回到了原點。我們對Waymo Driver取得的進步真正了解多少?Waymo的安全報告顯然沒有透露多少訊息,這似乎也讓人不能安心。

重尾分佈

AV開發商還需要多久才能推出完全的AV?這一時間一再推遲。安全報告不僅是業者的安全聲明,同時也應該包括所面臨的挑戰,以及計劃如何因應。

Kodiak即曾公開表示,測試里程數更長並不代表更安全。他們在其安全報告中如此寫道:「當然,在這種思想的指導下,我們可能永遠不會像一些競爭對手那樣測試那麼多的里程。雖然我們所測試的里程數較少,但並不存在風險,相反地,這是對安全性的一種承諾。」

Aurora對此表示同意。「……我們將實際測試視為一種手段,用來驗證並提高快速離線測試的精確性。這一策略使我們能夠控制上路測試的車隊規模。我們追求的是里程品質而不是數量,因而節制了測試車輛的行駛里程;換句話說,我們追求的是有意義的里程,而不僅簡單地累積大量里程。」

談到極端案例研究的重要性,Koopman指出,困難之處不僅在於發生(需要處理的)意外事件(即不安全事件)的頻率,更重要的是需要處理的都是一些什麼樣的意外事件,這些意外事件都是不同的。Koopman說,如果意外事件數量過多,則需要很長時間才能解決所有問題,而且很可能永遠都解決不完。

Koopman在他的文章中這樣寫道:

設計安全的AV不僅需要針對實際行駛場景進行大量的訓練和測試,還必須處理各種不確定性。現實世界中可能會出現許多罕見的危險事件,在遇到不可預見的新情況時,系統需要保持穩健。

根據獲得的道路資料進行總結然後假設可能出現的各種異常情況,這肯定會有所幫助。然而,現實世界的意外事件通常呈重尾分佈(heavy tail distribution),因此可能無法使用簡單的「駕駛/故障/修復開發流程來實現所需的安全性。

在遇到新的情況時,AV需要具備足夠的處理能力,同時還要求一種能夠檢測是否遇到意外狀況的方法,這樣才能在面對不確定性時仍保持安全。

拜登政府

NHTSA對汽車產業的放任態度早已是聲名狼藉。幾十年來,NHTSA的利益一直與汽車製造商和科技公司掛鈎。

美國拜登政府(The Biden Administration)也沒有提出任何處理AV安全問題的辦法。新任交通部長Pete Buttigieg是否能帶領NHTSA做出改變呢?例如,讓科技公司和汽車製造商發佈的AV安全聲明更加透明和可靠?

NHTSA在川普政府時期曾發佈「Advance Notice of Proposed Rulemaking (ANPRM) on autonomous driving systems」(關於自動駕駛系統的新規預告)來收集公眾意見,收集日期截至4月1日。預計NHTSA在回應公眾意見時,會出現改變的訊號。

而當被問及何時對公眾意見給出答覆時,NHTSA回覆EE Times說「待審核所收到針對ANPRM有關自動駕駛系統(ADS)安全原則的公眾意見後便會有答案」。

NHTSA將在之後再決定其下一步計劃。她說:「至於未來12個月的監管計劃,NHTSA會在春季末的半年度監管行動統一議程中公佈。」但該計劃至今尚未公佈。

非得等到災難事件發生後

許多AV產業觀察家都清楚,可能要等到這個剛起步的產業發生一場災難性的事件,才會促使政府終於做出決定,實施更嚴格的規則。

正如Barnden所指出的,「如果一輛正在測試的自駕車撞死了一個行人或一個孩子,那麼輿論將直接指向美國總統拜登(President Biden)。」他指出,當年波音737 Max操控特性增益系統(MCAS)設計中的根本缺陷被暴露之後,所有波音737 Max飛機都被FAA停飛了。「AV的安全問題也顯而易見,為什麼還要發放免驗通行證給AV開發商呢?汽車產業在大聲疾呼『拯救生命』的同時實際上又在危害生命,這是不可理喻的。其政治風險巨大,政府需要立即醒悟並展現果斷的領導力。」

這種事情已經有先例。在Elaine Herzberg被優步(Uber)自動駕駛測試車撞死「一年多」之後,美國汽車工程師學會(SAE)終於採取行動,更新了SAE J3018 (首次發佈於2015年3月),即SAE L3/4/ 5 AV安全上路測試指南。 SAE的一位發言人表示,這「更有效反映了AV上路進行性能測試時的安全需求」。

她解釋說,業界在測試由ADS操作的車輛方面已經積累了很多實際經驗,J3018標準在更新時結合了這些經驗,現在已經兼容於相關的SAE國際標準。

與此同時,在Uber發生致命事故一年之後,一個僅限受邀成員加入的汽車產業組織——AV安全聯盟(AVSC),也開始「利用聯盟成員採用的測試方法和流程,記錄並公開有關車內人類測試駕駛的最佳經驗」,SAE自動化辦公室主任Ed Straub表示。他介紹說,AVSC的使命是「建立公眾對SAE L4/L5 AV的信任」。所有AVSC成員都在為各種車輛應用進行ADS道路測試。

但問題是,當AV業者向各州、各大城市申請在公共道路上試駕AV的執照時,為什麼當地監管機構不要求AV營運商符合J3018標準?

Straub說:「我無法了解各州或各城市的做法。」他推測,真正需要使用這一標準作為參考的人可能還不知道有這項標準的存在。

但他也理解汽車產業的做法:「SAE國際標準已經存在上百年了,它是自願性質的,除非像FMVSS一樣在法規中明確規定。」他指出,「自動駕駛技術和相關測試以前所未見的速度發展,因此,很難要求開放的產業標準跟上步伐……因為自願性質的產業標準是邀請所有感興趣的各界來制定的,所以需要較長的時間。那些強制要求滿足的法規(如FMVSS)則可能需要更長時間。」

說真的,花了時間和資源為所有成員制訂安全標準,卻不強制要求遵循這些標準,這是什麼樣的產業?道路規則適用於所有人,唯獨汽車製造者例外,這究竟是怎麼回事?

****************************************

下表由EE Times編製。「Glossy Pix Ratio」(GPR)是安全報告中宣傳性圖片頁數與文本頁數之比。 雖然一份安全報告中的頁數較多,但如果GPR也較高,其中包含的資訊可能比頁數較少但GPR較低的報告包含的資訊更少。

其後的四列計算報告中包含「標準」一詞或提及某種特定標準的次數。「VSSA分數」(VSSA Score)則是對「VSSA」的評估。

 

表1:VSSA安全報告評分。

 

(參考原文:The Road Has Rules But Not So Much For AV Makers,by Junko Yoshida)

本文同步刊登於EDN Taiwan 2021年7月號雜誌

活動簡介

人工智慧(AI)無所不在。這一波AI浪潮正重塑並徹底改變科技產業甚至整個世界的未來。如何有效利用AI協助設計與開發?如何透過AI從設計、製造到生產創造增強的體驗?如何以AI作為轉型與變革的力量?打造綠色永續未來?AI面對的風險和影響又是什麼?

AI⁺ 技術論壇聚焦人工智慧/機器學習(AI/ML)技術,涵蓋從雲端到邊緣、從硬體到軟體、從演算法到架構的AI/ML技術相關基礎設施之設計、應用與部署,協助您全面掌握AI最新技術趨勢與創新,接軌AI生態系佈局,讓機器學習更快速、更經濟、更聰明也更有效率。

贊助廠商

發表評論

訂閱EETT電子報