理論上,諸如深度學習、臉部辨識、先進繪圖處理等等新學科,對於希望更新其STEM課程的各大專院校電腦科學(CS;EETT編按:台灣的大專院校多稱為「資工」)與電子工程(EE)系所來說,似乎是非常容易拿來利用。

畢竟在商業媒體上充斥著對於神經網路以及利用大數據資料集進行圖形辨識之各種垂直應用的大量宣傳。擁有廣泛基礎的學術單位可以選擇幾個擅長的領域,例如醫學或是工業自動化,然後將新開發的晶片或子系統架構,用來為那些垂直領域編寫專屬應用程式。

聽起來很簡單,對吧?這種模式以往在通訊以及嵌入式處理技術上都行得通。但是學界在未來幾年會遇到基礎性的速度障礙,有可能會妨礙建立有效的標準;最顯著的問題就是在垂直領域進行高階程式語言的簡單擴展。

我們已經看到很多希望在軟體方面有傑出表現的學校,以及那些希望子女未來出社會能找到好工作的學生家長們,把「寫程式」當作能實現美夢的魔咒;但是,隨著AI進一步普及化,所有被追捧的、關於編寫程式的訓練再也不那麼重要。

在遊戲以及嵌入式領域,已經由使用C++、JavaScript或Perl等語言明確定義的環境,轉變為自動生成程式碼模組,在此軟體程式設計師的天才已經接近被邊緣化。再往下一個世代發展,深度學習與圖形辨識的頂尖平台,將拋棄對人類程式設計師的需求。

因為這類硬體平台並不是以傳統意義進行編程,它們是在機器層級由大型資料集進行訓練,幾乎不需要高階程式語言。AI開發者在十年前就已經意識到這種轉變,但很少有學校的CS、EE系所開始在課程上做調整,以因應這樣的變化。

軟體模組自動生成趨勢並不意味著傳統程式語言的消亡,而是那些程式碼會被「降級」為類嵌入式(embedded-like)的狀態。事實上,仰賴高階模組以及非編程訓練平台的風險在於,以編譯或物件導向語言編寫程式的集體知識可能逐漸消失,就像是關於BASIC與FORTRAN等程式語言的知識也不復存在。

因此教育家們需要在保存高階程式設計的學術知識,以及避免讓學生與家長認為只要培養C++或Perl等程式語言專長就能找到好工作的兩個面向之間取得平衡。

我們不知道我們到底知道什麼、不知道什麼

還有一個剛出現在工程系所的更大問題是,學術機構如非營利組織與政府機關,面臨越來越多包括合規測試、學習成果導向結果之量化,以及為新領域應用複製課程等方面的需求。然而連領先的AI研究學者都還無法解釋他們的系統是如何能針對困難問題達到最佳化結果。

在一些早期使用案例,例如自動駕駛車輛,美國交通部(Department of Transportation)已經遇到了關於「黑盒子」資料輸入的最簡單版本問題,如果其資料集無法在單一或多個面向反映真實世界,像是自駕車那樣的系統可能會導致災難性的失效。這種「大型多元資料集的充分性與完整性」挑戰,在許多垂直領域可能會是深度學習的挑戰,但這只是神經網路因本質可能會帶來的更大問題之中,最簡單的一種。

在多個模擬神經元之間使用多個隱藏的卷積連結層、未經訓練的神經網路類型取得了最大的成功;AI研究人員能籠統地解釋隱藏層中的倒傳遞(back-propagation)以及基因演算法,但無法詳細解釋神經網路是如何達成其結論,以及該網路是如何調整其突觸權重(synaptic weights)來改善其答案。

簡而言之,產業界最優秀的工程與數學人才,也不了解神經網路為何能運作地如此出色,就算到未來,人類AI專家能掌握箇中竅門的可能性也很低,遑論讓他們向一般聽眾解釋。

電腦歷史學家George Dyson提出過一個對於深度學習非常重要的概念,:「任何一個簡單到能夠理解的系統,不會複雜到能擁有智慧的行為;而任何複雜到足以表現出智慧行為的系統,就會複雜到難以理解。」

很多AI領域的教授將以上的說法戲稱為「Dyson定律」(Dyson’s Law),也有人憂慮,尋找「可解釋AI」的本身,可能就會是被稱為「非確定性多項式時間完全問題」(non-deterministic polynomial-time complete,NP-complete)的數學題──這類似旅行推銷員(traveling-salesman)問題,要在多個變量中確定最佳解決方案的難度隨著額外的資料點而呈倍數增加;而在所謂的多項式時間內,一個問題很快變成無解。

如果一個擁有深厚數學功底的EE教授都無法了解深度學習平台是如何運作,負責管預算的學校科系負責人又如何應對這種知識鴻溝?

一位要求匿名、擁有大數據資料集背景的演算法研究人員,正以契約模式與美國中西大學(Midwestern university)合作,提供廣泛的圖形辨識技術用於醫療病例檢索;她認為這個產業的本質有大部分要歸咎於野心過度的大學管理高層。

她指出,有很多學校科系的負責人就算對新學科還不具備充分的知識,就急著要趕上潮流,「當然,他們總是這樣,不過深度學習AI是獨特的,因為大學審計人員想要的答案並不存在。這些菁英們說:『這看來行得通,但其實我們搞不清楚這到底是怎麼回事;』很多管理者應該都不能接受這種回答。」

一家由加拿大滑鐵盧大學(University of Waterloo)獨立而出的新創公司研究人員,希望能讓個別神經層更透明化、更容易解釋,同時也為學界提供能簡化深度學習垂直應用開發的另一種指標。這家由Alexander Wong創辦的新公司DarwinAI,利用一種稱為生成合成(generative synthesis)的方法最佳化突觸權重以及連結,以實現小型、可重複使用的神經網路「模組」。

DarwinAI聲稱其工具不只能更快開發垂直應用,也會是理解垂直深度學習應用程式如何運作的方法──同時讓這些應用程式對小型企業與學術機構來說更實用。Intel已經驗證了這種生成合成方法,並且與車廠Audi合作應用於自動駕駛車輛架構;這兩家公司的早期參與意味著,如果學界希望能利用這種工具組營造公平競爭環境,就必須快點行動。

誰掌控研發?

AI技術缺乏可問責性,並不對任何學術研究帶來阻礙,從美國國家科學基金會(NSF)與私人機構贊助的數十個新研究案就可證明。不過這些取得贊助款的單位,還是很擔心它們所掌握到的,只是嘉惠了Microsoft、Facebook、Alphabet/Google與AWS等大型資料中心業者的一小部分學科知識。

美國《紐約時報》(The New York Times)在9月下旬公布了一份由Allen人工智慧研究所所做的研究指出,美國大學院校在AI方面總是落後,因為他們無法取得集中式企業資料中心的運算能力,就算是一小部分。這個問題有部份是根源於執行深度學習基本任務必備的運算數量呈倍數成長,而Allen研究所與OpenAI估計,六年來該數字增加30萬倍。

就算中立機構也淪為被企業控制。Allen研究所是由Microsoft的創辦人Paul Allen創立,仍保持獨立運作,但OpenAI這個AI分析機構是由Elon Musk以及其他企業高層金援,並且在2019年初從非營利機構成為營利單位,接受了Microsoft達10億美元的投資以取得受保障的運算資源;儘管OpenAI的分析平台角色仍受尊重,但一些獨立分析師擔心它是否能維持獨立。

NSF也嘗試鼓勵更多獨立軟體開發者,而理論上能對學術界的角色產生保護作用。美國伊利諾大學香檳分校(University of Illinois Champaign-Urbana)超級電腦應用中心(Supercomputing Applications)最近取得了NSF一筆270萬美元的資金,以發展深度學習軟體基礎架構,不過這個計畫也與IBM和Nvidia有緊密的連結。

在某些特定情況下,美國的大學研究中心就算獲得NSF資金,仍會有來自業界的夥伴可能扭轉其研究;例如在德州大學奧斯汀分校(University of Texas at Austin)的德州先進運算中心(Texas Advanced Computing Center),包括Intel、Mellanox、Dell EMC、IBM與Nvidia等業界廠商都扮演吃重角色。

仍有待釐清的問題

像是DarwinAI等新創公司之逐步進展,意味著對於深度學習有更精細了解,而且也能被學術研究者更容易利用的新時代將會來臨。認為AI研究方向可能會被特定力量掌控的疑慮,就像70年前美國國防部主導真空管運算技術那樣,證明只是誇大其辭。不過顯然將CS/EE研究專案整合到整個STEM目標的傳統學界模式有必要改革,以傳統高階語言為基礎的軟體教育程序已經過時,只能用以讓程式設計師們了解一些歷史背景。

在出現能更妥善解釋神經網路訓練結果的方法出現以前,目前各大學不太可能將實際可行的深度學習研究專案拼湊起來,甚至在那些平台變得更能理解之前,各大學需要檢驗垂直領域以及特定的最佳化方法,讓其研究專案不至於和那些甚至比最富裕的大學擁有更多運算資源的企業資料中心直接競爭。

編譯:Judith Cheng

(參考原文: What Does the Rise of AI Hold for Engineering Education?,by Loring Wirbel)