聯合式學習開啟AI運算新篇章

作者 : Majeed Ahmad, EDN執行主編

聯合式學習是2017年由Google所提出,為需要利用具備龐大運算力之集中式資料中心來執行的傳統機器學習提供可行替代方案,也為無力負擔大型資料中心的新創公司與中小企業提供了自建ML模型的途徑。

人工智慧(AI)本身是一種顛覆性的技術,而聯合式學習(federated learning)則可能會是顛覆AI的一種方法──瑞士洛桑聯邦理工學院(Ecole Polytechnique Federale de Lausanne,EPFL)教授暨嵌入式系統實驗室(Embedded Systems Laboratory)總監David Atienza率先開發了一種解決方案,可替代傳統集中式的機器學習(ML)。

關鍵的差異在於,聯合式學習是在多個保存本地數據樣本而不會交換它們的去中心化邊緣裝置或伺服器上進行特定ML訓練,這可降低對隱私保護的疑慮以及能源消耗,因為數據不會移動到雲端或是中央資料庫。

聯合式學習在蔓延全球的新冠病毒疫情中也能發揮作用。Atienza領導的EPFL團隊正在實驗一種能結合來自各種咳嗽症狀監測裝置的資料,以提升初始診斷精確度的AI系統──根據世界衛生組織(WHO)統計,有三分之二的新冠病毒肺炎患者會出現乾咳的症狀,而醫護人員若能在就醫者進入急診室時先掌握到這類症狀,可早期發現確診病患。

透過該AI系統,工程師能將從不同咳嗽樣本取得的個別資料相關聯,以創建一個更複雜精密的模型。Atienza接受《EE Times》訪問時表示,該AI系統專案就是採用聯合式學習的概念,讓設計者能使用一系列感測器來觀察特定的徵象。雖然這些感測器無法全面觀察被指派的對象,但有助於建立一個簡化的模型並與其他類似的模型結合,然後生成一個完整的AI模型。

AI運算新篇章

聯合式學習是2017年由Google所提出,為需要利用具備龐大運算力之集中式資料中心來執行的傳統機器學習提供可行替代方案,也為無力負擔大型資料中心的新創公司與中小企業提供了自建ML模型的途徑。此外,在大型資料中心進行訓練的機器學習模型,其資料隱私保護往往是一個主要顧慮,這種新架構是在裝置本地儲存數據,對於隱私較有保障。

Atienza在介紹聯合式學習概念時表示,人們可以想像這是收集資料以訓練AI模型的中央輔助系統;而聯合式學習也能讓物聯網(IoT)更具適應性,從位於不同據點的小型資料集(dataset)中學習。他補充指出,分散各處的感測器收集資料進行模型訓練並非獨立作業,而是透過一個做為數據交換資料庫的(加密)共用端點。

在感測器內部執行學習時,該共用資料庫或伺服器會協助感測器將觀察到的資料同步化,並建立共用模型。Atienza解釋:「在完全分散式的學習中,沒有將裝置聯合並同步化的資料庫;因此像是感測器等裝置無法互相溝通,也沒有一個中央單元負責協調。」

除了完全分散式的系統會更複雜,聯合式學習還有助於解決許多問題並提供良好結果。例如在醫療應用中,不同的診所能聯合開發AI模型,又不直接分享敏感的病患個資。

 

在醫療應用環境採用聯合式學習。

(圖片來源:Carnegie)

 

聯合式學習也為AI開啟了全新的運算典範,工程師能執行本地的神經網路訓練,並為有效的訓練找到正確數據。Atienza表示,這有助於促進機器學習應用的發展,例如自然語言處理以及檔案/文件處理。

他指出:「現在AI解決方案的焦點集中在人類無法做得很好的任務上,設計工程師(透過聯合式學習)能在資料集中納入可取得的數據與叢集以支援特定演算法;在將資料進行分類後,就能建立更好、個人化的機器學習模型。」

可編程的「迷你」加速器

聯合式學習需要什麼樣的硬體?對此Atienza表示,相較於目前支援特定機器學習應用的AI加速器,聯合式學習所需的硬體解決方案必須更「多才多藝」;他指出,像是一群迷你加速器的粗粒度可重配置陣列(coarse grained reconfigurable array,CGRA)解決方案,就能針對特定使用案例進行配置。

Atienza解釋,CGRA解決方案能保留一種基礎架構,也就是設計工程師能在不同的AI應用使用相同的晶片,只更改晶片的可編程部分。

 

支援某個聯合學習應用的CGRA解決方案。

(圖片來源:EPFL)

 

CGRA網狀網路能藉由利用多樣化運算核心(computational kernels)的可重配置解決方案提供高度靈活性;與FPGA設計相似,是緊密互連的2D可重配置單元(reconfigurable cells,RCs)網狀網路結構。但這種技術能讓加速器在作業層級(operation level)可編程,不同於FPGA是位元層級(bit level)的可重配置陣列、具備相當的功耗開銷。

Atienza預期,支援這種聯合式學習新技術的硬體,將會有越來越多的可配置功能,藉由晶片的編程來根據目前市場趨勢、支援不同種類的AI任務;「聯合式學習應用將會帶動對可重新編程、利用大量迷你加速器的AI硬體之需求。」

 

編譯:Judith Cheng

(參考原文 :Federated Learning Demands More Programmable Hardware,By Majeed Ahmad)

發表評論