首先,確定您是否真的需要。

隨著越來越多的公司開始採用機器學習作為其正常業務營運的一部份,無論一開始出於何種原因而投資於硬體的公司,如今正因為這一生態系統開始擴展而面對著如何在各種不同加速器之間作抉擇的難題。

在即將上市的各種不同晶片架構之間進行選擇時,性能、功耗、靈活度、連接性以及總擁有成本(TCO)當然是判斷的標準。除此之外,還有其他值得考量的因素。

Alexis Crowell (來源:Intel)

不久前,我有機會針對這個主題採訪了英特爾(Intel)人工智慧(AI)產品行銷資深總監Alexis Crowell。英特爾提供了具有完全不同架構的各種AI加速器產品(包括Movidius、Mobileye、Nervana、Loihi等,但當然不只這些,而且更不用提還CPU產品了)。Crowell很開心地強調,還有一些較不明顯的評判標準在選擇AI加速器時也應該加以考慮。

你真的需要AI加速器嗎?

事實上,一個最不明顯但應該是最直接的問題是:您的應用真的需要最新的AI加速器ASIC嗎?

Crowell說:「這是一個十分普遍的問題,特別是因為AI如此流行。許多公司真的想做AI,但大多數並不是真的瞭解它的意義,也不知道要從哪裡開始。」

英特爾從指導客戶完成整個流程的經驗中發現,除了資料中心超大規模業者(hyperscaler)和大型雲端服務供應商之外,大部份的客戶還沒有為AI加速做好準備。大多數的業者都還需要花費大量的時間才能使其資料就緒。

她說:「如果您只想試著整理資料,那就無需投資於昂貴的加速器硬體,只是為了清理資料。我們與客戶的許多對話主要都在於弄清楚他們在這一過程中的位置。」

Crowell還說,有些資料中心客戶可能也有大量可用的備用CPU週期——在此情況下,為什麼還要另外花錢呢?

軟體堆疊夠成熟嗎?

每一種新晶片架構都需要以某種方式進行編程。儘管目前不會有人在缺少相應工具鏈的情況下發佈新晶片,但是這些軟體堆疊的成熟度是需要考慮的因素之一。

Crowell說:「當所有的新創公司一下子湧進這一市場時,真正有趣的是:用於AI的軟體堆疊十分困難。英特爾擁有25年編寫和軟體開發工作經驗,目前還有數百人在為所有的產品組合執行軟體作業。我認為,將其整合於人們已在使用中的架構、編譯器堆疊或任何看起來類似的東西中,對於在進行硬體決策時的理解非常重要。」

Intel-Movidius Myriad-X

英特爾的Movidius Myriad X視覺處理單元(VPU)瞄準了無人機、機器人和智慧相機(來源:Intel)

是否考慮過安全性?

Crowell說:「當今的安全性(security)比以往任何時候都更重要。」他並強調資料的安全性和業務模式的穩定性也同樣重要。

她說:「資料本身就應該加入更多的安全性,才能確保它確實是您所期待的資料池或真正的資料量。但是在進行訓練之前,如何確保資料安全,從而確定您不至於取得錯誤的輸入?[你怎麼知道]會不會有人一直在編造資料的子集,導致其開始影響結果?」

模型的安全性同樣重要。一旦在野外(在終端裝置中)部署了模型,就需要保護其免於受到攻擊者的嘗試駭入、更改模型權重以操縱結果,或者即使只是竊取您的IP (也就是您的模型啊!)。

她說:「我們正為推論建構一款晶片,為其內建了RAS [可靠性、可用性和可維護性]功能,專門用於解決此問題。由於我們將安全性和AI視為重要基礎,因此不可能先打造了解決方案,之後再為了增加安全性而加以改造。您必須從一開始就這樣做。」

晶片是否經過基準測試?

適用於AI加速器的基準測試仍處於早期發展階段。英特爾是向MLPerf以及百度(Baidu) DeepBench提交結果的少數幾家公司之一。儘管Crowell強調,英特爾希望客戶能夠在不同產品之間進行公平的比較,而基準測試正是一個很好的起點,不過她對於當今基準測試經常使用的模型表感到有些失望。

Intel Nervana Neural Network Processor

英特爾的Nervana神經網路處理器提供了訓練和推論版本(來源:Intel)

她說:「如今,ResNet和MobileNet是一種入門級的拓撲,無法反映人們在現實世界中實際上如何使用AI。但我認為這是嘗試讓所有人看法一致的良好基礎,因為有了AI就有很多的[變數]¬¬——批次大小、延遲需求、準確性要求等等...您必須從某個地方開始。而從ResNet和MobileNet開始並不表示我們無法成長為更現代、更巨大且更貼近實際情況的模型。」

Crowell提到的最後一點是,應該將基準視為未來更廣泛發展的一部份,並能將在此討論的所有問題都納入考慮。

她說:「我一直提醒客戶不要以基準為其整體決策的判斷標準。因為還必須考慮到其他的許多因素¬¬——就像生活中發生的所有大小事,這是十分微妙的。」

編譯:Susan Hong

(參考原文:How to Choose Between AI Accelerators,bySally Ward-Foxton)