如果您目前尚未考慮到如何有效利用深度神經網路(deep neural network)來解決您的問題,那麼您的腳步必須加快了。至少,根據Google資深研究員兼深度學習人工智慧研究計劃(即Google Brain)主持人Jeff Dean是這麼認為的。

在日前於美國加州舉行的Hot Chips大會專題演講中,Dean介紹神經網路如何大幅改寫運算裝置,並在語音、視覺、搜尋、機器人與醫療保健等領域取得重大的進展。他強調,硬體系統可針對執行少量特定作業實現最佳化,並形成大量的機器學習(machine learning)模型,從而打造更強大的神經網路。

Dean說:「針對神經網路具備的特性打造專用電腦極具意義。如果你能開發出一套真正善於進行特定作業(例如加速的低精度線性代數)的系統,那就是業界夢寐以求的。」

20170828_Google_NT01P1 Google資深研究員Jeff Dean在Hot Chip大會上發表專題演講 (來源: EE Times)

針對美國國家工程院(National Academy of Engineering;NAE)於2008年提出的14項21世紀重大工程挑戰,Dean認為,透過神經網路可望在解決這些所有問題時發揮重要作用。Dean在發表簡報時特別著重於其中的五項挑戰:恢復並改善城市建築、推動健康資訊工程進展、更有效地用藥,以及人類大腦的反向工程等。不過,對於NAE重大挑戰清單中的最後一項——為科學探索打造工具,Dean卻保留了他的看法。

Dean表示:「人們已經意識到我們需要更多的運算能力,才能解決這種種的問題。」

TPU Pods解決更大的問題

Google最近開始為其客戶和研究人員提供可經由雲端服務的第二代TensorFlow處理器單元(TPU)機器學習ASIC。這是一款客製化的加速器板,配備4個第二代裝置,據稱可帶來180兆次浮點運算(TFLOPS)運算和64GB高頻寬記憶體(HBM)的性能。

Dean表示,新的雲端TPU晶片設計主要用於將彼此連接在一起,形成更大的配置——亦即被稱為‘TPU Pod’的機器學習超級電腦。一個TPU Pod配置中包含64個第二代TPU,可提供11.5 petaflops以及 4TB的HBM記憶體。他並補充說,Google還免費提供了1,000個雲端TPU給致力於開放機器學習研究的頂尖研究人員。

Dean說:「我們對於TPU Pod解決更大問題的可能性感到非常振奮。」

2015年,Google發表TensorFlow軟體庫,為機器學習開放來源,目標就在於建立一個可用於表達與交換機器學習想法與系統的通用平台。Dean並展示了一張圖表,顯示TensorFlow才剛過一年半,就已經比其他具有類似用途的庫更受歡迎。

20170828_Google_NT01P2 Google第二代TPU(來源:Google)

Dean表示,近五年來迅速出現的神經網路,主要是受到過去20年來運算能力的重大進展而促成的。他並補充說自己在1990年時還為此撰寫了一篇有關神經網路的論文。他認為,當時的神經網路發展幾乎是可行的,但大約還需要更高60倍的運算能力。

Dean說:「而今,事實證明,我們真正需要更高大約100萬倍的運算性能,而非60倍。」

編譯:Susan Hong

(參考原文:Google Fellow: Neural Nets Need Optimized Hardware,by Dylan McGrath)