TPU3.0上崗!GoogleAI晶片甩競爭對手好幾條街!
今年5月份,Google CEO Sundar Pichai(劈柴哥)在穀歌IO大會上發佈了TPU3.0晶片,聲稱其性能是上一代產品TPU2.0的8倍,達到了100Petaflops(Petaflops,每秒千萬億次浮點運算)。
在2016年的時候穀歌就發佈了第一代TPU(Tensor Processing Unit),它是專門為機器學習定制的專用晶片(ASIC),一款穀歌自己高度定制化的AI晶片,也是為穀歌深度學習框架TensorFlow而設計的。傍著AlphaGo,TPU作為支撐起強大運算能力的晶片而聞名。今天,穀歌又宣佈TPU3.0正式上崗了,進入Alpha內測階段。
Google的TPU有多厲害?
這款晶片也是AlphaGo背後的功臣,即AlphaGo能以超人的熟練度學會圍棋都要靠訓練神經網路來完成,而這又需要計算能力(硬體越強大,得到的結果越快),TPU就充當了這個角色,更重要的是借此顯現出了在AI晶片領域相對於英特爾CPU和英偉達GPU的優勢。也就是說,採用TPU之後的AlphaGo的運算速度和反應更快。
5年前,穀歌內部就開始使用消耗大量計算資源的深度學習模型,這對CPU、GPU組合而言是一個巨大的挑戰,穀歌深知如果基於現有硬體,他們將不得不將數據中心數量翻一番來支持這些複雜的計算任務。
穀歌的專用機器學習晶片TPU處理速度要比GPU和CPU快15-30倍(和TPU對比的是英特爾Haswell CPU以及Nvidia Tesla K80 GPU),而在能效上,TPU更是提升了30到80倍。
TPU對比Haswell處理器
在和英特爾“Haswell”Xeon E5 v3處理器來的對比中,我們可以看到,TPU各方面的表現都要強於前者。
在Google的測試中,使用64位浮點數學運算器的18核心運行在2.3 GHz的Haswell Xeon E5-2699 v3處理器能夠處理每秒1.3 TOPS的運算,並提供51GB/秒的記憶體帶寬;Haswell晶片功耗為145瓦,其系統(擁有256 GB記憶體)滿載時消耗455瓦特。
相比之下,TPU使用8位整數數學運算器,擁有256GB的主機記憶體以及32GB的記憶體,能夠實現34GB/秒的記憶體帶寬,處理速度高達92 TOPS ,這比Haswell提升了71倍,此外,TPU的熱功率只有384瓦。
Google在人工智慧領域的各種動作
穀歌越來越關注神經網路和人工智慧,以解決搜索、圖像處理和其他計算領域的問題。它也正在通過“AIY專案”這樣的計畫來促進開發人員和DIY社區對人工智慧的興趣,這些計畫本身代表了人工智慧。AIY Projects(AIY計畫),其目標是讓每個Maker(創客)都能DIY自己的 AI 人工智慧產品,讓更多人能學習、探索並體驗人工智慧。
比如今天上崗的TPU3.0,也傳遞著這樣的信號。
Google 的這一做法印證了一個晶片產業的發展趨勢,即在AI負載和應用所占數據中心比重越來越大的今天和未來,像穀歌、微軟、Facebook、亞馬遜、阿裏巴巴、騰訊等這些數據中心晶片採購的大戶,其之前對於CPU和GPU的通用性需求可能會越來越少,而針對AI開發應用的兼顧性能和能效的定制化晶片需求則會越來越多。
在2016年的時候穀歌就發佈了第一代TPU(Tensor Processing Unit),它是專門為機器學習定制的專用晶片(ASIC),一款穀歌自己高度定制化的AI晶片,也是為穀歌深度學習框架TensorFlow而設計的。傍著AlphaGo,TPU作為支撐起強大運算能力的晶片而聞名。今天,穀歌又宣佈TPU3.0正式上崗了,進入Alpha內測階段。
Google的TPU有多厲害?
這款晶片也是AlphaGo背後的功臣,即AlphaGo能以超人的熟練度學會圍棋都要靠訓練神經網路來完成,而這又需要計算能力(硬體越強大,得到的結果越快),TPU就充當了這個角色,更重要的是借此顯現出了在AI晶片領域相對於英特爾CPU和英偉達GPU的優勢。也就是說,採用TPU之後的AlphaGo的運算速度和反應更快。
5年前,穀歌內部就開始使用消耗大量計算資源的深度學習模型,這對CPU、GPU組合而言是一個巨大的挑戰,穀歌深知如果基於現有硬體,他們將不得不將數據中心數量翻一番來支持這些複雜的計算任務。
穀歌的專用機器學習晶片TPU處理速度要比GPU和CPU快15-30倍(和TPU對比的是英特爾Haswell CPU以及Nvidia Tesla K80 GPU),而在能效上,TPU更是提升了30到80倍。
TPU對比Haswell處理器
在和英特爾“Haswell”Xeon E5 v3處理器來的對比中,我們可以看到,TPU各方面的表現都要強於前者。
在Google的測試中,使用64位浮點數學運算器的18核心運行在2.3 GHz的Haswell Xeon E5-2699 v3處理器能夠處理每秒1.3 TOPS的運算,並提供51GB/秒的記憶體帶寬;Haswell晶片功耗為145瓦,其系統(擁有256 GB記憶體)滿載時消耗455瓦特。
相比之下,TPU使用8位整數數學運算器,擁有256GB的主機記憶體以及32GB的記憶體,能夠實現34GB/秒的記憶體帶寬,處理速度高達92 TOPS ,這比Haswell提升了71倍,此外,TPU的熱功率只有384瓦。
Google在人工智慧領域的各種動作
穀歌越來越關注神經網路和人工智慧,以解決搜索、圖像處理和其他計算領域的問題。它也正在通過“AIY專案”這樣的計畫來促進開發人員和DIY社區對人工智慧的興趣,這些計畫本身代表了人工智慧。AIY Projects(AIY計畫),其目標是讓每個Maker(創客)都能DIY自己的 AI 人工智慧產品,讓更多人能學習、探索並體驗人工智慧。
比如今天上崗的TPU3.0,也傳遞著這樣的信號。
Google 的這一做法印證了一個晶片產業的發展趨勢,即在AI負載和應用所占數據中心比重越來越大的今天和未來,像穀歌、微軟、Facebook、亞馬遜、阿裏巴巴、騰訊等這些數據中心晶片採購的大戶,其之前對於CPU和GPU的通用性需求可能會越來越少,而針對AI開發應用的兼顧性能和能效的定制化晶片需求則會越來越多。