邊緣人工智慧AI解決方案:Google Edge TPU芯片與Coral
邊緣計算并不是一個新的概念,早在2003年IBM的內部項目中就已出現,本質是一種去中心化的分布式計算模型。邊緣計算在本地網絡中進行計算,采集到的數據不用上傳到云端,或者在本地處理加工過濾后只將少量數據傳至云端,大大減少了網絡傳輸占用的處理時間,也降低了帶寬成本,對于電能有限的邊緣設備來說也能更加節能,從而延長設備的使用壽命。在未來五年內,專用AI芯片以及更強大的處理能力、存儲和其它先進功能將被添加到更廣泛的邊緣設備中。
Edge TPU:Google 專門為在邊緣進行推理而打造的 ASIC。
在邊緣運行的 AI
如今,從消費者應用到企業應用,到處可見 AI 的身影。隨著聯網設備數量的爆發式增長,加上對隱私/機密、低延遲時間的需求以及帶寬限制等因素,云端訓練的 AI 模型需要在邊緣運行的情況日趨普遍。Edge TPU 是 Google 專門為在邊緣運行 AI 而打造的 ASIC,它體型小、能耗低,但性能出色,讓您可以在邊緣部署高精度 AI。
端到端 AI 基礎架構
Edge TPU 是對 Cloud TPU 和 Google Cloud 服務的補充,提供端到端、云端到邊緣、“硬件 + 軟件”的基礎架構,可協助客戶部署基于 AI 的解決方案。
體型小、能耗低,但性能出色
由于性能出色、體型纖小、能耗極低,Edge TPU 可實現高品質 AI 在邊緣的廣泛部署。
AI 硬件、軟件和算法的協同設計
Edge TPU 不僅僅是一種硬件解決方案,它將定制硬件、開源軟件和最先進的 AI 算法結合在一起,為邊緣提供優質、易部署的 AI 解決方案。
眾多應用場景
Edge TPU 可用于越來越多的工業使用場景,如預測性維護、異常檢測、機器視覺、機器人學、語音識別等等。 它可以應用于制造、本地部署、醫療保健、零售、智能空間、交通運輸等各個領域。
開放式端到端基礎架構,方便您部署 AI 解決方案
借助 Edge TPU,您可以使用來自 Coral 的各種原型設計和生產產品,在邊緣部署各種優質的機器學習推斷功能。
用于在邊緣部署機器學習的 Coral 平臺與 Google 的 Cloud TPU 和 Cloud IoT 相輔相成,共同提供一個端到端(云端到邊緣、硬件 + 軟件)基礎架構,從而協助部署客戶基于 AI 的解決方案。除了開源 TensorFlow Lite 編程環境以外,Coral 平臺還提供一套完整的開發者工具包,這樣您就可以針對 Edge TPU 編譯自己的模型或者保留幾個 Google AI,將 Google 在 AI 和硬件方面的專業知識融于一體。
Edge TPU 是對 CPU、GPU、FPGA 以及其他在邊緣運行 AI 的 ASIC 解決方案的補充。
Edge TPU 特性
單個Edge TPU能夠每秒執行4萬億次操作(萬億次操作)(TOPS),每個TOPS使用0.5瓦(每瓦2 TOPS)。如何將其轉換為應用程序的性能取決于多種因素。每種神經網絡模型都有不同的要求,如果使用USB Accelerator設備,則總性能還取決于主機CPU,USB速度和其他系統資源。
話雖如此,下面的表1比較了在Edge TPU上與幾種流行模型執行一次推斷所花費的時間。
這代表了與Edge TPU兼容的模型架構的一小部分選擇(它們都使用ImageNet數據集(具有1,000個類)進行了訓練)。如果要測試自己的模型,請閱讀模型架構要求。
注意:這些數字僅測量執行模型所需的時間。它不包括處理輸入數據的時間(例如按比例縮小圖像以適合輸入張量的時間),時間可能因系統和應用程序而異。這些測試也使用C ++基準測試執行,而我們的公共Python基準腳本可能會由于Python的相關損耗而變慢。
Google Coral是包含硬件組件和軟件工具的平臺,使開發者能夠輕松實現從本地 AI 產品的原型到規模化。其中的產品組合包括 Coral Dev Board、USB Accelerator 和 PCIe Accelerator,現已在 36 個國家/地區發售。自產品發布以來,開發者已在 Coral 上構建了涵蓋醫療保健、農業、智慧城市等諸多行業的各類應用。
如果您對Google Coral Edge TPU系列硬件產品感興趣,歡迎訪問Google Coral代理商Gravitylink在線商城(https://store.gravitylink.com/global)進行訂購。企業用戶也可通過郵件([email protected] / [email protected])咨詢獲取批量訂購優惠價格。
Edge TPU:Google 專門為在邊緣進行推理而打造的 ASIC。
在邊緣運行的 AI
如今,從消費者應用到企業應用,到處可見 AI 的身影。隨著聯網設備數量的爆發式增長,加上對隱私/機密、低延遲時間的需求以及帶寬限制等因素,云端訓練的 AI 模型需要在邊緣運行的情況日趨普遍。Edge TPU 是 Google 專門為在邊緣運行 AI 而打造的 ASIC,它體型小、能耗低,但性能出色,讓您可以在邊緣部署高精度 AI。
端到端 AI 基礎架構
Edge TPU 是對 Cloud TPU 和 Google Cloud 服務的補充,提供端到端、云端到邊緣、“硬件 + 軟件”的基礎架構,可協助客戶部署基于 AI 的解決方案。
體型小、能耗低,但性能出色
由于性能出色、體型纖小、能耗極低,Edge TPU 可實現高品質 AI 在邊緣的廣泛部署。
AI 硬件、軟件和算法的協同設計
Edge TPU 不僅僅是一種硬件解決方案,它將定制硬件、開源軟件和最先進的 AI 算法結合在一起,為邊緣提供優質、易部署的 AI 解決方案。
眾多應用場景
Edge TPU 可用于越來越多的工業使用場景,如預測性維護、異常檢測、機器視覺、機器人學、語音識別等等。 它可以應用于制造、本地部署、醫療保健、零售、智能空間、交通運輸等各個領域。
開放式端到端基礎架構,方便您部署 AI 解決方案
借助 Edge TPU,您可以使用來自 Coral 的各種原型設計和生產產品,在邊緣部署各種優質的機器學習推斷功能。
用于在邊緣部署機器學習的 Coral 平臺與 Google 的 Cloud TPU 和 Cloud IoT 相輔相成,共同提供一個端到端(云端到邊緣、硬件 + 軟件)基礎架構,從而協助部署客戶基于 AI 的解決方案。除了開源 TensorFlow Lite 編程環境以外,Coral 平臺還提供一套完整的開發者工具包,這樣您就可以針對 Edge TPU 編譯自己的模型或者保留幾個 Google AI,將 Google 在 AI 和硬件方面的專業知識融于一體。
Edge TPU 是對 CPU、GPU、FPGA 以及其他在邊緣運行 AI 的 ASIC 解決方案的補充。
Edge TPU 特性
單個Edge TPU能夠每秒執行4萬億次操作(萬億次操作)(TOPS),每個TOPS使用0.5瓦(每瓦2 TOPS)。如何將其轉換為應用程序的性能取決于多種因素。每種神經網絡模型都有不同的要求,如果使用USB Accelerator設備,則總性能還取決于主機CPU,USB速度和其他系統資源。
話雖如此,下面的表1比較了在Edge TPU上與幾種流行模型執行一次推斷所花費的時間。
這代表了與Edge TPU兼容的模型架構的一小部分選擇(它們都使用ImageNet數據集(具有1,000個類)進行了訓練)。如果要測試自己的模型,請閱讀模型架構要求。
注意:這些數字僅測量執行模型所需的時間。它不包括處理輸入數據的時間(例如按比例縮小圖像以適合輸入張量的時間),時間可能因系統和應用程序而異。這些測試也使用C ++基準測試執行,而我們的公共Python基準腳本可能會由于Python的相關損耗而變慢。
Google Coral是包含硬件組件和軟件工具的平臺,使開發者能夠輕松實現從本地 AI 產品的原型到規模化。其中的產品組合包括 Coral Dev Board、USB Accelerator 和 PCIe Accelerator,現已在 36 個國家/地區發售。自產品發布以來,開發者已在 Coral 上構建了涵蓋醫療保健、農業、智慧城市等諸多行業的各類應用。
如果您對Google Coral Edge TPU系列硬件產品感興趣,歡迎訪問Google Coral代理商Gravitylink在線商城(https://store.gravitylink.com/global)進行訂購。企業用戶也可通過郵件([email protected] / [email protected])咨詢獲取批量訂購優惠價格。