測評：谷歌Coral USB加速器與英特爾神經計算棒大PK!
隨著人工智能（AI）和機器學習（ML）逐漸從科幻小說中走向現實生活，我們現在需要一種快速便捷的方式來對這種類型的系統進行原型設計。盡管臺式計算機也可以足以滿足AI / ML的運行要求，甚至Raspberry Pi之類的單板計算機都能滿足這些需求。但是，如果你只想要一個簡單的插件設備讓你的系統運行地更快、更強大，那該怎么辦？
別擔心，其實你有多種選擇，包括 Google 旗下 Coral Edge TPU 系列硬件 USB Accelerator（Coral USB 加速器，下稱CUA） 和 Intel 旗下的 Neural Compute Stick 2（神經計算棒 NCS2）。兩個設備都是通過 USB 插入主機的計算設備。 NCS2 使用的是視覺處理單元（VPU），而 Coral USB Accelerator 使用張量處理單元（TPU），兩者都是用于機器學習的專用處理設備。今天就來給大家測評比較一番：二者之間有什么區別？作為開發者的你，是選擇 Coral 好還是 NCS2 呢？話不多說，請參見下文。
Coral USB Accelerator（Coral USB 加速器）
-ML 加速器：由 Google 設計的 Edge TPU ASIC（專用集成電路） 芯片。專為 TensorFlow Lite 模型提供高性能的 ML 推理（MobileNet V2 400 + fps，來自官方最新更新的數據）。
-支持 USB 3.1 端口和纜線（SuperSpeed，5GB / s傳輸速度）
-尺寸：30 x 65 x 8 mm
-官方價格：$ 74.99
Intel Neural Compute Stick 2 （英特爾神經計算棒2 ）
-處理器：英特爾 Movidius Myriad X 視覺處理單元（VPU）
-USB 3.0 Type-A
-尺寸：72.5 x 27 x 14mm
-官方價格：$ 87.99
一、處理器與加速性能對比
和比較傳統計算機 CPU 的方式不同，比較每個處理器/加速器的細節更加細微，主要取決于你打算如何使用它們。盡管輸出格式略有不同（每次推理時間與每秒幀數），但是我們仍然可以將這兩種設備進行一些總體性能模式的對比。
在評估用于實時部署的 AI 模型和硬件平臺時，首先要看的是——它們的速度如何。在計算機視覺任務中，基準通常以每秒幀數（FPS）進行測量。較高的數字表示更好的性能，對于實時視頻流，至少需要大約 10 fps才能使視頻顯得流暢。
運行性能：首先，將 CUA 添加到臺式機 CPU 時，可將性能提高大約10倍，運行性能較為不錯。（根據選擇的CPU型號不同，10倍性能略有上下浮動）NCS2與較舊的Atom處理器“合作”，可將處理速度提高近7倍。但是，與更強大的處理器搭配使用時，NCS2 呈現的結果卻并不令人驚喜。
NCS2 理論上可以以 4 TOPS的速度執行推理。奇怪的是，CUA 也擁有完全相同的費率，雖然兩者都使用不同的操作來執行 ML。此外，英特爾聲稱 NCS2 的性能是初代神經計算棒的 8 倍。（如果你樂意的話，你可以選擇 NCS2，而非初代神經計算棒，雖然價格較低。）
官方benchmark評測
NCS2 可以使用 MobileNet-v2 運行 30 FPS 分類模型，這一點還不錯。但是，以11 FPS的速度進行對象檢測就有點困難了。大約 10 FPS 的幀速率可能不足以進行實時對象跟蹤，特別是對于高速運動，并且可能會丟失許多對象，并且開發者需要非常好的跟蹤算法來彌補這個“漏洞”。（當然，官方給出的基準測試結果并不完全可信。通常，這些公司會將其手動優化的軟件與競爭對手的開箱即用模型進行比較。）
用戶實操評測
功率消耗：NCS2 的功耗較低。就 CUA 而言，官方確實列出了每個TOPS所需0.5瓦。用戶還可以根據需要將CUA設置為默認速度或最大（默認值的2倍）。
值得注意的是，Google 的官方文檔確實明確提醒：設備以最大速度運行時的功率傳輸以及最高環境溫度，可能會燙傷你的皮膚。所以個人認為，除非你確實需要額外的處理能力，否則最好以正常模式運行它。
同樣重要的是，請記住，Python并非是讓設備獲得優秀性能的首選。這兩種設備都支持C ++ API，這也是我在測試中讓設備獲得最佳性能的“竅門。
二、軟件支持
NCS2 可以與 Ubuntu，CentOS，Windows 10 等其他操作系統一起使用。它可以通過開放神經網絡轉換來支持 TensorFlow，Caffe，ApacheMXNet，以及 PyTorch 和 PaddlePadle。
CUA 不支持 Windows，但可以在 Debian 6.0 或更高版本（或任何衍生版本，如Ubuntu 10.0+）下運行。值得一提的是，CUA 只能正式運行 TensorFlow Lite 模型。
三、尺寸、原型設計和其他細節對比
涵蓋了軟件支持、計算能力和功耗之后，二者在實際構建產品原型上的具體情況如何？
坦白說，這兩種設備看起來都非常酷。 CUA 為略銀白色紋格機身，具有部分透明的主體以及似乎是散熱槽的地方。而NCS2 為光滑的藍色設計，藍色機身和集成的散熱器看起來似乎更加時尚。
當然，外觀只是次要的。重要的是，NCS2確實也會像CUA一樣，運行時會變熱。不過它的散熱器設計，讓你可以將其握在較涼的集成散熱片上，而無需用手指在中間握住，這一點到是非常的巧妙。
NCS2的設計允許用戶將多個計算棒一起使用以增強它的處理能力。你可以將它們整齊地排列在垂直的USB擴展塢中。同樣的，一臺主機也可以運行多個CUA，不過你可能需要找到另一種方式來保存每個CUA。值得一提的是，雖然二者都有相似的尺寸，但NCS2的厚度（14毫米）幾乎是CUA的兩倍。再加上它是通過USB插頭（例如超大型拇指驅動器）插入的，而不是通過像CUA這樣的柔性電纜插入的，這意味著在某些操作場景中，NCS2 會讓你在處理空間問題上很艱難。你必須大量使用數據線纜和擴展塢，這一點是在你做出選擇前，需要考慮到的事。
最后，NCS2 和CUA似乎都是為邊緣計算應用程序設計的專屬設備。如果你需要在Windows系統上運行，或者需要在 Tensorflow Lite 框架之外運行，那么 NCS2 具有較為明顯的優勢。就其本身而言，Coral USB Accelerator 的周邊配套硬件，還有更加簡單粗暴的開發板 Dev Board 和以 Coral Edge TPU 為核心設計的 PCI加速器、以及和開發板很像的 SoM 模塊等等。如果你的需求是想將產品原型設計快速推向市場，那么Coral則是你的不二之選，它對開發者的吸引力更為強勁。
Coral USB Accelerator 開發環境要求：一臺帶有USB端口的Linux計算機；支持Debian 6.0或更高版本，或其衍生系統（如Ubuntu 10.0+）；x86_64或具有ARMv8指令集的ARM64系統架構
所以，從上面這幾點要求來看，Coral USB 加速器支持Raspberry Pi。但是，必須是Raspberry Pi 2/3 Model B/B+且運行Raspbian系統（或其它Debian衍生系統）。
在這一點上，兩者之間的功能很是相似，如果要將AI / ML添加到Raspberry Pi或類似項目中，兩種設備都可以正常工作。
許多預編譯的網絡模型讓你可以輕松快速地獲得更佳的結果。盡管如此，完全量化自己的網絡仍然是一項高級任務。轉換需要對網絡以及操作方式有深入的了解。此外，當我從FP_32升級到FP_16，從FP_16升級到UINT時，關于準確性的損失也很大。有趣的是，Myriad 可處理其一半浮點，CUA 僅能處理8位浮點。這意味著Myriad可獲得更高的準確性。
英特爾和 Google 顯然采取了兩種截然不同的“套路。 Google的優勢在于產品可以幫助開發者們輕松構建prototype和推廣Google Cloud Platform到edge-tpu的一整套解決方案。我個人就非常喜歡所有組件如何組合在一起工作。另一方面，英特爾提供了Openvino插件，開發人員可以使用它們來優化其網絡，使其能夠在各種硬件上運行。 OpenVINO當前支持英特爾CPU，GPU，FPGA和VPU。擺在英特爾面前的挑戰是，這些”組合拳“始終難以利用每個組件的最優功能。
Google Coral USB Accelerator 能夠在線訓練網絡模型，這對于進行遷移學習至關重要。顯然，Google 相信他們的預訓練網絡和遷移學習為開發者們提供了高效的搭配。此外，英特爾 NCS2 具有三對內置的立體聲深度硬件，在許多用例中（例如避障），它們是很有價值的。
應用場景：
英特爾 NCS2 還提供DNN的原型、驗證和部署。對于無人駕駛和無人駕駛車輛以及物聯網設備而言，低功耗是必不可少的。對于希望開發深度學習推理應用程序的人來說，NCS2 是最節能，成本最低的USB棒之一。
Google Coral 不僅僅是硬件。它輕松地結合了定制硬件，開放軟件和先進的AI算法的功能并提供了高質量的AI解決方案。Coral在幫助工業發展領域有很多應用案例，包括預測性維護、異常檢測、機器人技術、機器視覺和語音識別等。它對制造，醫療保健，零售，智能空間，內部監控和運輸部門很有應用價值。
如果您對Google Coral Edge TPU系列硬件產品感興趣，歡迎訪問Google Coral代理商Gravitylink在線商城（https://store.gravitylink.com/global）進行訂購。企業用戶也可通過郵件([email protected] / [email protected])咨詢獲取批量訂購優惠價格。
別擔心，其實你有多種選擇，包括 Google 旗下 Coral Edge TPU 系列硬件 USB Accelerator（Coral USB 加速器，下稱CUA） 和 Intel 旗下的 Neural Compute Stick 2（神經計算棒 NCS2）。兩個設備都是通過 USB 插入主機的計算設備。 NCS2 使用的是視覺處理單元（VPU），而 Coral USB Accelerator 使用張量處理單元（TPU），兩者都是用于機器學習的專用處理設備。今天就來給大家測評比較一番：二者之間有什么區別？作為開發者的你，是選擇 Coral 好還是 NCS2 呢？話不多說，請參見下文。
Coral USB Accelerator（Coral USB 加速器）
-ML 加速器：由 Google 設計的 Edge TPU ASIC（專用集成電路） 芯片。專為 TensorFlow Lite 模型提供高性能的 ML 推理（MobileNet V2 400 + fps，來自官方最新更新的數據）。
-支持 USB 3.1 端口和纜線（SuperSpeed，5GB / s傳輸速度）
-尺寸：30 x 65 x 8 mm
-官方價格：$ 74.99
Intel Neural Compute Stick 2 （英特爾神經計算棒2 ）
-處理器：英特爾 Movidius Myriad X 視覺處理單元（VPU）
-USB 3.0 Type-A
-尺寸：72.5 x 27 x 14mm
-官方價格：$ 87.99
一、處理器與加速性能對比
和比較傳統計算機 CPU 的方式不同，比較每個處理器/加速器的細節更加細微，主要取決于你打算如何使用它們。盡管輸出格式略有不同（每次推理時間與每秒幀數），但是我們仍然可以將這兩種設備進行一些總體性能模式的對比。
在評估用于實時部署的 AI 模型和硬件平臺時，首先要看的是——它們的速度如何。在計算機視覺任務中，基準通常以每秒幀數（FPS）進行測量。較高的數字表示更好的性能，對于實時視頻流，至少需要大約 10 fps才能使視頻顯得流暢。
運行性能：首先，將 CUA 添加到臺式機 CPU 時，可將性能提高大約10倍，運行性能較為不錯。（根據選擇的CPU型號不同，10倍性能略有上下浮動）NCS2與較舊的Atom處理器“合作”，可將處理速度提高近7倍。但是，與更強大的處理器搭配使用時，NCS2 呈現的結果卻并不令人驚喜。
NCS2 理論上可以以 4 TOPS的速度執行推理。奇怪的是，CUA 也擁有完全相同的費率，雖然兩者都使用不同的操作來執行 ML。此外，英特爾聲稱 NCS2 的性能是初代神經計算棒的 8 倍。（如果你樂意的話，你可以選擇 NCS2，而非初代神經計算棒，雖然價格較低。）
官方benchmark評測
NCS2 可以使用 MobileNet-v2 運行 30 FPS 分類模型，這一點還不錯。但是，以11 FPS的速度進行對象檢測就有點困難了。大約 10 FPS 的幀速率可能不足以進行實時對象跟蹤，特別是對于高速運動，并且可能會丟失許多對象，并且開發者需要非常好的跟蹤算法來彌補這個“漏洞”。（當然，官方給出的基準測試結果并不完全可信。通常，這些公司會將其手動優化的軟件與競爭對手的開箱即用模型進行比較。）
用戶實操評測
功率消耗：NCS2 的功耗較低。就 CUA 而言，官方確實列出了每個TOPS所需0.5瓦。用戶還可以根據需要將CUA設置為默認速度或最大（默認值的2倍）。
值得注意的是，Google 的官方文檔確實明確提醒：設備以最大速度運行時的功率傳輸以及最高環境溫度，可能會燙傷你的皮膚。所以個人認為，除非你確實需要額外的處理能力，否則最好以正常模式運行它。
同樣重要的是，請記住，Python并非是讓設備獲得優秀性能的首選。這兩種設備都支持C ++ API，這也是我在測試中讓設備獲得最佳性能的“竅門。
二、軟件支持
NCS2 可以與 Ubuntu，CentOS，Windows 10 等其他操作系統一起使用。它可以通過開放神經網絡轉換來支持 TensorFlow，Caffe，ApacheMXNet，以及 PyTorch 和 PaddlePadle。
CUA 不支持 Windows，但可以在 Debian 6.0 或更高版本（或任何衍生版本，如Ubuntu 10.0+）下運行。值得一提的是，CUA 只能正式運行 TensorFlow Lite 模型。
三、尺寸、原型設計和其他細節對比
涵蓋了軟件支持、計算能力和功耗之后，二者在實際構建產品原型上的具體情況如何？
坦白說，這兩種設備看起來都非常酷。 CUA 為略銀白色紋格機身，具有部分透明的主體以及似乎是散熱槽的地方。而NCS2 為光滑的藍色設計，藍色機身和集成的散熱器看起來似乎更加時尚。
當然，外觀只是次要的。重要的是，NCS2確實也會像CUA一樣，運行時會變熱。不過它的散熱器設計，讓你可以將其握在較涼的集成散熱片上，而無需用手指在中間握住，這一點到是非常的巧妙。
NCS2的設計允許用戶將多個計算棒一起使用以增強它的處理能力。你可以將它們整齊地排列在垂直的USB擴展塢中。同樣的，一臺主機也可以運行多個CUA，不過你可能需要找到另一種方式來保存每個CUA。值得一提的是，雖然二者都有相似的尺寸，但NCS2的厚度（14毫米）幾乎是CUA的兩倍。再加上它是通過USB插頭（例如超大型拇指驅動器）插入的，而不是通過像CUA這樣的柔性電纜插入的，這意味著在某些操作場景中，NCS2 會讓你在處理空間問題上很艱難。你必須大量使用數據線纜和擴展塢，這一點是在你做出選擇前，需要考慮到的事。
最后，NCS2 和CUA似乎都是為邊緣計算應用程序設計的專屬設備。如果你需要在Windows系統上運行，或者需要在 Tensorflow Lite 框架之外運行，那么 NCS2 具有較為明顯的優勢。就其本身而言，Coral USB Accelerator 的周邊配套硬件，還有更加簡單粗暴的開發板 Dev Board 和以 Coral Edge TPU 為核心設計的 PCI加速器、以及和開發板很像的 SoM 模塊等等。如果你的需求是想將產品原型設計快速推向市場，那么Coral則是你的不二之選，它對開發者的吸引力更為強勁。
Coral USB Accelerator 開發環境要求：一臺帶有USB端口的Linux計算機；支持Debian 6.0或更高版本，或其衍生系統（如Ubuntu 10.0+）；x86_64或具有ARMv8指令集的ARM64系統架構
所以，從上面這幾點要求來看，Coral USB 加速器支持Raspberry Pi。但是，必須是Raspberry Pi 2/3 Model B/B+且運行Raspbian系統（或其它Debian衍生系統）。
在這一點上，兩者之間的功能很是相似，如果要將AI / ML添加到Raspberry Pi或類似項目中，兩種設備都可以正常工作。
許多預編譯的網絡模型讓你可以輕松快速地獲得更佳的結果。盡管如此，完全量化自己的網絡仍然是一項高級任務。轉換需要對網絡以及操作方式有深入的了解。此外，當我從FP_32升級到FP_16，從FP_16升級到UINT時，關于準確性的損失也很大。有趣的是，Myriad 可處理其一半浮點，CUA 僅能處理8位浮點。這意味著Myriad可獲得更高的準確性。
英特爾和 Google 顯然采取了兩種截然不同的“套路。 Google的優勢在于產品可以幫助開發者們輕松構建prototype和推廣Google Cloud Platform到edge-tpu的一整套解決方案。我個人就非常喜歡所有組件如何組合在一起工作。另一方面，英特爾提供了Openvino插件，開發人員可以使用它們來優化其網絡，使其能夠在各種硬件上運行。 OpenVINO當前支持英特爾CPU，GPU，FPGA和VPU。擺在英特爾面前的挑戰是，這些”組合拳“始終難以利用每個組件的最優功能。
Google Coral USB Accelerator 能夠在線訓練網絡模型，這對于進行遷移學習至關重要。顯然，Google 相信他們的預訓練網絡和遷移學習為開發者們提供了高效的搭配。此外，英特爾 NCS2 具有三對內置的立體聲深度硬件，在許多用例中（例如避障），它們是很有價值的。
應用場景：
英特爾 NCS2 還提供DNN的原型、驗證和部署。對于無人駕駛和無人駕駛車輛以及物聯網設備而言，低功耗是必不可少的。對于希望開發深度學習推理應用程序的人來說，NCS2 是最節能，成本最低的USB棒之一。
Google Coral 不僅僅是硬件。它輕松地結合了定制硬件，開放軟件和先進的AI算法的功能并提供了高質量的AI解決方案。Coral在幫助工業發展領域有很多應用案例，包括預測性維護、異常檢測、機器人技術、機器視覺和語音識別等。它對制造，醫療保健，零售，智能空間，內部監控和運輸部門很有應用價值。
如果您對Google Coral Edge TPU系列硬件產品感興趣，歡迎訪問Google Coral代理商Gravitylink在線商城（https://store.gravitylink.com/global）進行訂購。企業用戶也可通過郵件([email protected] / [email protected])咨詢獲取批量訂購優惠價格。