全世界都在說AI芯片，其實你根本就不了解AI芯片！
人工智慧（AI）的爆炸性使用正在開啟半導體設備的新時代，這將帶來許多新的機遇，但也帶來許多挑戰。
IBM研究部高級副總裁John E. Kelly博士談到人工智慧將如何大幅改變世界。 “這是一個計算時代，其規模將使之前的時代相形見絀，其方式將改變我們所有的業務和所有行業，以及我們所有的生活，”他說。 “這是推動我們半導體產業向前發展的時代。機會的數量是巨大的。“
Applied Materials 首席執行官Gary Dickerson在活動上發言時表示，AI“需要在邊緣和云端創新，在邊緣生成數據，存儲數據，處理數據以釋放價值。與此同時，摩爾定律正在放緩。“這創造了”完美的機會“，他說。
SEMI總裁兼首席執行官Ajit Manocha稱其為半導體行業的“重生”。 “人工智慧正在改變一切 - 并將半導體帶回當之無愧的聚光燈下，”他在最近的一篇文章中指出。“AI的數百個zettabytes和數萬億美元的潛在市場依賴于新的半導體架構和計算平臺。 制造這些AI半導體引擎需要大量創新的新材料，設備和設計方法。“
“硬件再次變得重要，”迪克森說。 “在過去的18個月中，芯片初創公司的資金比前18年增加了。”除了來自英特爾和高通等傳統IC公司的AI芯片外，還有超過45家初創公司正致力于開發新的AI芯片。風險投資超過15億美元 - 其中至少有5個投資者籌集了超過1億美元。谷歌，Facebook，微軟，亞馬遜，百度和阿里巴巴等科技巨頭也在開發AI芯片。
迪克森表示，擁有比其他任何人早12個月獲勝的AI芯片可能是一個1000億美元的機會。 “我們在應用材料公司內部推動的是速度和上市時間。什么是一個月的價值？一分鐘值多少錢？“
IBM的Kelly表示，在現有的15億至20億美元的信息技術產業之上，人工智慧有2萬億美元的決策支持機會。 “從字面上看，世界上每個行業都會受到這種影響和改變，”他說。
AI需要分析非結構化數據
去年年底在國際電子器件會議期間應用材料展覽會上，IBM研究院副院長兼Almaden實驗室主任Jeff Welser博士表示，人工智慧的爆炸式增長是由需要處理大量非結構化數據所驅動的。 ，注意到在短短兩天內，我們現在產生的數據與2003年總產生的數據一樣多。“在2020年左右，估計可能產生50個zettabytes的數據。這是21個零，“他說。
Welser將于5月份在ConFab 2019上發表主題演講，他指出，80％的數據都是非結構化的，并且增長率是結構化數據的15倍。 “如果你看一下增長情況，它實際上就是一種完全不同類型的數據。語音數據，社交媒體數據，包括很多圖像，視頻，音頻和文本，但非常非結構化的文本，“他說。然后是IoT連接傳感器的數據。
有各種方法來處理這些數據。 CPU對于結構化的浮點數據非常有效，而GPU在AI應用程序中運行良好 - 但這并不意味著人們不會將AI用于傳統的CPU。今年8月，英特爾稱其在2017年銷售了10億美元的人工智慧處理器芯片。
據路透社報道，其數據中心主管Navin Shenoy表示，該公司已經能夠修改其CPU，在人工智慧培訓方面的性能提高200多倍。過去幾年。這導致其Xeon處理器在2017年的銷售額達到10億美元，當時該公司的總收入為628億美元。英特爾人工智慧產品部門負責人Naveen Rao表示，這10億美元的估算來自于那些告訴英特爾他們正在購買人工智慧芯片以及計算客戶數據中心專用于此類工作的客戶。
AI的定制硬件并不新鮮。 “即使早在90年代，他們就開始使用ASICS和FPGA，試圖找到更好地做到這一點的方法，”Welser說。例如，2016年推出的Google張量處理單元（TPU）是專為機器學習應用而構建的定制ASIC芯片，使芯片能夠更加容忍降低的計算精度，這意味著每次操作需要更少的晶體管。
真的是當GPU出現在2008-2009時期，人們意識到除了預期的應用程序 - 圖形處理 - 它們真的很適合做神經網絡所需的那種數學運算。 “從那時起，我們已經看到了一大堆不同的架構，試圖繼續提高我們運行神經網絡進行訓練和推理的能力，”他說。
AI首先“訓練”一個神經網絡，其中權重根據輸出而改變，然后是“推理”方面，其中權重是固定的。這可能意味著需要兩種不同類型的芯片。 “如果你沒有嘗試學習它，你可能會得到一些功率低得多，速度更快，效率更高的東西，當你已經訓練好的神經網絡并運行它用于任何應用程序時。對于我們看到硬件的發展方向而言，這變得非常重要，“他說。
當今技術的問題 - 無論是CPU，GPU，ASIC還是FPGA--在處理能力和現有技術之間仍存在巨大差距。
例如，谷歌發布自己的TPU以及Edge TPU——TPU是針對TensorFlow上的機器學習工作負載量身定制的定制應用專用集成電路（ASIC）。 去年，谷歌宣稱它的TPU比現代GPU和推理CPU快15到30倍，并且TOPS / Watt測量值提高了30-80倍。并且谷歌在同年還發布了用于邊緣計算的Edge TPU，以及相關設備：AIY Projects Edge TPU Dev Board和Edge TPU Accelerator 圍繞谷歌新推出的專用邊緣TPU。
為了達到性能/瓦特的新水平，在AI芯片級別研究的創新包括：
低精度計算
模擬計算
電阻計算
在一項研究中，IBM人為地降低了神經網絡的精度，結果令人驚訝。 “我們發現我們可以將浮點數降低到14位，我們確實獲得了與16位或32位或64位完全相同的精度，”Welser說。 “那時候并不重要。”
這意味著神經網絡的某些部分可能具有高精度，而某些部分則具有低精度。 “你可以在那里做出許多權衡，通過放棄精確度，可以降低功率或提高性能，”Welser說。
老式模擬計算具有更低的精度，但可能非常適合AI。 “模擬計算在當時非常有效，只是你不能控制錯誤或以任何有意義的方式擴展它，如果你試圖做高精度浮點，”Welser說。 “但是，如果你真正想要的是擁有可變連接的能力，比如神經元，那么也許你可以使用模擬設備。”
IBM研究部高級副總裁John E. Kelly博士談到人工智慧將如何大幅改變世界。 “這是一個計算時代，其規模將使之前的時代相形見絀，其方式將改變我們所有的業務和所有行業，以及我們所有的生活，”他說。 “這是推動我們半導體產業向前發展的時代。機會的數量是巨大的。“
Applied Materials 首席執行官Gary Dickerson在活動上發言時表示，AI“需要在邊緣和云端創新，在邊緣生成數據，存儲數據，處理數據以釋放價值。與此同時，摩爾定律正在放緩。“這創造了”完美的機會“，他說。
SEMI總裁兼首席執行官Ajit Manocha稱其為半導體行業的“重生”。 “人工智慧正在改變一切 - 并將半導體帶回當之無愧的聚光燈下，”他在最近的一篇文章中指出。“AI的數百個zettabytes和數萬億美元的潛在市場依賴于新的半導體架構和計算平臺。 制造這些AI半導體引擎需要大量創新的新材料，設備和設計方法。“
“硬件再次變得重要，”迪克森說。 “在過去的18個月中，芯片初創公司的資金比前18年增加了。”除了來自英特爾和高通等傳統IC公司的AI芯片外，還有超過45家初創公司正致力于開發新的AI芯片。風險投資超過15億美元 - 其中至少有5個投資者籌集了超過1億美元。谷歌，Facebook，微軟，亞馬遜，百度和阿里巴巴等科技巨頭也在開發AI芯片。
迪克森表示，擁有比其他任何人早12個月獲勝的AI芯片可能是一個1000億美元的機會。 “我們在應用材料公司內部推動的是速度和上市時間。什么是一個月的價值？一分鐘值多少錢？“
IBM的Kelly表示，在現有的15億至20億美元的信息技術產業之上，人工智慧有2萬億美元的決策支持機會。 “從字面上看，世界上每個行業都會受到這種影響和改變，”他說。
AI需要分析非結構化數據
去年年底在國際電子器件會議期間應用材料展覽會上，IBM研究院副院長兼Almaden實驗室主任Jeff Welser博士表示，人工智慧的爆炸式增長是由需要處理大量非結構化數據所驅動的。 ，注意到在短短兩天內，我們現在產生的數據與2003年總產生的數據一樣多。“在2020年左右，估計可能產生50個zettabytes的數據。這是21個零，“他說。
Welser將于5月份在ConFab 2019上發表主題演講，他指出，80％的數據都是非結構化的，并且增長率是結構化數據的15倍。 “如果你看一下增長情況，它實際上就是一種完全不同類型的數據。語音數據，社交媒體數據，包括很多圖像，視頻，音頻和文本，但非常非結構化的文本，“他說。然后是IoT連接傳感器的數據。
有各種方法來處理這些數據。 CPU對于結構化的浮點數據非常有效，而GPU在AI應用程序中運行良好 - 但這并不意味著人們不會將AI用于傳統的CPU。今年8月，英特爾稱其在2017年銷售了10億美元的人工智慧處理器芯片。
據路透社報道，其數據中心主管Navin Shenoy表示，該公司已經能夠修改其CPU，在人工智慧培訓方面的性能提高200多倍。過去幾年。這導致其Xeon處理器在2017年的銷售額達到10億美元，當時該公司的總收入為628億美元。英特爾人工智慧產品部門負責人Naveen Rao表示，這10億美元的估算來自于那些告訴英特爾他們正在購買人工智慧芯片以及計算客戶數據中心專用于此類工作的客戶。
AI的定制硬件并不新鮮。 “即使早在90年代，他們就開始使用ASICS和FPGA，試圖找到更好地做到這一點的方法，”Welser說。例如，2016年推出的Google張量處理單元（TPU）是專為機器學習應用而構建的定制ASIC芯片，使芯片能夠更加容忍降低的計算精度，這意味著每次操作需要更少的晶體管。
真的是當GPU出現在2008-2009時期，人們意識到除了預期的應用程序 - 圖形處理 - 它們真的很適合做神經網絡所需的那種數學運算。 “從那時起，我們已經看到了一大堆不同的架構，試圖繼續提高我們運行神經網絡進行訓練和推理的能力，”他說。
AI首先“訓練”一個神經網絡，其中權重根據輸出而改變，然后是“推理”方面，其中權重是固定的。這可能意味著需要兩種不同類型的芯片。 “如果你沒有嘗試學習它，你可能會得到一些功率低得多，速度更快，效率更高的東西，當你已經訓練好的神經網絡并運行它用于任何應用程序時。對于我們看到硬件的發展方向而言，這變得非常重要，“他說。
當今技術的問題 - 無論是CPU，GPU，ASIC還是FPGA--在處理能力和現有技術之間仍存在巨大差距。
例如，谷歌發布自己的TPU以及Edge TPU——TPU是針對TensorFlow上的機器學習工作負載量身定制的定制應用專用集成電路（ASIC）。 去年，谷歌宣稱它的TPU比現代GPU和推理CPU快15到30倍，并且TOPS / Watt測量值提高了30-80倍。并且谷歌在同年還發布了用于邊緣計算的Edge TPU，以及相關設備：AIY Projects Edge TPU Dev Board和Edge TPU Accelerator 圍繞谷歌新推出的專用邊緣TPU。
為了達到性能/瓦特的新水平，在AI芯片級別研究的創新包括：
低精度計算
模擬計算
電阻計算
在一項研究中，IBM人為地降低了神經網絡的精度，結果令人驚訝。 “我們發現我們可以將浮點數降低到14位，我們確實獲得了與16位或32位或64位完全相同的精度，”Welser說。 “那時候并不重要。”
這意味著神經網絡的某些部分可能具有高精度，而某些部分則具有低精度。 “你可以在那里做出許多權衡，通過放棄精確度，可以降低功率或提高性能，”Welser說。
老式模擬計算具有更低的精度，但可能非常適合AI。 “模擬計算在當時非常有效，只是你不能控制錯誤或以任何有意義的方式擴展它，如果你試圖做高精度浮點，”Welser說。 “但是，如果你真正想要的是擁有可變連接的能力，比如神經元，那么也許你可以使用模擬設備。”