與展訊合作，讓百元手機實現 ARCore 的效果，uSens 做了哪些努力？
不久前，在京東“天工計劃 2.0 年度盛典”上，作為產業聯盟合作伙伴，uSens凌感科技帶去了他們針對移動端設備推出的 AR 解決方案——基於單目 RGB 攝像頭，並結合 IMU 的 AR 解決方案。
今年 6 月，蘋果在 WWDC 大會上推出 ARKit 開發平台，毫無疑問成為 2017 年 AR/VR 圈的頭號大事件，緊跟着 8 月份，Google推出功能類似的 ARCore 平台，兩家大廠出手，這也促使後半年市場上出現了不少用手機“掃一掃”的 AR 功能和應用。
不過，ARKit 主要針對 iOS 系統用户，ARCore 目前還只支持 Pixel 和 Pixel XL，以及三星 Galaxy S8，能完全支持兩者的還只是高端設備。
uSens 推出 AR 移動端方案，正是因為看到了 Android 中低端設備的需求。
ARKit 效果圖
雷鋒網曾發文《大神揭祕：蘋果 ARKit 為什麼碾壓對手？》，大神 Matt Miesnieks 表示，蘋果 ARKit 的一大厲害之處是，只通過手機的單目攝像頭，結合 IMU，在智能手機上實現 SLAM 技術。Google早先也有 Tango，採用相似的技術原理。從本質上看，uSens 此次發佈的技術方案跟上述兩家大廠是一致的。
2016 年 8 月，uSens 發佈了手勢識別模組 Fingo，基於兩個紅外攝像頭，可對雙手實現 26 自由度追蹤，以及基於 marker 的位置追蹤。當時一共發佈了三個版本，除了基礎版，Color Fingo 採用兩個 RGB 攝像頭，還增加了 Inside-Out 追蹤，以及 AR、VR 場景切換，更高版本的 Power Fingo 集成了四個攝像頭（2 紅外+ 2 RGB），並加入單獨的處理單元。
對現在推出的移動端 AR 方案，uSens 早先有一定的技術積累。今年 7 月份時，他們發佈了一段視頻，展示了在三星 S7 上的 SLAM 效果，但該視頻還只是在虛擬背景下的效果。另外，我們也看到，VR 頭顯的 Inside-Out 方案，配備的也是雙目攝像頭方案。
儘管對於 SLAM 技術，AR 和 VR 有相似之處，但從雙目到單目，從專門的模組到支持移動設備，這中間還是有很多不同。尤其是 VR 和 AR 對 SLAM 實現效果的要求不一樣，uSens 技術副總裁、中國研發中心主任馬賡宇解釋道，
Fingo 模組現在能實現雙手識別
從原先的 Fingo 模塊到移動端方案，他們增減了一些模塊，“如原來針對 VR 設備，我們設計的是雙目攝像頭，全局快門，手機只有單目，我們把雙目匹配的模塊去掉了，添加了一些針對手機捲簾快門的處理模塊”。
與 ARKit 和 ARCore 可支持的功能相比，uSens 的 AR 方案主要包括 SLAM、手勢識別和人臉跟蹤。
對移動端使用的配置要求包括以下三點：
馬賡宇用一款成本價 500 塊的手機，向雷鋒網(公眾號：雷鋒網)演示了他們的 AR 方案。跟 ARKit 應用類似，開啟應用後，程序會先檢測一個平面，之後我們可將虛擬物體疊加在真實的桌面上。
成本價 500 塊手機上的 AR 效果
他透露，剛開始他們用三星 S8 測試，AR 功能會佔到一半的 CPU，後來經過優化“S8 只佔到 3%-4% 的 CPU。在成本 500 塊的手機上，大概佔 15% 的 CPU”。
在《大神解讀：Google ARCore 就是低配版 Tango，它比蘋果 ARKit 好在哪？》一文中，Matt 大神談到手機傳感器的標定問題，“智能機的 IMU 在工廠中只在單一温度下進行標定。這意味着 IMU 硬件在某一指定的温度下，誤差被調節到最低。但當手機發熱的時候，IMU 就不會那樣準確。”
為了適配中低端移動設備，uSens 也在做對手機標定的事情，詳細了解手機 IMU 的噪聲，進行算法定製。目前，他們正在給展訊 11 月發佈的 SC9853 芯片適配，後者一直主打中低端手機市場，此前展訊前 CEＯ 李力遊曾公開表示 2016 年的出貨量達到 6 億 7000 萬套，大概佔全球的 27%，聯發科佔 28%，高通佔 32%。
uSens 的工作人員向雷鋒網透露，他們為展訊適配包括 9853 在內的多款芯片，明年出貨量預計上億萬台，而對於像華為、小米這些擁有自研芯片的手機廠商，他們也在接觸，但是否合作還未最終決定。
馬賡宇也坦言，對於中低端機，像光照這些效果會弱化，手勢識別和人臉跟蹤會做些取捨，精度上會稍遜於Google ARCore，但能適配更多的中低端機型。
目前，阿里、騰訊、百度等都推出了 AR 可開放平台，但馬賡宇表示，打造生態這些大廠比較有優勢，而他們的優勢是技術。他們確定了三個主要的商業模式：一是與手機廠商合作，提供算法，前裝內置，適配硬件廠商 Camera 及系統；二是 APP 應用，與不同領域應用 APP根據場景需求進行適配；三是定製合作，根據客户需求靈活定製方案，聯合開發。
在即將過去的 2017 年，手勢識別方面，uSens 通過深度學習實現了雙手識別，尤其是當雙手重疊在一起時，如何識別出左右手分別是哪五個手指，同時跟一些 AR/VR 頭顯廠商達成合作如台灣 AR 頭顯廠商 LEAPSY、Pico 小鳥看看、HTC，明年有望出現一些內置手勢識別功能的產品。移動端 SLAM 方面，他們已經開始跟手機廠商合作，相信明年我們會在手機上使用到更多帶有 AR 功能的應用，更多的用户也有望吸引更多的 AR 開發者。
對於即將到來的 2018 年，uSens 有可能在 2018 年第一季度前完成 Pre-B 輪融資，技術落地，場景化和商業化將是他們的重點。
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。
資料來源：雷鋒網
今年 6 月，蘋果在 WWDC 大會上推出 ARKit 開發平台，毫無疑問成為 2017 年 AR/VR 圈的頭號大事件，緊跟着 8 月份，Google推出功能類似的 ARCore 平台，兩家大廠出手，這也促使後半年市場上出現了不少用手機“掃一掃”的 AR 功能和應用。
不過，ARKit 主要針對 iOS 系統用户，ARCore 目前還只支持 Pixel 和 Pixel XL，以及三星 Galaxy S8，能完全支持兩者的還只是高端設備。
uSens 推出 AR 移動端方案，正是因為看到了 Android 中低端設備的需求。
ARKit 效果圖
雷鋒網曾發文《大神揭祕：蘋果 ARKit 為什麼碾壓對手？》，大神 Matt Miesnieks 表示，蘋果 ARKit 的一大厲害之處是，只通過手機的單目攝像頭，結合 IMU，在智能手機上實現 SLAM 技術。Google早先也有 Tango，採用相似的技術原理。從本質上看，uSens 此次發佈的技術方案跟上述兩家大廠是一致的。
2016 年 8 月，uSens 發佈了手勢識別模組 Fingo，基於兩個紅外攝像頭，可對雙手實現 26 自由度追蹤，以及基於 marker 的位置追蹤。當時一共發佈了三個版本，除了基礎版，Color Fingo 採用兩個 RGB 攝像頭，還增加了 Inside-Out 追蹤，以及 AR、VR 場景切換，更高版本的 Power Fingo 集成了四個攝像頭（2 紅外+ 2 RGB），並加入單獨的處理單元。
對現在推出的移動端 AR 方案，uSens 早先有一定的技術積累。今年 7 月份時，他們發佈了一段視頻，展示了在三星 S7 上的 SLAM 效果，但該視頻還只是在虛擬背景下的效果。另外，我們也看到，VR 頭顯的 Inside-Out 方案，配備的也是雙目攝像頭方案。
儘管對於 SLAM 技術，AR 和 VR 有相似之處，但從雙目到單目，從專門的模組到支持移動設備，這中間還是有很多不同。尤其是 VR 和 AR 對 SLAM 實現效果的要求不一樣，uSens 技術副總裁、中國研發中心主任馬賡宇解釋道，
引用“VR 應用對精度要求很高，如果頭部不動的話，識別結果有 1 毫米的抖動，就會感覺三維物體的晃動。同時，VR 設備對延遲要求很高，從圖像採集到處理完成，要控制在 20ms 以內。所以，必須用專門的攝像頭硬件，以保證整個流程在 20ms 內完成。
而 AR 應用精度的要求不那麼高，只要圖像和虛擬物體是一起顯示，而且圖像處估計的位置準確，5 毫米的誤差也是可以接受的；對延遲的要求也不大，即使圖像傳輸有 100ms 的延遲，顯示時圖像和虛擬物體顯示一致就行。硬件上，AR 不能要求太高的硬件，手機的攝像頭採集和傳輸的延遲比較大，主要是採集的延遲大，大約要 30ms，手機的 IMU 速率和傳感器都比 VR 設備要差。”
Fingo 模組現在能實現雙手識別
從原先的 Fingo 模塊到移動端方案，他們增減了一些模塊，“如原來針對 VR 設備，我們設計的是雙目攝像頭，全局快門，手機只有單目，我們把雙目匹配的模塊去掉了，添加了一些針對手機捲簾快門的處理模塊”。
與 ARKit 和 ARCore 可支持的功能相比，uSens 的 AR 方案主要包括 SLAM、手勢識別和人臉跟蹤。
對移動端使用的配置要求包括以下三點：
- IMU，至少具備 accelerator、gyroscope 頻率要求在 100HZ 以上。
- Android5.0 以上系統版本,需要支持 Camera2 的相關接口
- Camera 和 IMU 的 timestamp 需要同步
馬賡宇用一款成本價 500 塊的手機，向雷鋒網(公眾號：雷鋒網)演示了他們的 AR 方案。跟 ARKit 應用類似，開啟應用後，程序會先檢測一個平面，之後我們可將虛擬物體疊加在真實的桌面上。
成本價 500 塊手機上的 AR 效果
他透露，剛開始他們用三星 S8 測試，AR 功能會佔到一半的 CPU，後來經過優化“S8 只佔到 3%-4% 的 CPU。在成本 500 塊的手機上，大概佔 15% 的 CPU”。
在《大神解讀：Google ARCore 就是低配版 Tango，它比蘋果 ARKit 好在哪？》一文中，Matt 大神談到手機傳感器的標定問題，“智能機的 IMU 在工廠中只在單一温度下進行標定。這意味着 IMU 硬件在某一指定的温度下，誤差被調節到最低。但當手機發熱的時候，IMU 就不會那樣準確。”
為了適配中低端移動設備，uSens 也在做對手機標定的事情，詳細了解手機 IMU 的噪聲，進行算法定製。目前，他們正在給展訊 11 月發佈的 SC9853 芯片適配，後者一直主打中低端手機市場，此前展訊前 CEＯ 李力遊曾公開表示 2016 年的出貨量達到 6 億 7000 萬套，大概佔全球的 27%，聯發科佔 28%，高通佔 32%。
uSens 的工作人員向雷鋒網透露，他們為展訊適配包括 9853 在內的多款芯片，明年出貨量預計上億萬台，而對於像華為、小米這些擁有自研芯片的手機廠商，他們也在接觸，但是否合作還未最終決定。
馬賡宇也坦言，對於中低端機，像光照這些效果會弱化，手勢識別和人臉跟蹤會做些取捨，精度上會稍遜於Google ARCore，但能適配更多的中低端機型。
目前，阿里、騰訊、百度等都推出了 AR 可開放平台，但馬賡宇表示，打造生態這些大廠比較有優勢，而他們的優勢是技術。他們確定了三個主要的商業模式：一是與手機廠商合作，提供算法，前裝內置，適配硬件廠商 Camera 及系統；二是 APP 應用，與不同領域應用 APP根據場景需求進行適配；三是定製合作，根據客户需求靈活定製方案，聯合開發。
在即將過去的 2017 年，手勢識別方面，uSens 通過深度學習實現了雙手識別，尤其是當雙手重疊在一起時，如何識別出左右手分別是哪五個手指，同時跟一些 AR/VR 頭顯廠商達成合作如台灣 AR 頭顯廠商 LEAPSY、Pico 小鳥看看、HTC，明年有望出現一些內置手勢識別功能的產品。移動端 SLAM 方面，他們已經開始跟手機廠商合作，相信明年我們會在手機上使用到更多帶有 AR 功能的應用，更多的用户也有望吸引更多的 AR 開發者。
對於即將到來的 2018 年，uSens 有可能在 2018 年第一季度前完成 Pre-B 輪融資，技術落地，場景化和商業化將是他們的重點。
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。
資料來源：雷鋒網