帶你瞭解世界最先進的手勢識別技術 -- 微軟，凌感，Leap...
雷鋒網編者按：本文作者是王元、高羽，uSens凌感科技的員工。不知道大家還記不記得02年的好萊塢電影《少數派報告》？小編當時瘋狂痴迷湯姆克魯斯飾演的精英探員，不僅僅是因為湯姆克魯斯本身的魅力，還因為電影裏展示的酷炫的手勢操作界面。有人説，電影在一定程度上是人類技術的先知，這個論調雖然不能説完全正確，但是在手勢控制的人機交互這方面，我們從來沒有像現在一樣接近未來。今天就讓小編為大家解釋一下現有的幾種主要的手勢識別技術，為你揭開手勢識別技術的神祕面紗。
概述
談起手勢識別技術，由簡單粗略的到複雜精細的，大致可以分為三個等級：二維手型識別、二維手勢識別、三維手勢識別。
在具體討論手勢識別之前，我們有必要先知道二維和三維的差別。二維只是一個平面空間，我們可以用（X座標，Y座標）組成的座標信息來表示一個物體在二維空間中的座標位置，就像是一幅畫出現在一面牆上的位置。三維則在此基礎上增加了“深度”（Z座標）的信息，這是二維所不包含的。這裏的“深度”並不是咱們現實生活中所説的那個深度，這個“深度”表達的是“縱深”，理解為相對於眼睛的“遠度”也許更加貼切。就像是魚缸中的金魚，它可以在你面前上下左右的遊動，也可能離你更遠或者更近。
前兩種手勢識別技術，完全是基於二維層面的，它們只需要不含深度信息的二維信息作為輸入即可。就像平時拍照所得的相片就包含了二維信息一樣，我們只需要使用單個攝像頭捕捉到的二維圖像作為輸入，然後通過計算機視覺技術對輸入的二維圖像進行分析，獲取信息，從而實現手勢識別。
而第三種手勢識別技術，是基於三維層面的。三維手勢識別與二維手勢識別的最根本區別就在於，三維手勢識別需要的輸入是包含有深度的信息，這就使得三維手勢識別在硬件和軟件兩方面都比二維手勢識別要複雜得多。對於一般的簡單操作，比如只是想在播放視頻的時候暫停或者繼續放映，二維手勢也就足夠了。但是對於一些複雜的人機交互，比如玩遊戲或者應用在VR（虛擬現實）上，三維手勢實在是居家旅行必備、捨我其誰的不二之選。
手勢識別分類
二維手型識別
二維手型識別，也可稱為靜態二維手勢識別，識別的是手勢中最簡單的一類。這種技術在獲取二維信息輸入之後，可以識別幾個靜態的手勢，比如握拳或者五指張開。其代表公司是一年前被Google收購的Flutter。在使用了他家的軟件之後，用户可以用幾個手型來控制播放器。用户將手掌舉起來放到攝像頭前，視頻就開始播放了；再把手掌放到攝像頭前，視頻又暫停了。
“靜態”是這種二維手勢識別技術的重要特徵，這種技術只能識別手勢的“狀態”，而不能感知手勢的“持續變化”。舉個例子來説，如果將這種技術用在猜拳上的話，它可以識別出石頭、剪刀和布的手勢狀態。但是對除此之外的手勢，它就一無所知了。所以這種技術説到底是一種模式匹配技術，通過計算機視覺算法分析圖像，和預設的圖像模式進行比對，從而理解這種手勢的含義。
這種技術的不足之處顯而易見：只可以識別預設好的狀態，拓展性差，控制感很弱，用户只能實現最基礎的人機交互功能。但是它是識別複雜手勢的第一步，而且我們的確可以通過手勢和計算機互動了，還是很酷的不是麼？想象一下你忙着吃飯，只要憑空做個手勢，計算機就可以切換到下一個視頻，比使用鼠標來控制可是方便多了！
二維手勢識別
二維手勢識別，比起二維手型識別來説稍難一些，但仍然基本不含深度信息，停留在二維的層面上。這種技術不僅可以識別手型，還可以識別一些簡單的二維手勢動作，比如對着攝像頭揮揮手。其代表公司是來自以色列的PointGrab，EyeSight和ExtremeReality。
二維手勢識別擁有了動態的特徵，可以追蹤手勢的運動，進而識別將手勢和手部運動結合在一起的複雜動作。這樣一來，我們就把手勢識別的範圍真正拓展到二維平面了。我們不僅可以通過手勢來控制計算機播放/暫停，我們還可以實現前進/後退/向上翻頁/向下滾動這些需求二維座標變更信息的複雜操作了。
這種技術雖然在硬件要求上和二維手型識別並無區別，但是得益於更加先進的計算機視覺算法，可以獲得更加豐富的人機交互內容。在使用體驗上也提高了一個檔次，從純粹的狀態控制，變成了比較豐富的平面控制。這種技術已經被集成到了電視裏，但是目前還是以噱頭為主，還不能成為電視的主要常用控制方式。
三維手勢識別
接下來我們要談的就是當今手勢識別領域的重頭戲——三維手勢識別。三維手勢識別需要的輸入是包含有深度的信息，可以識別各種手型、手勢和動作。相比於前兩種二維手勢識別技術，三維手勢識別不能再只使用單個普通攝像頭，因為單個普通攝像頭無法提供深度信息。要得到深度信息需要特別的硬件，目前世界上主要有3種硬件實現方式。加上新的先進的計算機視覺軟件算法就可以實現三維手勢識別了。下面就讓小編為大家一一道來三維手勢識別的三維成像硬件原理。
1結構光（Structure Light）
結構光的代表應用產品就是PrimeSense公司為大名鼎鼎的微軟家XBOX 360所做的Kinect一代了。
這種技術的基本原理是，加載一個激光投射器，在激光投射器外面放一個刻有特定圖樣的光柵，激光通過光柵進行投射成像時會發生折射，從而使得激光最終在物體表面上的落點產生位移。當物體距離激光投射器比較近的時候，折射而產生的位移就較小；當物體距離較遠時，折射而產生的位移也就會相應的變大。這時使用一個攝像頭來檢測採集投射到物體表面上的圖樣，通過圖樣的位移變化，就能用算法計算出物體的位置和深度信息，進而復原整個三維空間。
以Kinect一代的結構光技術來説，因為依賴於激光折射後產生的落點位移，所以在太近的距離上，折射導致的位移尚不明顯，使用該技術就不能太精確的計算出深度信息，所以1米到4米是其最佳應用範圍。
2光飛時間（Time of Flight）
光飛時間是SoftKinetic公司所採用的技術，該公司為業界巨鱷Intel提供帶手勢識別功能的三維攝像頭。同時，這一硬件技術也是微軟新一代Kinect所使用的。
這種技術的基本原理是加載一個發光元件，發光元件發出的光子在碰到物體表面後會反射回來。使用一個特別的CMOS傳感器來捕捉這些由發光元件發出、又從物體表面反射回來的光子，就能得到光子的飛行時間。根據光子飛行時間進而可以推算出光子飛行的距離，也就得到了物體的深度信息。
就計算上而言，光飛時間是三維手勢識別中最簡單的，不需要任何計算機視覺方面的計算。
3多角成像（Multi-camera）多角成像這一技術的代表產品是Leap Motion公司的同名產品和Usens公司的Fingo。
這種技術的基本原理是使用兩個或者兩個以上的攝像頭同時攝取圖像，就好像是人類用雙眼、昆蟲用多目複眼來觀察世界，通過比對這些不同攝像頭在同一時刻獲得的圖像的差別，使用算法來計算深度信息，從而多角三維成像。
在這裏我們以兩個攝像頭成像來簡單解釋一下：
雙攝像頭測距是根據幾何原理來計算深度信息的。使用兩台攝像機對當前環境進行拍攝，得到兩幅針對同一環境的不同視角照片，實際上就是模擬了人眼工作的原理。因為兩台攝像機的各項參數以及它們之間相對位置的關係是已知的，只要找出相同物體（楓葉）在不同畫面中的位置，我們就能通過算法計算出這個物體（楓葉）距離攝像頭的深度了。
多角成像是三維手勢識別技術中硬件要求最低，但同時是最難實現的。多角成像不需要任何額外的特殊設備，完全依賴於計算機視覺算法來匹配兩張圖片裏的相同目標。相比於結構光或者光飛時間這兩種技術成本高、功耗大的缺點，多角成像能提供“價廉物美”的三維手勢識別效果。
相關鏈接：
創新大屏交互之——酷炫的體感技術
資料來源：雷鋒網
作者/編輯：國慶
概述
談起手勢識別技術，由簡單粗略的到複雜精細的，大致可以分為三個等級：二維手型識別、二維手勢識別、三維手勢識別。
在具體討論手勢識別之前，我們有必要先知道二維和三維的差別。二維只是一個平面空間，我們可以用（X座標，Y座標）組成的座標信息來表示一個物體在二維空間中的座標位置，就像是一幅畫出現在一面牆上的位置。三維則在此基礎上增加了“深度”（Z座標）的信息，這是二維所不包含的。這裏的“深度”並不是咱們現實生活中所説的那個深度，這個“深度”表達的是“縱深”，理解為相對於眼睛的“遠度”也許更加貼切。就像是魚缸中的金魚，它可以在你面前上下左右的遊動，也可能離你更遠或者更近。
前兩種手勢識別技術，完全是基於二維層面的，它們只需要不含深度信息的二維信息作為輸入即可。就像平時拍照所得的相片就包含了二維信息一樣，我們只需要使用單個攝像頭捕捉到的二維圖像作為輸入，然後通過計算機視覺技術對輸入的二維圖像進行分析，獲取信息，從而實現手勢識別。
而第三種手勢識別技術，是基於三維層面的。三維手勢識別與二維手勢識別的最根本區別就在於，三維手勢識別需要的輸入是包含有深度的信息，這就使得三維手勢識別在硬件和軟件兩方面都比二維手勢識別要複雜得多。對於一般的簡單操作，比如只是想在播放視頻的時候暫停或者繼續放映，二維手勢也就足夠了。但是對於一些複雜的人機交互，比如玩遊戲或者應用在VR（虛擬現實）上，三維手勢實在是居家旅行必備、捨我其誰的不二之選。
手勢識別分類
二維手型識別
二維手型識別，也可稱為靜態二維手勢識別，識別的是手勢中最簡單的一類。這種技術在獲取二維信息輸入之後，可以識別幾個靜態的手勢，比如握拳或者五指張開。其代表公司是一年前被Google收購的Flutter。在使用了他家的軟件之後，用户可以用幾個手型來控制播放器。用户將手掌舉起來放到攝像頭前，視頻就開始播放了；再把手掌放到攝像頭前，視頻又暫停了。
“靜態”是這種二維手勢識別技術的重要特徵，這種技術只能識別手勢的“狀態”，而不能感知手勢的“持續變化”。舉個例子來説，如果將這種技術用在猜拳上的話，它可以識別出石頭、剪刀和布的手勢狀態。但是對除此之外的手勢，它就一無所知了。所以這種技術説到底是一種模式匹配技術，通過計算機視覺算法分析圖像，和預設的圖像模式進行比對，從而理解這種手勢的含義。
這種技術的不足之處顯而易見：只可以識別預設好的狀態，拓展性差，控制感很弱，用户只能實現最基礎的人機交互功能。但是它是識別複雜手勢的第一步，而且我們的確可以通過手勢和計算機互動了，還是很酷的不是麼？想象一下你忙着吃飯，只要憑空做個手勢，計算機就可以切換到下一個視頻，比使用鼠標來控制可是方便多了！
二維手勢識別
二維手勢識別，比起二維手型識別來説稍難一些，但仍然基本不含深度信息，停留在二維的層面上。這種技術不僅可以識別手型，還可以識別一些簡單的二維手勢動作，比如對着攝像頭揮揮手。其代表公司是來自以色列的PointGrab，EyeSight和ExtremeReality。
二維手勢識別擁有了動態的特徵，可以追蹤手勢的運動，進而識別將手勢和手部運動結合在一起的複雜動作。這樣一來，我們就把手勢識別的範圍真正拓展到二維平面了。我們不僅可以通過手勢來控制計算機播放/暫停，我們還可以實現前進/後退/向上翻頁/向下滾動這些需求二維座標變更信息的複雜操作了。
這種技術雖然在硬件要求上和二維手型識別並無區別，但是得益於更加先進的計算機視覺算法，可以獲得更加豐富的人機交互內容。在使用體驗上也提高了一個檔次，從純粹的狀態控制，變成了比較豐富的平面控制。這種技術已經被集成到了電視裏，但是目前還是以噱頭為主，還不能成為電視的主要常用控制方式。
三維手勢識別
接下來我們要談的就是當今手勢識別領域的重頭戲——三維手勢識別。三維手勢識別需要的輸入是包含有深度的信息，可以識別各種手型、手勢和動作。相比於前兩種二維手勢識別技術，三維手勢識別不能再只使用單個普通攝像頭，因為單個普通攝像頭無法提供深度信息。要得到深度信息需要特別的硬件，目前世界上主要有3種硬件實現方式。加上新的先進的計算機視覺軟件算法就可以實現三維手勢識別了。下面就讓小編為大家一一道來三維手勢識別的三維成像硬件原理。
1結構光（Structure Light）
結構光的代表應用產品就是PrimeSense公司為大名鼎鼎的微軟家XBOX 360所做的Kinect一代了。
這種技術的基本原理是，加載一個激光投射器，在激光投射器外面放一個刻有特定圖樣的光柵，激光通過光柵進行投射成像時會發生折射，從而使得激光最終在物體表面上的落點產生位移。當物體距離激光投射器比較近的時候，折射而產生的位移就較小；當物體距離較遠時，折射而產生的位移也就會相應的變大。這時使用一個攝像頭來檢測採集投射到物體表面上的圖樣，通過圖樣的位移變化，就能用算法計算出物體的位置和深度信息，進而復原整個三維空間。
以Kinect一代的結構光技術來説，因為依賴於激光折射後產生的落點位移，所以在太近的距離上，折射導致的位移尚不明顯，使用該技術就不能太精確的計算出深度信息，所以1米到4米是其最佳應用範圍。
2光飛時間（Time of Flight）
光飛時間是SoftKinetic公司所採用的技術，該公司為業界巨鱷Intel提供帶手勢識別功能的三維攝像頭。同時，這一硬件技術也是微軟新一代Kinect所使用的。
這種技術的基本原理是加載一個發光元件，發光元件發出的光子在碰到物體表面後會反射回來。使用一個特別的CMOS傳感器來捕捉這些由發光元件發出、又從物體表面反射回來的光子，就能得到光子的飛行時間。根據光子飛行時間進而可以推算出光子飛行的距離，也就得到了物體的深度信息。
就計算上而言，光飛時間是三維手勢識別中最簡單的，不需要任何計算機視覺方面的計算。
3多角成像（Multi-camera）多角成像這一技術的代表產品是Leap Motion公司的同名產品和Usens公司的Fingo。
這種技術的基本原理是使用兩個或者兩個以上的攝像頭同時攝取圖像，就好像是人類用雙眼、昆蟲用多目複眼來觀察世界，通過比對這些不同攝像頭在同一時刻獲得的圖像的差別，使用算法來計算深度信息，從而多角三維成像。
在這裏我們以兩個攝像頭成像來簡單解釋一下：
雙攝像頭測距是根據幾何原理來計算深度信息的。使用兩台攝像機對當前環境進行拍攝，得到兩幅針對同一環境的不同視角照片，實際上就是模擬了人眼工作的原理。因為兩台攝像機的各項參數以及它們之間相對位置的關係是已知的，只要找出相同物體（楓葉）在不同畫面中的位置，我們就能通過算法計算出這個物體（楓葉）距離攝像頭的深度了。
多角成像是三維手勢識別技術中硬件要求最低，但同時是最難實現的。多角成像不需要任何額外的特殊設備，完全依賴於計算機視覺算法來匹配兩張圖片裏的相同目標。相比於結構光或者光飛時間這兩種技術成本高、功耗大的缺點，多角成像能提供“價廉物美”的三維手勢識別效果。
相關鏈接：
創新大屏交互之——酷炫的體感技術
資料來源：雷鋒網
作者/編輯：國慶