索尼曾提交過一份類似于Knuckles風格的VR控制器發(fā)明。日前，索尼的研究人員正式展示了利用機器學習和電容傳感器來實現全手追蹤的實驗性技術

索尼曾提交過一份類似于Knuckles風格的VR控制器發(fā)明。日前，索尼的研究人員正式展示了利用機器學習和電容傳感器來實現全手追蹤的實驗性技術。

像Leap Motion這樣基于視覺的手部追蹤系統(tǒng)可允許用戶直接用雙手操縱，無需控制器，但它們通常會產生手指遮擋的情況，從而無法在虛擬現實中實現一比一的全手映射。

為了給虛擬現實控制器帶來更強的手部臨在感，索尼研究人員Kazuyuki Arimatsu和Hideki Mori構建了一個集成大批電容式接近傳感器的控制器原型，而它非常類似于V社的Index控制器(原Knuckles)和Oculus Touch。

原型包含62個電極，而Kazuyuki Arimatsu和Hideki Mori用所述電極記錄了不同手部尺寸與姿態(tài)的訓練數據。與Index控制器一樣，索尼的原型采用了一種基于腕帶的開放式手掌設計。

相關論文

：

Evaluation of Machine Learning Techniques for Hand Pose Estimation on Handheld Device with Proximity Sensor

https://paper.nweon.com/658

他們在論文中寫道：“我們用2.5D Representation將卷積神經網絡方法應用于曲面的電容圖像，并利用我們的數據集評估了基于計算機視覺領域最新成果的兩種網絡架構。我們同時使用原型實現了實時交互應用程序，并演示了在虛擬現實應用程序中使用手指進行直觀交互的可能性。”

下面的視頻展示了相當亮眼的結果。但兩人承認，目前的設計存在一定的缺點：缺乏對所有手部尺寸的支持。

他們指出：“如果我們向全世界的用戶提供我們的方法，這可能會產生問題。由于我們需要一個光學追蹤系統(tǒng)來記錄訓練數據集，所以(視頻演示的)每個用戶的微調訓練無法通過我們當前的訓練方法進行。為了更好地適應不同的手部尺寸，我們需要研究一種增強或合成電容圖像的方法。” 目前的算法無法估計用戶手部的形狀，比如說手指的厚度，而這可能會在執(zhí)行捏合動作時造成實際手部姿態(tài)和虛擬手部姿態(tài)的不匹配。用戶當然可以在挑選更小的虛擬對象時進行自我調整，而這對于Knuckles和初代Oculus Touch控制器都是事實(Oculus Touch控制器是第一款采用相對較小的電容傳感器陣列的VR控制器)。

不管是哪種情況，目前尚不清楚索尼是否會繼續(xù)推進所述技術的商業(yè)化，比如說用于支持PS5的控制器。我們依然在屏息等待下一代PSVR的發(fā)布，但顯然，我們確實希望索尼能夠拋棄原有的PS Move+PS Camera的光學組合。

關鍵詞： 索尼