tks_yoshinagaの日記

KinectやLeap motion, VRやARなどの技術を使ってやったことのメモとか

MRTKでNreal Lightのハンドトラッキング&インタラクションを使うProfileを公開しました

Nreal Lightの最新版のSDK(NRSDK 1.6.0)にて待ちに待ったハンドトラッキングがサポートされました。

 

公式サイトに記載されているように、このSDKだけでも手の開閉やピンチ動作、さらにVサインなどの簡単なジェスチャーを扱うことができます。これだけでも何か作って遊べそうなのでワクワクします。

ただ一方で、物をつかんで移動したり回転させたりといったインタラクションについては、残念ながら現状のSDKでは自前で記述する必要があります。
そこで、HoloLens開発などでおなじみのMRTKのハンドインタラクションをNreal Lightでも使えるようにするためのプロファイルを作成しました。

使い方は至って簡単でMRTKとNRSDKをプロジェクトに取り込み、HierarchyにNrealのカメラやMRTKに関するGameObject、さらに表示したいオブジェクトを追加。
そのあとにMixetRealityToolKitオブジェクトをクリックしてInspectorからNrealのプロファイルを選択。たったこれだけです(詳しくはサンプルを参照)。

最後に実機にインストールをすればHoloLensのような手を使ったインタラクションが実現できます。

開発する前にまず体験したいという方向けに、デモアプリのapkもGitHubで配布しています。ご興味があればぜひ一度お試しください。

また、このプロジェクトはまだ開発途中です。そのため利用者からのコメントやpull requestも大歓迎です。使いやすさ向上のためぜひご協力ください。