筋電とHoloLensを組み合わせたARシューティング

数年前に手の位置と筋電を使ったARシューティングシステムを開発しました。
これは、Leap Motionで取得した指の先端位置を画面上の照準の位置に反映させ、筋電センサ(EMG:Electromyography)で手をギュッと握ったときを検出して弾を撃ち、それをARで表示するというシステムです。

HoloLens: 開発ハンズオン資料一覧

これまでにARコンテンツ作成勉強会で開催したHoloLensハンズオンの資料をまとめました。HoloLensを用いた開発のチュートリアルとしてお役立てください。
 

1. GazeとTap&Holdを用いたオブジェクトの移動

HoloToolkitのInputManagerを使用し、カーソルが当たっているオブジェクトを指でつまんで動かすまでをノンプログラミングで実現する方法について解説しています。

HoloLensハンズオン：Gaze,Tap And Hold編 

2. AirTapを使って目の前にオブジェクトを生成させる

AirTapを認識して利用者の手前にオブジェクトを生成し、下に落とします。SpatialMapping(空間認識)も行っているため、落下したオブジェクトは床やテーブルに衝突して止まります。

HoloLensハンズオン：AirTap & SpatialMapping編

Google TangoでMarker Detectionを使おう

1.はじめに

　GoogleのTangoという技術を搭載した端末が発売されたおかげで、HoloLensのようなマーカーの事前準備が不要なARを手軽に実現できるようになりました。ところがそれに慣れてくると、「CGの配置を自由に行いたい」「毎回同じ位置にCGを表示させたい」という欲も出てきます。前者についてはDepthデータと画面のタップの組み合わせを、後者についてはAreaLearningの機能を用いれば実現できますが、開発・利用ともに手間や工夫を必要とします。そこで今回はこれらをもっと手軽に実現しようということでTangoSDKで提供されているMarker Detection機能をご紹介します。
　この機能では正方形マーカーとCGの位置が対応づけられているため、例えば以下の動画のようにマーカーを実際に手で動かしてCGを移動できます。また、マーカーを置きっぱなしにすれば毎回同じ位置にCGを出現させることも可能です。さらに、マーカーが検出に失敗したときはTangoのトラッキング機能が使えるため、ARコンテンツの体験を継続することができます。

Microsoft MVP for Windows Developmentを受賞しました

 Microsoft MVP(Most Valuable Professional)アワードのWindows Development部門を受賞しました。下記サイトの表中にある、Windows Mixed Realityに関連した活動を認めていただけたようです。

MVP Award Update - Oct 2015

これを励みに今後もHoloLensやKinectはもちろん、Microsoft製品以外のAR/VRツールやモーションコントローラ、画像処理などの技術発信を続けていこうと思います。

もちろん、開発や技術的なご相談やAR/VRに関するハンズオン勉強会の開催なども今まで通り継続して行いますので気軽にお声がけください。

7/18追記：

MVP Award Kitも届きました。形のあるものがあると実感がわきますね。

Google TangoとKinectやHoloLensを組み合わせてみた

単体で手軽にマーカーレスARを楽しめるGoogle Tango対応端末ですが、他のデバイスと連携したらもっと楽しめそうだと思い、いくつか試してみたのでご紹介します。

1. Kinectとの組み合わせ

　以前、HoloLensの記事でも紹介しましたが、Kinectで取得した空間の3次元情報をリアルタイムに表示してStar WarsっぽくしてみようというシステムのTango版。こちらのデモでは事前に記録したデータを再生していますが、リアルタイムに取得したデータをTangoに渡すことも可能です。

参考：HoloLens版

Vuforia 6.2とUnityで開発の際にターゲット画像がSceneに表示されなかった場合の対処法

1.はじめに
VuforiaでARコンテンツを作成する際に、従来の手順でImageTargetにターゲット画像を適用してもその結果が視覚的に反映されず、白い板のままという問題が昨年末くらいから起きていました。

Vuforiaの公式サイト(Release Notes)で調べてみるとKnown Issuesのところに、「Unity 5.5(とVuforia 6.2)を使った場合はプレビューに表示されないから、表示したければ画像のセッティングのところでtypeをDefaultに、shapeを2Dに変更してね」とサラッと記載されていました。ただし、画像のデータがどこにあるのか等の具体的な方法は示されていなかったので、同じ問題に直面した人向けに設定を変える手順をまとめておきます。

HoloLensとKinectやMyoを組み合わせてみた

単体でもかなり遊べるHoloLensですが、他のセンサデバイスとの連携したらもっと楽しめそうだと思い、いくつか試してみたのでご紹介します。

1. Kinectとの組み合わせ

Kinectで取得した空間の3次元情報(Point Cloud)をリアルタイムにHoloLensで表示してStar Warsっぽくしてみようというもの。KinectからのPoint Cloudを一旦PCで取得し、HoloLensに送っています。もちろん遠隔地へ送ることも可能。ちなみに自分の好みでシアンで表示していますがフルカラー表示もできます。

また、事前にPCに記録しておいたデータを呼び出して表示するということも可能なので、3次元的なビデオレターのような使い方もできそうです。