tks_yoshinagaの日記

KinectやLeap motion, VRやARなどの技術を使ってやったことのメモとか

筋電とHoloLensを組み合わせたARシューティング

試作システム紹介

数年前に手の位置と筋電を使ったARシューティングシステムを開発しました。
これは、Leap Motionで取得した指の先端位置を画面上の照準の位置に反映させ、筋電センサ(EMG:Electromyography)で手をギュッと握ったときを検出して弾を撃ち、それをARで表示するというシステムです。

 今回は表示用デバイスをMicrosoft HoloLensに変更したものを試作しました。HoloLensは表示だけでなく空間内の自己位置推定も自動でやってくれるため、前述のシステムと違って部屋中を自由に動き回りながら遊べるようになりました。
さらに、トリガーも既存のHoloLensのAirTapではなく手に力が入った瞬間なので、より自然に撃てるようになった気がします。

 現状は手の検出が少々不安定なので今後はその辺りを改善しようかなと考えています。もし良いアイデアや面白いネタがあればご提案頂けると有難いです。

追記：
エネルギーをためて撃てるようにしてみました