tks_yoshinagaの日記

KinectやLeap motion, VRやARなどの技術を使ってやったことのメモとか

HoloKitとGoogleTangoで手軽に光学シースルーAR

手軽に光学シースルーARが実現できるHoloKitを入手したのでレポート。
光学シースルーARというのはカメラで撮影した風景映像にCGを重ねるのではなく、HoloLensのように目で見ている風景の上にCGのみが重畳される方式のARです。
それをGoogleTangoやARKitに対応したスマートフォンと、段ボール製のヘッドセットで実現できてしまうのがHoloKitです。

1.体験

外観は大きめのハコスコといったところ。上部に挿入したスマートフォンの画面に表示された3Dコンテンツが鏡やハーフミラーで反射してユーザーの目に到達する仕組みになっています。

f:id:tks_yoshinaga:20170817172126j:plain

さらにTangoやARKitは端末の位置や向きをリアルタイムに推定することができるのでHoloKitを装着したまま動き回ることで色々な位置・角度でCGを観察することができます(動画参照)。

続きを読む

筋電とHoloLensを組み合わせたARシューティング

数年前に手の位置と筋電を使ったARシューティングシステムを開発しました。
これは、Leap Motionで取得した指の先端位置を画面上の照準の位置に反映させ、筋電センサ(EMG:Electromyography)で手をギュッと握ったときを検出して弾を撃ち、それをARで表示するというシステムです。

続きを読む

HoloLens: 開発ハンズオン資料一覧

これまでにARコンテンツ作成勉強会で開催したHoloLensハンズオンの資料をまとめました。HoloLensを用いた開発のチュートリアルとしてお役立てください。
 

1. GazeとTap&Holdを用いたオブジェクトの移動

HoloToolkitのInputManagerを使用し、カーソルが当たっているオブジェクトを指でつまんで動かすまでをノンプログラミングで実現する方法について解説しています。

HoloLensハンズオン:Gaze,Tap And Hold編 


2. AirTapを使って目の前にオブジェクトを生成させる

AirTapを認識して利用者の手前にオブジェクトを生成し、下に落とします。SpatialMapping(空間認識)も行っているため、落下したオブジェクトは床やテーブルに衝突して止まります。

HoloLensハンズオン:AirTap & SpatialMapping編

続きを読む

Google TangoでMarker Detectionを使おう

1.はじめに

 GoogleのTangoという技術を搭載した端末が発売されたおかげで、HoloLensのようなマーカーの事前準備が不要なARを手軽に実現できるようになりました。ところがそれに慣れてくると、「CGの配置を自由に行いたい」「毎回同じ位置にCGを表示させたい」という欲も出てきます。前者についてはDepthデータと画面のタップの組み合わせを、後者についてはAreaLearningの機能を用いれば実現できますが、開発・利用ともに手間や工夫を必要とします。そこで今回はこれらをもっと手軽に実現しようということでTangoSDKで提供されているMarker Detection機能をご紹介します。
 この機能では正方形マーカーとCGの位置が対応づけられているため、例えば以下の動画のようにマーカーを実際に手で動かしてCGを移動できます。また、マーカーを置きっぱなしにすれば毎回同じ位置にCGを出現させることも可能です。さらに、マーカーが検出に失敗したときはTangoのトラッキング機能が使えるため、ARコンテンツの体験を継続することができます。

続きを読む

Microsoft MVP for Windows Developmentを受賞しました

f:id:tks_yoshinaga:20170702100059j:plain

 Microsoft MVP(Most Valuable Professional)アワードのWindows Development部門を受賞しました。下記サイトの表中にある、Windows Mixed Realityに関連した活動を認めていただけたようです。

MVP Award Update - Oct 2015


これを励みに今後もHoloLensやKinectはもちろん、Microsoft製品以外のAR/VRツールやモーションコントローラ、画像処理などの技術発信を続けていこうと思います。

もちろん、開発や技術的なご相談やAR/VRに関するハンズオン勉強会の開催なども今まで通り継続して行いますので気軽にお声がけください。

 

7/18追記:

MVP Award Kitも届きました。形のあるものがあると実感がわきますね。

f:id:tks_yoshinaga:20170718113725j:plain

 

 

Google TangoとKinectやHoloLensを組み合わせてみた

単体で手軽にマーカーレスARを楽しめるGoogle Tango対応端末ですが、他のデバイスと連携したらもっと楽しめそうだと思い、いくつか試してみたのでご紹介します。

1. Kinectとの組み合わせ

 以前、HoloLensの記事でも紹介しましたが、Kinectで取得した空間の3次元情報をリアルタイムに表示してStar WarsっぽくしてみようというシステムのTango版。こちらのデモでは事前に記録したデータを再生していますが、リアルタイムに取得したデータをTangoに渡すことも可能です。

参考:HoloLens版

続きを読む

Vuforia 6.2とUnityで開発の際にターゲット画像がSceneに表示されなかった場合の対処法

1.はじめに
VuforiaでARコンテンツを作成する際に、従来の手順でImageTargetにターゲット画像を適用してもその結果が視覚的に反映されず、白い板のままという問題が昨年末くらいから起きていました。

f:id:tks_yoshinaga:20170220162101j:plain

Vuforiaの公式サイト(Release Notes)で調べてみるとKnown Issuesのところに、「Unity 5.5(とVuforia 6.2)を使った場合はプレビューに表示されないから、表示したければ画像のセッティングのところでtypeをDefaultに、shapeを2Dに変更してね」とサラッと記載されていました。ただし、画像のデータがどこにあるのか等の具体的な方法は示されていなかったので、同じ問題に直面した人向けに設定を変える手順をまとめておきます。

f:id:tks_yoshinaga:20170220162605j:plain

続きを読む