tks_yoshinagaの日記

KinectやLeap motion, VRやARなどの技術を使ってやったことのメモとか

HoloLensハンズオン資料一覧

これまでにARコンテンツ作成勉強会で開催したHoloLensハンズオンの資料をまとめました。HoloLensを用いた開発を勉強したい方はお役立てください。
 

1. GazeとTap&Holdを用いたオブジェクトの移動

HoloToolkitのInputManagerを使用し、カーソルが当たっているオブジェクトを指でつまんで動かすまでの方法について解説しています。

HoloLensハンズオン:Gaze,Tap And Hold編 


2. AirTapを使って目の前にオブジェクトを生成させる

AirTapを認識して利用者の手前にオブジェクトを生成し、下に落とします。SpatialMapping(空間認識)も行っているため、落下したオブジェクトは床やテーブルに衝突して止まります。

HoloLensハンズオン:AirTap & SpatialMapping編

続きを読む

Google TangoとKinectやHoloLensを組み合わせてみた

単体で手軽にマーカーレスARを楽しめるGoogle Tango対応端末ですが、他のデバイスと連携したらもっと楽しめそうだと思い、いくつか試してみたのでご紹介します。

1. Kinectとの組み合わせ

 以前、HoloLensの記事でも紹介しましたが、Kinectで取得した空間の3次元情報をリアルタイムに表示してStar WarsっぽくしてみようというシステムのTango版。こちらのデモでは事前に記録したデータを再生していますが、リアルタイムに取得したデータをTangoに渡すことも可能です。

参考:HoloLens版

続きを読む

Vuforia 6.2とUnityで開発の際にターゲット画像がSceneに表示されなかった場合の対処法

1.はじめに
VuforiaでARコンテンツを作成する際に、従来の手順でImageTargetにターゲット画像を適用してもその結果が視覚的に反映されず、白い板のままという問題が昨年末くらいから起きていました。

f:id:tks_yoshinaga:20170220162101j:plain

Vuforiaの公式サイト(Release Notes)で調べてみるとKnown Issuesのところに、「Unity 5.5(とVuforia 6.2)を使った場合はプレビューに表示されないから、表示したければ画像のセッティングのところでtypeをDefaultに、shapeを2Dに変更してね」とサラッと記載されていました。ただし、画像のデータがどこにあるのか等の具体的な方法は示されていなかったので、同じ問題に直面した人向けに設定を変える手順をまとめておきます。

f:id:tks_yoshinaga:20170220162605j:plain

続きを読む

HoloLensとKinectやMyoを組み合わせてみた

単体でもかなり遊べるHoloLensですが、他のセンサデバイスとの連携したらもっと楽しめそうだと思い、いくつか試してみたのでご紹介します。

1. Kinectとの組み合わせ

Kinectで取得した空間の3次元情報(Point Cloud)をリアルタイムにHoloLensで表示してStar Warsっぽくしてみようというもの。KinectからのPoint Cloudを一旦PCで取得し、HoloLensに送っています。もちろん遠隔地へ送ることも可能。ちなみに自分の好みでシアンで表示していますがフルカラー表示もできます。


また、事前にPCに記録しておいたデータを呼び出して表示するということも可能なので、3次元的なビデオレターのような使い方もできそうです。

続きを読む

HoloLensハンズオン in 福岡

ARコンテンツ作成勉強会のテーマの一つとしてHoloLens対応コンテンツを作るハンズオンのvol.1とvol.2を2016年12月と2017年1月に開催したので、その時の様子と資料をまとめておきます。

1. Manipulation編

2016年12月に開催されたvol.1では、仮想物体にカーソルを合わせたあと手でつまんで移動させるコンテンツを作成しました。

 勉強会の参加者は1回あたり4人とし、1台のHoloLensをシェアしながら以下のような手順でコンテンツ開発の体験を行いました。

(1) HoloLensの使い方や特徴の紹介とARの体験
(2) Unityの使い方の基礎
(3) HoloToolKitを使ってGaze(注視)やManipulation(操作)を実現
(4) 実機にインストールして動作確認
(5) もくもくタイム:各自でコンテンツをアレンジして動作確認

 1台のHoloLensを使いまわしてのハンズオンが上手くいくか不安もありましたが、UnityとHoloToolkitのおかげでほぼPC内で動作チェックとコンテンツの作りこみができ、無事に全員がコンテンツを作成することができました。


【当日の様子】

続きを読む

THETA Sの全天球映像を複数のデバイスにリアルタイム配信

これまで同じLANの中にいるデバイスにTHETAの映像を配信するシステムを試作してきたが、外に配信できなければ利用範囲が限定されてしまうので、ネットにつながっている外部のデバイスへの配信をできるように改良。

動画中の、THETAの下のPCに表示されている映像は同一LANの中で受信したもので、左側のPCとスマホはそれぞれ異なるネットワークからアクセスした結果。同一LAN内のものと比べるとフレームレートは高くないが、とりあえず配信できることを確認。

また、 国外への配信の可否にも興味があったのでスウェーデンの友人にテストの協力をしてもらったところ、彼のスマホにリアルタイム映像が届いていることも確認。

f:id:tks_yoshinaga:20160129182238j:plain

細かいことを考えずに作ったのでどうしてもフレームレートが気になるけど、今後改良していけば結構使えそうな気がします。

関連記事

Unity5.3でVuforiaを使用する際の設定について for Windows

12月8日にUnity5.3がリリースされたので早速インストールし、試しにVuforiaを使ったARコンテンツの開発をしようとしたところ、下記のようなメッセージが表示されてカメラの映像が表示されませんでした。
[ Cannot use web cam, since the user has not authorized this! ]

f:id:tks_yoshinaga:20151220170652j:plain

調べてみたところUnity5.3でVuforiaを使用するには他にも設定をする必要があることがわかったので、インストール~設定までの手順をメモ。

続きを読む