読者です 読者をやめる 読者になる 読者になる

tks_yoshinagaの日記

KinectやLeap motion, VRやARなどの技術を使ってやったことのメモとか

Vuforia 6.2とUnity 5.5の組み合わせでSecene画面内のターゲットに画像を表示させる

1.はじめに
VuforiaでARコンテンツを作成する際に、従来の手順でImageTargetにターゲット画像を適用してもその結果が視覚的に反映されず、白い板のままという問題が昨年末くらいから起きていました。

f:id:tks_yoshinaga:20170220162101j:plain

Vuforiaの公式サイト(Release Notes)で調べてみるとKnown Issuesのところに、「Unity 5.5(とVuforia 6.2)を使った場合はプレビューに表示されないから、表示したければ画像のセッティングのところでtypeをDefaultに、shapeを2Dに変更してね」とサラッと記載されていました。ただし、画像のデータがどこにあるのか等の具体的な方法は示されていなかったので、同じ問題に直面した人向けに設定を変える手順をまとめておきます。

f:id:tks_yoshinaga:20170220162605j:plain

続きを読む

HoloLensとKinectやMyoを組み合わせてみた

単体でもかなり遊べるHoloLensですが、他のセンサデバイスとの連携したらもっと楽しめそうだと思い、いくつか試してみたのでご紹介します。

1. Kinectとの組み合わせ

Kinectで取得した空間の3次元情報(Point Cloud)をリアルタイムにHoloLensで表示してStar Warsっぽくしてみようというもの。KinectからのPoint Cloudを一旦PCで取得し、HoloLensに送っています。もちろん遠隔地へ送ることも可能。ちなみに自分の好みでシアンで表示していますがフルカラー表示もできます。


また、事前にPCに記録しておいたデータを呼び出して表示するということも可能なので、3次元的なビデオレターのような使い方もできそうです。

 

 2.Myo Gesture Control Armbandとの組み合わせ。

HoloLensで認識可能なジェスチャの数に物足りなさを感じ、腕の筋肉の動きを計測できるウェアラブルバイス、Myoを併用してみました。このコンテンツでは、親指と中指をトントンと2回動かすと恐竜が走り出し、手を曲げると向きが変わります。また、HoloLensのSpatial Mappingによって空間がメッシュ化されているので、恐竜がテーブルの上を走ったり床に落ちたりします。

 上の動画ではわざとメッシュを表示させていますが、これを消すとさらに恐竜の存在感が増します。また実際は、Myoが筋肉の動きを認識できれば良いのでAirTapのようにわざわざ手を上げなくても入力可能です。ただ現状はHoloLensとの連携のために専用のプログラムを書いているので利用が面倒。今後、HoloLens対応の入力デバイスなんかが出てくると有難いところです。


おまけ. 鏡との組み合わせ

こちらはセンサデバイスとの連携ではないのですが、やってみたら意外と楽しかったので紹介。HoloLensの空間認識を鏡に向けて行うと、鏡の奥に部屋があると誤認識します。そこで、鏡の中からキャラクターが出てくるようなコンテンツを試作しました。なんとなくエンターテイメントで使えそうな気がします。(ネタ募集中!)


いずれもとりあえず試した程度ですが、他のセンサデバイスと連携することでHoloLensの用途はかなり広がりそうだと実感しました。今後もいろいろなデバイスと連携したコンテンツを試作していこうと思います。もし一緒に取り組んでくれる方がいれば是非、一緒に何かやりましょう。

 

 

HoloLensハンズオン in 福岡

ARコンテンツ作成勉強会のテーマの一つとしてHoloLens対応コンテンツを作るハンズオンのvol.1とvol.2を2016年12月と2017年1月に開催したので、その時の様子と資料をまとめておきます。

1. Manipulation編

2016年12月に開催されたvol.1では、仮想物体にカーソルを合わせたあと手でつまんで移動させるコンテンツを作成しました。

 勉強会の参加者は1回あたり4人とし、1台のHoloLensをシェアしながら以下のような手順でコンテンツ開発の体験を行いました。

(1) HoloLensの使い方や特徴の紹介とARの体験
(2) Unityの使い方の基礎
(3) HoloToolKitを使ってGaze(注視)やManipulation(操作)を実現
(4) 実機にインストールして動作確認
(5) もくもくタイム:各自でコンテンツをアレンジして動作確認

 1台のHoloLensを使いまわしてのハンズオンが上手くいくか不安もありましたが、UnityとHoloToolkitのおかげでほぼPC内で動作チェックとコンテンツの作りこみができ、無事に全員がコンテンツを作成することができました。


【当日の様子】

続きを読む

THETA Sの全天球映像を複数のデバイスにリアルタイム配信

これまで同じLANの中にいるデバイスにTHETAの映像を配信するシステムを試作してきたが、外に配信できなければ利用範囲が限定されてしまうので、ネットにつながっている外部のデバイスへの配信をできるように改良。

動画中の、THETAの下のPCに表示されている映像は同一LANの中で受信したもので、左側のPCとスマホはそれぞれ異なるネットワークからアクセスした結果。同一LAN内のものと比べるとフレームレートは高くないが、とりあえず配信できることを確認。

また、 国外への配信の可否にも興味があったのでスウェーデンの友人にテストの協力をしてもらったところ、彼のスマホにリアルタイム映像が届いていることも確認。

f:id:tks_yoshinaga:20160129182238j:plain

細かいことを考えずに作ったのでどうしてもフレームレートが気になるけど、今後改良していけば結構使えそうな気がします。

関連記事

Unity5.3でVuforiaを使用する際の設定について for Windows

12月8日にUnity5.3がリリースされたので早速インストールし、試しにVuforiaを使ったARコンテンツの開発をしようとしたところ、下記のようなメッセージが表示されてカメラの映像が表示されませんでした。
[ Cannot use web cam, since the user has not authorized this! ]

f:id:tks_yoshinaga:20151220170652j:plain

調べてみたところUnity5.3でVuforiaを使用するには他にも設定をする必要があることがわかったので、インストール~設定までの手順をメモ。

続きを読む

THETA Sと顔検出を組み合わせたユーザー追跡システムの試作

先日、THETA Sのストリーミング画像を好きな向きで見るシステムを作ったので、今回はそこで作成した球体への動画貼り付けプログラムを活用し、撮影されたユーザー1名が常に視界の中央に表示されるシステムを試作しました。

続きを読む

RICOH THETA SのストリーミングをGoogle Cardboardで閲覧するシステムの試作

これまでコダックのPIXPRO SP360のストリーミング画像をスマホで表示するシステムを開発してきましたが、10月23日に発売されたRICOH THETA Sが届いたので早速乗り換えてみました。

続きを読む