tks_yoshinagaの日記

KinectやLeap motion, VRやARなどの技術を使ってやったことのメモとか

Google TangoでMarker Detectionを使おう

1.はじめに

 GoogleのTangoという技術を搭載した端末が発売されたおかげで、HoloLensのようなマーカーの事前準備が不要なARを手軽に実現できるようになりました。ところがそれに慣れてくると、「CGの配置を自由に行いたい」「毎回同じ位置にCGを表示させたい」という欲も出てきます。前者についてはDepthデータと画面のタップの組み合わせを、後者についてはAreaLearningの機能を用いれば実現できますが、開発・利用ともに手間や工夫を必要とします。そこで今回はこれらをもっと手軽に実現しようということでTangoSDKで提供されているMarker Detection機能をご紹介します。
 この機能では正方形マーカーとCGの位置が対応づけられているため、例えば以下の動画のようにマーカーを実際に手で動かしてCGを移動できます。また、マーカーを置きっぱなしにすれば毎回同じ位置にCGを出現させることも可能です。さらに、マーカーが検出に失敗したときはTangoのトラッキング機能が使えるため、ARコンテンツの体験を継続することができます。

続きを読む

Microsoft MVP for Windows Developmentを受賞しました

f:id:tks_yoshinaga:20170702100059j:plain

 Microsoft MVP(Most Valuable Professional)アワードのWindows Development部門を受賞しました。下記サイトの表中にある、Windows Mixed Realityに関連した活動を認めていただけたようです。

MVP Award Update - Oct 2015


これを励みに今後もHoloLensやKinectはもちろん、Microsoft製品以外のAR/VRツールやモーションコントローラ、画像処理などの技術発信を続けていこうと思います。

もちろん、開発や技術的なご相談やAR/VRに関するハンズオン勉強会の開催なども今まで通り継続して行いますので気軽にお声がけください。

 

7/18追記:

MVP Award Kitも届きました。形のあるものがあると実感がわきますね。

f:id:tks_yoshinaga:20170718113725j:plain

 

 

Google TangoとKinectやHoloLensを組み合わせてみた

単体で手軽にマーカーレスARを楽しめるGoogle Tango対応端末ですが、他のデバイスと連携したらもっと楽しめそうだと思い、いくつか試してみたのでご紹介します。

1. Kinectとの組み合わせ

 以前、HoloLensの記事でも紹介しましたが、Kinectで取得した空間の3次元情報をリアルタイムに表示してStar WarsっぽくしてみようというシステムのTango版。こちらのデモでは事前に記録したデータを再生していますが、リアルタイムに取得したデータをTangoに渡すことも可能です。

参考:HoloLens版

続きを読む

Vuforia 6.2とUnityで開発の際にターゲット画像がSceneに表示されなかった場合の対処法

1.はじめに
VuforiaでARコンテンツを作成する際に、従来の手順でImageTargetにターゲット画像を適用してもその結果が視覚的に反映されず、白い板のままという問題が昨年末くらいから起きていました。

f:id:tks_yoshinaga:20170220162101j:plain

Vuforiaの公式サイト(Release Notes)で調べてみるとKnown Issuesのところに、「Unity 5.5(とVuforia 6.2)を使った場合はプレビューに表示されないから、表示したければ画像のセッティングのところでtypeをDefaultに、shapeを2Dに変更してね」とサラッと記載されていました。ただし、画像のデータがどこにあるのか等の具体的な方法は示されていなかったので、同じ問題に直面した人向けに設定を変える手順をまとめておきます。

f:id:tks_yoshinaga:20170220162605j:plain

続きを読む

HoloLensとKinectやMyoを組み合わせてみた

単体でもかなり遊べるHoloLensですが、他のセンサデバイスとの連携したらもっと楽しめそうだと思い、いくつか試してみたのでご紹介します。

1. Kinectとの組み合わせ

Kinectで取得した空間の3次元情報(Point Cloud)をリアルタイムにHoloLensで表示してStar Warsっぽくしてみようというもの。KinectからのPoint Cloudを一旦PCで取得し、HoloLensに送っています。もちろん遠隔地へ送ることも可能。ちなみに自分の好みでシアンで表示していますがフルカラー表示もできます。


また、事前にPCに記録しておいたデータを呼び出して表示するということも可能なので、3次元的なビデオレターのような使い方もできそうです。

続きを読む

HoloLensハンズオン in 福岡

ARコンテンツ作成勉強会のテーマの一つとしてHoloLens対応コンテンツを作るハンズオンのvol.1とvol.2を2016年12月と2017年1月に開催したので、その時の様子と資料をまとめておきます。

1. Manipulation編

2016年12月に開催されたvol.1では、仮想物体にカーソルを合わせたあと手でつまんで移動させるコンテンツを作成しました。

 勉強会の参加者は1回あたり4人とし、1台のHoloLensをシェアしながら以下のような手順でコンテンツ開発の体験を行いました。

(1) HoloLensの使い方や特徴の紹介とARの体験
(2) Unityの使い方の基礎
(3) HoloToolKitを使ってGaze(注視)やManipulation(操作)を実現
(4) 実機にインストールして動作確認
(5) もくもくタイム:各自でコンテンツをアレンジして動作確認

 1台のHoloLensを使いまわしてのハンズオンが上手くいくか不安もありましたが、UnityとHoloToolkitのおかげでほぼPC内で動作チェックとコンテンツの作りこみができ、無事に全員がコンテンツを作成することができました。


【当日の様子】

続きを読む

THETA Sの全天球映像を複数のデバイスにリアルタイム配信

これまで同じLANの中にいるデバイスにTHETAの映像を配信するシステムを試作してきたが、外に配信できなければ利用範囲が限定されてしまうので、ネットにつながっている外部のデバイスへの配信をできるように改良。

動画中の、THETAの下のPCに表示されている映像は同一LANの中で受信したもので、左側のPCとスマホはそれぞれ異なるネットワークからアクセスした結果。同一LAN内のものと比べるとフレームレートは高くないが、とりあえず配信できることを確認。

また、 国外への配信の可否にも興味があったのでスウェーデンの友人にテストの協力をしてもらったところ、彼のスマホにリアルタイム映像が届いていることも確認。

f:id:tks_yoshinaga:20160129182238j:plain

細かいことを考えずに作ったのでどうしてもフレームレートが気になるけど、今後改良していけば結構使えそうな気がします。

関連記事