tks_yoshinagaの日記

KinectやLeap motion, VRやARなどの技術を使ってやったことのメモとか

Zapparで簡単AR: ARブラウザを使ってみよう

ZapparとはイギリスのZappar Limitedが提供している無償のARブラウザです。
ARブラウザとは、webブラウザとサイトとの関係と同じように、世界中の制作者が公開したARコンテンツを1つのアプリ(ブラウザ)で実行するというもので、ARコンテンツ毎にアプリをインストールする必要がないのが特徴です。

これを利用するため、まずはスマホタブレットにZapparをインストールしましょう。iPadiPhone,iPod touchを利用している方はApp Storeで、Androidを使用している方はGoogle Playzapparと検索すれば見つけることができます。

続きを読む

Kodak PIXPRO SP360の画像をgoogle cardboardで見る

Kodak PIXPRO sp360とは1ショットでレンズを中心とした全方位の画像を撮影できる非常に面白いカメラです。

PIXPRO - マスプロ電工|MASPRO

撮影した動画や静止画は、PCやスマホタブレットで閲覧したり加工してYouTubeの360度コンテンツとしてシェアしたりして楽しむことができます。

続きを読む

Intel Real Sense用サンプル for C# Formアプリケーション

1.はじめに

 小型のRGB-Dセンサとして昨今話題のIntel Real Sense、サンプルも豊富で色々と遊べるのですが、自分でプログラムを書こうとするとサンプルもリファレンスも初学者には少々分かりにくい印象を受けました。そこで今回、カラー画像とdepth画像を取得して表示するというだけの簡単なサンプルをC#用に作成しました。

 内輪向けに作成したものですが、誰かの参考になればと思ったので公開します。今回は開発手順に従って説明をするため多少回りくどくなるかもしれません。まずコード全体を見たいという方はこちらからソースをダウンロードしてください。
 なお、本記事ではプロジェクトへのライブラリの追加等は完了しているものとして話を進めます。ライブラリの設定等については、公式ドキュメント(Intel® RealSense™ SDK Documentation)のConfiguring C# Development Environmentを参考にしてください。

続きを読む

Kinectを用いた実物体と仮想物体のインタラクション

 ARやVR空間に表示された仮想物体実物体が何かしらの相互作用ができたら面白いのではないかと思い、ちょっとしたコンテンツを試作しました。わりと簡便な方法で実現できるのでメモ程度にざっくりとした手順を残しておきます。

1.開発環境
 今回の試作では以下のセンサやライブラリを使用しました。

 ・開発言語:C#
 ・グラフィクス:OpenGL (OpenTK使用)
 ・センサ:Kinect for Windows
 ・画像処理:OpenCVSharp

続きを読む

【再掲】 LeapMotionを使ってAR(Augmented Reality)やその他諸々をやってみた

ARに関するAdvent Calendar用の内容としてはちょうど良さそうなので昨年書いた記事を再掲。
LEAP motionを用いたARシステムを作る上での参考になれば幸いです。

以下、本文

2013年7月にLeapMotionが手元に届き、一通り遊んでみたので振り返りもかねて紹介します。

まず、開発に用いた言語やライブラリは以下の通りです。

・開発言語:C#
・グラフィクス:OpenGL (OpenTK使用)
・カメラ画像取得:DirectShow.NET
・ARマーカの認識: NyARToolKit for C#
・物理演算:BulletSharp
・その他センサ:Kinect for Windows

続きを読む

HMDとARコンテンツ

 2014年は色々な種類のHMD(ヘッドマウントディスプレイ)が登場ましたが、多くの場合これとセットでAR(Augmented Reality)話題に挙がります。
そこで、各種HMDの特徴やARの見え方を紹介してみようかと思います。

1. inforod
 ウエストユニティスという国内メーカーから販売されたHMD。あの有名なgoogle glassと同様に片目側にディスプレイがありますが、inforod(下図左)の方がgoogle glass(右)よりも表示領域が小さいのが特徴です。
視界の片隅に情報が提示される様なイメージで、作業中に補助情報をチラ見するような用途が考えられます

 

続きを読む

Kinect for Windows v2とgoogle cardboardでVR空間を歩けるコンテンツを試作

先日、友人の宮地さんに手作りcardboardをいただいたので、これを利用したデモコンテンツを作ってみました。

cardboardとは、Google I/O 2014で配布されたダンボール製のHMDで、前面にスマートフォンを差込むだけで、3Dコンテンツを楽しむことができます。
このcardboardは設計図が公開されており、100円均一などで材料をそろえて同様の物を作ることが可能なため簡易HMDとも言われていますが、簡易版とは思えないほどの没入感を得ることができます。
また、没入体験を得られるHMDとして有名なOculus Riftと異なりPCとの接続ケーブルも不要で行動範囲が広いというメリットもあります。

そこでユーザーが自由に動いて遊べるコンテンツの一例としてKinect for windows v2で取得した点群(Point Cloud)データの中を歩きまわれるシステムを作ってみました。


Out-of-body experience with google cardboard and kinect v2 - YouTube

動画を見てわかるようにユーザーの位置に追従して視点が変化していますが、この時のユーザーの位置の取得もKinectの骨格追跡機能を用いて行っています。

また、このコンテンツではスマホの画面をタップした瞬間の空間データを使用しているため、「ついさっき」の様子を客観的に見るという少々不思議な体験をすることができます。

今後、色々なところでデモをしていきたいと思いますので、興味のある方はお声掛けください。