tks_yoshinagaの日記

KinectやLeap motion, VRやARなどの技術を使ってやったことのメモとか

UnityではじめるLooking Glass

0.はじめに 裸眼で3Dコンテンツを楽しめるLooking Glassがついに手元に届きました。 関連記事:VRゴーグルつけずに3D表示:Looking Glass – 九州先端科学技術研究所 早速Unityで何か開発する際の手順をメモ(for Windows)。詳細は公式ページ(英語)にあります…

SC18で空間共有ARを展示中!

SCとは毎年アメリカで開催されるハイパフォーマンスコンピューティング(HPC)の国際会議です。今年はDallas(Texas, USA)で開催され、研究展示エリアのCG・可視化研究会(VR STUDY MEETING)ブースにてデモをしています。 今年の展示コンテンツは複数の端末で…

Magic Leap体験会を開催しました

今年の8月についに発売されたARデバイスのMagic Leapを入手できたため、ARコンテンツ作成勉強会主催で9月23日に動作検証を兼ねた体験会を開催しました。 Magic Leap One 2015年辺りからデモ動画が配信され始め、体育館の中でクジラが飛び出る動画で話題にな…

ARCore対応コンテンツ開発入門

はじめに 6・7月にARコンテンツ作成勉強会のネタとして福岡と宮崎でARCore対応コンテンツ開発入門のハンズオンを実施しました。当日使用した資料を公開していますので、本記事にまとめて掲載しておきます。これからARCoreをはじめてみたい方は是非ご活用くだ…

2018-2019 Microsoft MVPを受賞しました

2018-2019 Microsoft MVP for Windows Developmentを受賞しました。昨年に続き2回目の受賞です。この一年間のMRに関する研究・開発やコミュニティ活動を評価していただいた結果なのかなと思います。今回の再受賞を励みに、これからもMicrosoft関連技術はもち…

ChromeとARCoreでのWebARを試してみた

1. はじめに Googleが提供するスマホ向け次世代ARプラットフォームのARCoreがウェブブラウザのChromeでも利用できるようになるとのことです。ちなみにWebAR対応予定はChrome 69からなので、早ければ現行版のChrome 67の次の次のバージョンから利用できます。…

Diagnostic Support of Echography/Sonography with Augmented Reality (AR) and Markerless Probe Tracking

Echography(Ultrasonography) is a diagnostic imaging method to visualize a cross section of organ and bloodstream simply by holding an instrument called ultrasonic probe against a body. Thus, the method has been used for observing various o…

ARとマーカーレストラッキングを用いた超音波診断支援

超音波診断というのは超音波プローブという器具を手に持ち、体に押し当てるだけで臓器の断面や血流がビジュアル化される画像診断法で、その利便性によって様々な臓器の観察に用いられています。ところが撮像には臓器の位置や形状と撮像断面の位置関係を把握…

マルチプラットフォーム対応を目指した空間共有xRシステムの試作

2016-2017年はHoloLensの他にもGoogle Tango, ARCore, ARKitなど様々なARプラットフォームが登場し、これまで以上にAR技術に触れる人が増えました。特にHoloLensやTangoでは空間情報を共有して複数のユーザー(端末)間で同じオブジェクトを閲覧・操作するよう…

A-Frameで始めようお手軽WebAR (Tango/ARCore対応)

Webブラウザ上で動くVRを実現できることで今注目のA-Frameですが、他のライブラリと組み合わせることでマーカー認識を用いたARはもちろん、Google TangoやARCore等の次世代ARプラットフォーム対応のARも実現できます。そこで今回はA-Frameを用いてTango/ARCo…

ARコンテンツ作成勉強会資料

これまでのARコンテンツ作成勉強会でのハンズオン資料が増えてきたのでリンクをまとめておきます。 1.スマホ対応AR はじめようARCore (基本機能編) はじめようARCore (平面との相互作用と3Dお絵描き) はじめようARCore(自己推定・平面検出・FaceTracking) ←n…

Dropping Objects on the Horizontal Plane detected with ARCore.

1. Introduction ARCore, AR platform for Android, was announced from Google at the end of August.As written on the following site, ARCore can track position and orientation of smartphone without using marker detection, and can detect horizo…

ARCoreで検出した水平面にオブジェクトを落とす

※情報が古くなっています。ARCore1.3以降をお使いの方はコチラをご覧ください。(2018/08/06) 1.はじめに 8月末にGoogleからAndroid用ARプラットフォームのARCoreが発表されました。下記サイトにも書かれているようにARCoreによってマーカーを使わずに端末の…

Windows Mixed Reality Headsetで自作コンテンツを動かす with A-Frame

1.はじめに 前回の記事で紹介した、Unityを用いたWindows Mixed Reality Headset (以下WinMR)対応コンテンツの作り方に続き、今回はウェブブラウザ上でVRを実現できるWebVR対応ライブラリのA-Frameとの連携についてご紹介。既存サンプルを編集しWinMRで利用…

Windows Mixed Reality Headsetで自作コンテンツを動かす with Unity

1.はじめに Windows Mixed Reality(HP製) ヘッドセットが届いたので自作コンテンツを動かすまでの手順をまとめておきます。

HoloKitとGoogleTangoで手軽に光学シースルーAR

手軽に光学シースルーARが実現できるHoloKitを入手したのでレポート。光学シースルーARというのはカメラで撮影した風景映像にCGを重ねるのではなく、HoloLensのように目で見ている風景の上にCGのみが重畳される方式のARです。それをGoogleTangoやARKitに対応…

筋電とHoloLensを組み合わせたARシューティング

数年前に手の位置と筋電を使ったARシューティングシステムを開発しました。これは、Leap Motionで取得した指の先端位置を画面上の照準の位置に反映させ、筋電センサ(EMG:Electromyography)で手をギュッと握ったときを検出して弾を撃ち、それをARで表示すると…

HoloLens: 開発ハンズオン資料一覧

これまでにARコンテンツ作成勉強会で開催したHoloLensハンズオンの資料をまとめました。HoloLensを用いた開発のチュートリアルとしてお役立てください。 1. GazeとTap&Holdを用いたオブジェクトの移動 HoloToolkitのInputManagerを使用し、カーソルが当たっ…

Google TangoでMarker Detectionを使おう

1.はじめに GoogleのTangoという技術を搭載した端末が発売されたおかげで、HoloLensのようなマーカーの事前準備が不要なARを手軽に実現できるようになりました。ところがそれに慣れてくると、「CGの配置を自由に行いたい」「毎回同じ位置にCGを表示させたい…

Microsoft MVP for Windows Developmentを受賞しました

Microsoft MVP(Most Valuable Professional)アワードのWindows Development部門を受賞しました。下記サイトの表中にある、Windows Mixed Realityに関連した活動を認めていただけたようです。 MVP Award Update - Oct 2015 これを励みに今後もHoloLensやKinec…

Google TangoとKinectやHoloLensを組み合わせてみた

単体で手軽にマーカーレスARを楽しめるGoogle Tango対応端末ですが、他のデバイスと連携したらもっと楽しめそうだと思い、いくつか試してみたのでご紹介します。 1. Kinectとの組み合わせ 以前、HoloLensの記事でも紹介しましたが、Kinectで取得した空間の3…

Vuforia 6.2とUnityで開発の際にターゲット画像がSceneに表示されなかった場合の対処法

1.はじめにVuforiaでARコンテンツを作成する際に、従来の手順でImageTargetにターゲット画像を適用してもその結果が視覚的に反映されず、白い板のままという問題が昨年末くらいから起きていました。 Vuforiaの公式サイト(Release Notes)で調べてみるとKnown …

HoloLensとKinectやMyoを組み合わせてみた

単体でもかなり遊べるHoloLensですが、他のセンサデバイスとの連携したらもっと楽しめそうだと思い、いくつか試してみたのでご紹介します。 1. Kinectとの組み合わせ Kinectで取得した空間の3次元情報(Point Cloud)をリアルタイムにHoloLensで表示してStar W…

HoloLensハンズオン in 福岡

ARコンテンツ作成勉強会のテーマの一つとしてHoloLens対応コンテンツを作るハンズオンのvol.1とvol.2を2016年12月と2017年1月に開催したので、その時の様子と資料をまとめておきます。 1. Manipulation編 2016年12月に開催されたvol.1では、仮想物体にカーソ…

THETA Sの全天球映像を複数のデバイスにリアルタイム配信

これまで同じLANの中にいるデバイスにTHETAの映像を配信するシステムを試作してきたが、外に配信できなければ利用範囲が限定されてしまうので、ネットにつながっている外部のデバイスへの配信をできるように改良。 動画中の、THETAの下のPCに表示されている…

Unity5.3でVuforiaを使用する際の設定について for Windows

12月8日にUnity5.3がリリースされたので早速インストールし、試しにVuforiaを使ったARコンテンツの開発をしようとしたところ、下記のようなメッセージが表示されてカメラの映像が表示されませんでした。[ Cannot use web cam, since the user has not author…

THETA Sと顔検出を組み合わせたユーザー追跡システムの試作

先日、THETA Sのストリーミング画像を好きな向きで見るシステムを作ったので、今回はそこで作成した球体への動画貼り付けプログラムを活用し、撮影されたユーザー1名が常に視界の中央に表示されるシステムを試作しました。

RICOH THETA SのストリーミングをGoogle Cardboardで閲覧するシステムの試作

これまでコダックのPIXPRO SP360のストリーミング画像をスマホで表示するシステムを開発してきましたが、10月23日に発売されたRICOH THETA Sが届いたので早速乗り換えてみました。

Zapparで簡単AR: 動画表示コンテンツを作ってみよう

Zapparではマーカーとなる画像の上に写真やムービー、音声やボタンなど2Dのデータを重畳表示することが可能です。そしてこれらを用いたコンテンツの作成にはzapcode creatorというwebアプリを使用します。今回はZappar対応コンテンツ作成の第一歩として、以…

Zapparで簡単AR: アカウントを作成しよう

今回はZapparで表示するコンテンツを作成するのに必要なアカウントの作成手順について解説します。まずは登録サイトにアクセスしてfacebook,google,メールアドレスのいずれかと、パスワード、生年月日を登録し、[AGREE AND REGISTER]をクリックします。※本記…