ARとマーカーレストラッキングを用いた超音波診断支援

超音波診断というのは超音波プローブという器具を手に持ち、体に押し当てるだけで臓器の断面や血流がビジュアル化される画像診断法で、その利便性によって様々な臓器の観察に用いられています。ところが撮像には臓器の位置や形状と撮像断面の位置関係を把握しながら撮像を行う必要があるためトレーニングが必要でした。
これを背景にこれまで、熟練医師が撮像したときの断面の位置・角度、現在操作しているプローブの断面の位置・角度をそれぞれAR技術で可視化するシステムを研究・開発し、撮像支援ツールとして有用なことを検証してきました[1, 2]。

マルチプラットフォーム対応を目指した空間共有xRシステムの試作

2016-2017年はHoloLensの他にもGoogle Tango, ARCore, ARKitなど様々なARプラットフォームが登場し、これまで以上にAR技術に触れる人が増えました。
特にHoloLensやTangoでは空間情報を共有して複数のユーザー(端末)間で同じオブジェクトを閲覧・操作するようなコンテンツも容易に実現できる仕組みが提供されています。ところが、HoloLens⇔Tangoのように異なるプラットフォーム間では空間情報のフォーマットが異なるのでそのままでは空間共有はできませんでした。

これを解決するため、まず手始めに紙に印刷したマーカーを各デバイスで認識させ、マーカーを原点とした座標系に統一を行うことで空間のシェアを行いました。
下の動画はHoloLens 2台とTango 1台とで空間を共有している様子で、空間の同じ場所に表示されたCGを各端末で見ています。また一人のユーザーが透過領域の位置をずらすと他のユーザーにもその情報が反映されます。さらに、詳細はまた後日まとめますがVRヘッドセットとARデバイスとの空間共有機能も試作しました。

A-Frameで始めようお手軽WebAR (Tango/ARCore対応)

Webブラウザ上で動くVRを実現できることで今注目のA-Frameですが、他のライブラリと組み合わせることでマーカー認識を用いたARはもちろん、Google TangoやARCore等の次世代ARプラットフォーム対応のARも実現できます。
そこで今回はA-Frameを用いてTango/ARCore対応の下記コンテンツを作るまでの基本手順をご紹介します。

もし、A-Frameの使い方からマーカーベースAR、そしてTango/ARCore対応コンテンツの作成までを一通り体験したい方は下記のスライドの方をご覧ください。

ARコンテンツ作成勉強会資料

これまでのARコンテンツ作成勉強会でのハンズオン資料が増えてきたのでリンクをまとめておきます。 

1.スマホ対応AR

　はじめようARCore (基本機能編) 

　はじめようARCore (平面との相互作用と3Dお絵描き) 

　はじめようARCore(自己推定・平面検出・FaceTracking) ←new!

　UnityとVuforiaではじめるAR(Unity2018)

　VuforiaでつくるスマホAR+VRアプリ by早井さん 

　Webブラウザで簡単作成！スマホAR(Zappar編)

　使ってみようSmartAR 基礎から支援ツール活用まで

　ARCore/Tangoと簡易ヘッドセットHoloKitで光学シースルーAR 

2. Windows Mixed Reality (HoloLens, Immersive)

　HoloLensハンズオン：Gaze,Tap And Hold編

　HoloLensハンズオン：両手操作 vs Vuforia編

　HoloLensハンズオン：AirTap & SpatialMapping編

　HoloLensハンズオン：ハンドトラッキング&音声入力編

　A-Frameで始めるWindows Mixed Reality

Dropping Objects on the Horizontal Plane detected with ARCore.

1. Introduction

ARCore, AR platform for Android, was announced from Google at the end of August.
As written on the following site, ARCore can track position and orientation of smartphone without using marker detection, and can detect horizontal plane such as floor or table.

ARCore Overview  |  ARCore  |  Google Developers

SDK is very simple and also providing sample project which realize put objects in the favorite location of flat plane with screen tapping.

Choose Your Development Environment  |  ARCore  |  Google Developers

However, due to only one provided sample, in case of creating contents expressing falling object staying on the floor, some programming skill is required.
(as of 2017/9/19)

So this article introduces how to create AR content wich interacting horizontal plane and object with editing basic sample.

ARCoreで検出した水平面にオブジェクトを落とす

※情報が古くなっています。ARCore1.3以降をお使いの方はコチラをご覧ください。(2018/08/06)

1.はじめに

8月末にGoogleからAndroid用ARプラットフォームのARCoreが発表されました。
下記サイトにも書かれているようにARCoreによってマーカーを使わずに端末の位置・姿勢のトラッキングができたり、床やテーブルなどの水平面の検出ができたりします。

ARCore Overview  |  ARCore  |  Google Developers

またSDKも非常にシンプルで、提供されているサンプルを活用すれば画面をタップするだけで空間の好きな位置にオブジェクトを配置するアプリをすぐ実現できます。

Choose Your Development Environment  |  ARCore  |  Google Developers

ところが提供されているサンプルの数は1つのみのため、例えば落下したオブジェクトが床でとどまるような表現をするコンテンツを作る場合には、ある程度プログラムを書く必要ありますが情報が少ないのが現状です。(2017/9/19現在)

 という訳で今回は水平面とオブジェクトが相互作用するようなコンテンツの作り方を基本サンプルを編集する形で紹介します。

Windows Mixed Reality Headsetで自作コンテンツを動かす with A-Frame

1.はじめに

　前回の記事で紹介した、Unityを用いたWindows Mixed Reality Headset (以下WinMR)対応コンテンツの作り方に続き、今回はウェブブラウザ上でVRを実現できるWebVR対応ライブラリのA-Frameとの連携についてご紹介。既存サンプルを編集しWinMRで利用するまでの手順をまとめます。