tks_yoshinagaの日記

KinectやLeap motion, VRやARなどの技術を使ってやったことのメモとか

Diagnostic Support of Echography with Augmented Reality (AR) and Markerless Probe Tracking

 Echography(Ultrasonography) is a diagnostic imaging method to visualize a cross section of organ and bloodstream simply by holding an instrument called ultrasonic probe against a body. Thus, the method has been used for observing various organs due to its convenience. However, obtaining good echogram requires a training since it takes an image as grasping a positional location between a location/shape of organ and an image of cross section.

 In such a background, we have been conducting research & development for a system to visualize a location/angle of cross section at the time of image photography by a skilled doctor or a location/angle of cross section for a currently-operating probe by AR technology respectively, then also examined the usefulness as a support tool for image photography [1, 2].

続きを読む

ARとマーカーレストラッキングを用いた超音波診断支援

超音波診断というのは超音波プローブという器具を手に持ち、体に押し当てるだけで臓器の断面や血流がビジュアル化される画像診断法で、その利便性によって様々な臓器の観察に用いられています。ところが撮像には臓器の位置や形状と撮像断面の位置関係を把握しながら撮像を行う必要があるためトレーニングが必要でした。
これを背景にこれまで、熟練医師が撮像したときの断面の位置・角度、現在操作しているプローブの断面の位置・角度をそれぞれAR技術で可視化するシステムを研究・開発し、撮像支援ツールとして有用なことを検証してきました[1, 2]。

続きを読む

マルチプラットフォーム対応を目指した空間共有xRシステムの試作

2016-2017年はHoloLensの他にもGoogle Tango, ARCore, ARKitなど様々なARプラットフォームが登場し、これまで以上にAR技術に触れる人が増えました。
特にHoloLensやTangoでは空間情報を共有して複数のユーザー(端末)間で同じオブジェクトを閲覧・操作するようなコンテンツも容易に実現できる仕組みが提供されています。ところが、HoloLens⇔Tangoのように異なるプラットフォーム間では空間情報のフォーマットが異なるのでそのままでは空間共有はできませんでした。

これを解決するため、まず手始めに紙に印刷したマーカーを各デバイスで認識させ、マーカーを原点とした座標系に統一を行うことで空間のシェアを行いました。
下の動画はHoloLens 2台とTango 1台とで空間を共有している様子で、空間の同じ場所に表示されたCGを各端末で見ています。また一人のユーザーが透過領域の位置をずらすと他のユーザーにもその情報が反映されます。さらに、詳細はまた後日まとめますがVRヘッドセットとARデバイスとの空間共有機能も試作しました。

続きを読む

A-Frameで始めようお手軽WebAR (Tango/ARCore対応)

Webブラウザ上で動くVRを実現できることで今注目のA-Frameですが、他のライブラリと組み合わせることでマーカー認識を用いたARはもちろん、Google TangoやARCore等の次世代ARプラットフォーム対応のARも実現できます。
そこで今回はA-Frameを用いてTango/ARCore対応の下記コンテンツを作るまでの基本手順をご紹介します。

もし、A-Frameの使い方からマーカーベースAR、そしてTango/ARCore対応コンテンツの作成までを一通り体験したい方は下記のスライドの方をご覧ください。



続きを読む

ARコンテンツ作成勉強会資料

これまでのARコンテンツ作成勉強会でのハンズオン資料が増えてきたのでリンクをまとめておきます。 

1.スマホ対応AR

 UnityとVuforiaではじめるAR

 Webブラウザで簡単作成!スマホAR(Zappar編)

 使ってみようSmartAR 基礎から支援ツール活用まで

 ARCore/Tangoと簡易ヘッドセットHoloKitで光学シースルーAR 

2. Windows Mixed Reality (HoloLens, Immersive)

 HoloLensハンズオン:Gaze,Tap And Hold編

 HoloLensハンズオン:AirTap & SpatialMapping編

 HoloLensハンズオン:ハンドトラッキング&音声入力編

 A-Frameで始めるWindows Mixed Reality

続きを読む

Dropping Objects on the Horizontal Plane detected with ARCore.

1. Introduction

ARCore, AR platform for Android, was announced from Google at the end of August.
As written on the following site, ARCore can track position and orientation of smartphone without using marker detection, and can detect horizontal plane such as floor or table.

ARCore Overview  |  ARCore  |  Google Developers

f:id:tks_yoshinaga:20170919144234j:plain


SDK is very simple and also providing sample project which realize put objects in the favorite location of flat plane with screen tapping.

Choose Your Development Environment  |  ARCore  |  Google Developers

However, due to only one provided sample, in case of creating contents expressing falling object staying on the floor, some programming skill is required.
(as of 2017/9/19)

So this article introduces how to create AR content wich interacting horizontal plane and object with editing basic sample.

続きを読む

ARCoreで検出した水平面にオブジェクトを落とす

1.はじめに

8月末にGoogleからAndroid用ARプラットフォームのARCoreが発表されました。
下記サイトにも書かれているようにARCoreによってマーカーを使わずに端末の位置・姿勢のトラッキングができたり、床やテーブルなどの水平面の検出ができたりします。

ARCore Overview  |  ARCore  |  Google Developers

f:id:tks_yoshinaga:20170919144234j:plain

またSDKも非常にシンプルで、提供されているサンプルを活用すれば画面をタップするだけで空間の好きな位置にオブジェクトを配置するアプリをすぐ実現できます。

Choose Your Development Environment  |  ARCore  |  Google Developers

ところが提供されているサンプルの数は1つのみのため、例えば落下したオブジェクトが床でとどまるような表現をするコンテンツを作る場合には、ある程度プログラムを書く必要ありますが情報が少ないのが現状です。(2017/9/19現在)

 という訳で今回は水平面とオブジェクトが相互作用するようなコンテンツの作り方を基本サンプルを編集する形で紹介します。

続きを読む