tks_yoshinagaの日記

KinectやLeap motion, VRやARなどの技術を使ってやったことのメモとか

ChromeとARCoreでのWebARを試してみた

1. はじめに

Googleが提供するスマホ向け次世代ARプラットフォームのARCoreがウェブブラウザのChromeでも利用できるようになるとのことです。
ちなみにWebAR対応予定はChrome 69からなので、早ければ現行版のChrome 67の次の次のバージョンから利用できます。(2018/06/18現在)

しかしそんなに待っていられないという人には、試験運用版なら利用できますのでその手順をまとめておきます。(自己責任でお願いします)

続きを読む

Diagnostic Support of Echography/Sonography with Augmented Reality (AR) and Markerless Probe Tracking

 Echography(Ultrasonography) is a diagnostic imaging method to visualize a cross section of organ and bloodstream simply by holding an instrument called ultrasonic probe against a body. Thus, the method has been used for observing various organs due to its convenience. However, obtaining good echogram requires a training since it takes an image as grasping a positional location between a location/shape of organ and an image of cross section.

 In such a background, we have been conducting research & development for a system to visualize a location/angle of cross section at the time of image photography by a skilled doctor or a location/angle of cross section for a currently-operating probe by AR technology respectively, then also examined the usefulness as a support tool for image photography [1, 2].

続きを読む

ARとマーカーレストラッキングを用いた超音波診断支援

超音波診断というのは超音波プローブという器具を手に持ち、体に押し当てるだけで臓器の断面や血流がビジュアル化される画像診断法で、その利便性によって様々な臓器の観察に用いられています。ところが撮像には臓器の位置や形状と撮像断面の位置関係を把握しながら撮像を行う必要があるためトレーニングが必要でした。
これを背景にこれまで、熟練医師が撮像したときの断面の位置・角度、現在操作しているプローブの断面の位置・角度をそれぞれAR技術で可視化するシステムを研究・開発し、撮像支援ツールとして有用なことを検証してきました[1, 2]。

続きを読む

マルチプラットフォーム対応を目指した空間共有xRシステムの試作

2016-2017年はHoloLensの他にもGoogle Tango, ARCore, ARKitなど様々なARプラットフォームが登場し、これまで以上にAR技術に触れる人が増えました。
特にHoloLensやTangoでは空間情報を共有して複数のユーザー(端末)間で同じオブジェクトを閲覧・操作するようなコンテンツも容易に実現できる仕組みが提供されています。ところが、HoloLens⇔Tangoのように異なるプラットフォーム間では空間情報のフォーマットが異なるのでそのままでは空間共有はできませんでした。

これを解決するため、まず手始めに紙に印刷したマーカーを各デバイスで認識させ、マーカーを原点とした座標系に統一を行うことで空間のシェアを行いました。
下の動画はHoloLens 2台とTango 1台とで空間を共有している様子で、空間の同じ場所に表示されたCGを各端末で見ています。また一人のユーザーが透過領域の位置をずらすと他のユーザーにもその情報が反映されます。さらに、詳細はまた後日まとめますがVRヘッドセットとARデバイスとの空間共有機能も試作しました。

続きを読む

A-Frameで始めようお手軽WebAR (Tango/ARCore対応)

Webブラウザ上で動くVRを実現できることで今注目のA-Frameですが、他のライブラリと組み合わせることでマーカー認識を用いたARはもちろん、Google TangoやARCore等の次世代ARプラットフォーム対応のARも実現できます。
そこで今回はA-Frameを用いてTango/ARCore対応の下記コンテンツを作るまでの基本手順をご紹介します。

もし、A-Frameの使い方からマーカーベースAR、そしてTango/ARCore対応コンテンツの作成までを一通り体験したい方は下記のスライドの方をご覧ください。



続きを読む

ARコンテンツ作成勉強会資料

これまでのARコンテンツ作成勉強会でのハンズオン資料が増えてきたのでリンクをまとめておきます。 

1.スマホ対応AR

 はじめようARCore (基本機能編) 

 はじめようARCore (平面との相互作用と3Dお絵描き) 

 はじめようARCore(自己推定・平面検出・FaceTracking) ←new!

 UnityとVuforiaではじめるAR(Unity2018)

 VuforiaでつくるスマホAR+VRアプリ by早井さん 

 Webブラウザで簡単作成!スマホAR(Zappar編)

 使ってみようSmartAR 基礎から支援ツール活用まで

 ARCore/Tangoと簡易ヘッドセットHoloKitで光学シースルーAR 

 

2. Windows Mixed Reality (HoloLens, Immersive)

 HoloLensハンズオン:Gaze,Tap And Hold編

 HoloLensハンズオン:両手操作 vs Vuforia編

 HoloLensハンズオン:AirTap & SpatialMapping編

 HoloLensハンズオン:ハンドトラッキング&音声入力編

 A-Frameで始めるWindows Mixed Reality

続きを読む

Dropping Objects on the Horizontal Plane detected with ARCore.

1. Introduction

ARCore, AR platform for Android, was announced from Google at the end of August.
As written on the following site, ARCore can track position and orientation of smartphone without using marker detection, and can detect horizontal plane such as floor or table.

ARCore Overview  |  ARCore  |  Google Developers

f:id:tks_yoshinaga:20170919144234j:plain


SDK is very simple and also providing sample project which realize put objects in the favorite location of flat plane with screen tapping.

Choose Your Development Environment  |  ARCore  |  Google Developers

However, due to only one provided sample, in case of creating contents expressing falling object staying on the floor, some programming skill is required.
(as of 2017/9/19)

So this article introduces how to create AR content wich interacting horizontal plane and object with editing basic sample.

続きを読む