tks_yoshinagaの日記

KinectやLeap motion, VRやARなどの技術を使ってやったことのメモとか

2021年に制作したXR作品

試作システム紹介

2021年にどの様なものを作ったか、本人もよく覚えていなかったので備忘録として1-10に分類して振り返り。

1. ARで新年の挨拶

毎年1/1にARを使って新年の挨拶をしているので、2021年は干支の牛をテーマに2D画面から3Dオブジェクトが溢れ出るコンテンツ。

 

2. Volumetric Video

以前から取り組み続けているVolumetric Video技術を活用したシステムの試作。

(1) Nreal Light(ARグラス)で見ているVolumetric VideoをiPadと共有
こちらのシステムはKBCのFノミライというTV番組で紹介されました。

 

(2)遠隔地の人とのコラボレーション
遠隔地の相手の姿を見て会話するだけでなくオブジェクトも共有可能。このシステムもNHKのロクいち福岡で紹介されました。

 

(3) VR環境をRGB-D画像としてキャプチャしてARデバイスに配信
スキャン対象を現実ではなくVR空間にした作品。

 

3. Voxon VX1

裸眼3DディスプレイのVoxon VX1を用いて幾つかの作品を開発。

(1) 水素様原子軌道の可視化

 

(2)事前に録画したVolumetric VideoをStar Wars風に表示

 

(3) リアルタイムにキャプチャしたVolumetric Videoの表示
データ送受信にはWebRTCを使用。このデモではiPadのLiDARを使っているが他のDepthカメラでも利用可能。

 

4. AR Echography (超音波診断支援AR)

自身の学術研究テーマとして学生の頃から継続している超音波診断支援システムに関する作品。

(1) マーカーレスプローブ位置計測とHoloLens 2による断面可視化
患者の体に断面の位置や画像をリアルタイムに重ねることで、何をどのように撮像しているかの理解を支援。

 

(2) Volumetric Videoを用いた撮像手技の記録と可視化
過去に行われた撮像を再生することで、診断に関する情報の共有や医学の教材として利用。

 

5. Holo-SDK

ヘッドトラッキングを用いた擬似3D表現をノンプログラミングで実現できるHolo-SDKを使った試作システム。

(1) AR Museum

この作品はSDK開発元主催のコンテストに応募し、最優秀賞を受賞しました！

 

(2) AR花火
Twitterで見つけた CreativeCoding花火大会 というハッシュタグに触発されて開発。

 

(3) HoloCat
新宿の大型スクリーンを使った3D猫に刺激を受けて開発。

 

6.  WebXR on HoloLens 2

HoloLens 2がWebXRに対応したことを受けてコンテンツを試作。

(1) ハンドトラッキングを使った空中お絵描き
手軽に実現できたのでAR Fukuokaのハンズオンで作り方を解説。(Link)

 

(2) WebXR版のVolumetric Video
QRを読むだけで送信アプリに接続して映像を受信。WebXRにより3Dテレビ電話をより簡便に利用できることを実感。

 

7. Nreal Light

Nreal Lightがハンドトラッキングをサポート開始したためシステムを試作。

(1) 体験の様子を第三者視点(iPadやNreal Light)で表示

(2) AR Shooter
Air Tapで弾を発射できるコンテンツ。AR Fukuokaのハンズオンでも解説。(Link)

 

(3) MRTK用プラグイン
Nreal LightのハンドトラッキングをMRTKで利用するためのサンプルを開発。

GitHubで公開中！近々改修予定。

 

8. HoloLens 2とタブレットの連携

前年に開発したHoloBoxの続きの作品。

(1) AR花火
iPad画面を指で触れた場所から花火が射出されるコンテンツ。夏休み中に夏らしさを出したくて開発。

 

(2) Movable HoloBox
HoloLensとの位置関係を用いた奥行き表現に加え、iPadとCGとのインタラクションを実現。

 

9. Research Mode of HoloLens 2

HoloLens 2のResearch Modeで取得したPoint Cloudを活用するシステムの試作。
サンプルには色をマッピングする機能がなかったので自作した。

(1)Room Scan
スキャナを手に持つことなくHoloLens 2を頭に装着するだけで3Dスキャンを実現。現状はボタンをしたタイミングでスキャンをしているが、次のバージョンではフルオートにしたい。

(2) サンプルアプリケーションの配布
One shot point cloudを移動・回転・拡大縮小できるアプリをGitHubで配布開始。

 

 

10. Web Contents with MediaPipe

Google MediaPipeを活用して、AIを使ったWebコンテンツをいくつか試作。Webブラウザで動作するので人に体験してもらうのがとても楽でよかった。

 

(1) AR Light Saber
Hand Tarackingを活用し、親指を立てたらライトセイバーが表示される様にした。

体験(Win/ Android)：https://ar-lightsaber4arfukuoka.glitch.me
体験(Safari for iOS/Mac )：https://ar-lightsaber4arfukuoka-m1ios.glitch.me

 

(2) Video Image Filter
Selfie Segmentationを使って人物と背景を分離し、人にエフェクトをかける作品。

 体験：https://selfie-seg-opencv2.glitch.me

 

(3) Background Blur and Auto-Framing
人を常に画面の中央に捉えつつ背景をぼかす作品。

体験(Safariを除く)：https://background-filter.glitch.me

 

まとめ

今年はお仕事でVolumetric Videoをやっているというのもあり関連する作品が多めでした。加えてHoloLens 2やNreal Lightの新しい機能を試すために色々とコンテンツを作りました。他にもVoxonのように珍しい機器や新しい開発ツールなどを利用する機会もたくさんあり、XRの趣味開発ネタには事欠かない1年でした。

2022年はこれまで触れてこなかった技術にもチャレンジして自分が作れるものを増やしていきたいなと思います。