tks_yoshinagaの日記

KinectやLeap motion, VRやARなどの技術を使ってやったことのメモとか

AR × Kinect × 通信 → Holoportation!

試作システム紹介

今年はAzure Kinectが発売されてこともありPoint Cloudを用いたホログラム関連のネタを色々とやっていたので、振り返りを兼ねてまとめてみます。

1) まずはAzureKinectを使ってPoint Cloudを表示。C#+OpenGLで開発。

 2) Point Cloudをメッシュ化してリアルタイムにマーカーの上に表示

3) サーバーアプリを開発し、インターネットに接続されているARデバイスにホログラムを配信。まずはHoloLensで表示。

4) 1台のKinectだと撮影できない情報を補うため、複数のKinectの連携を試みた。各Kinectから得られるPoint Cloudを統合するため、Kinect間の自動位置合わせプログラムを独自に加発。開発環境はC++。

5) 複数Kinectで撮影した人物をネットワーク経由で配信しHoloLensで表示。Point Cloud配信のためのデータフォーマットを独自に定義。

6) 勢いに乗ってARCoreやOculusQuestに対応させて、様々なxRデバイスで動作することを確認。

6) 単一Kinectを使った配信システムをWebARにも対応させた。AFrameをメインにAR.jsや8thWallWebで動作を確認。

7) WebAR版ホログラムを複数Kinectに対応。ちょっとフレームレートが低いので通信周りを今後見直したい。

7) 録画機能を実装。さらにインターネットにつながっているデバイスに配信。

8) 誰もがホログラム配信を手軽にできるようにすることを目指し、YouTubeを使った配信の仕組みを試作。HoloLens, ARCore, Vuforiaに対応。

9) ホログラムを誰でも使えるようにするため、様々な国の方々に協力してもらいながら動作検証中。近々、配信キットのアルファ版を公開します。

  

10) 簡易ホログラム配信を自分でできるようにということでAR Fukuokaにて12月に受信・可視化アプリのハンズオンを、来年には配信側のアプリ開発のハンズオンを実施。

ARコンテンツ作成勉強会： Azure Kinectと簡易ホログラム配信システム(受信&AR可視化) | eventon（イベントン）

AR Fukuoka： Azure Kinectと簡易ホログラム配信システム(キャプチャ&送信編) | eventon（イベントン）

 

こんな感じでARでの可視化の他にも、ベースになる技術として複数Kinectの自動位置合わせ手法や配信のためのデータ記述の独自開発、さらにホログラム普及のための簡易版の開発などに取り組みました。
おかげで様々な知見がたまってきたので、これらのキーワードに関するご相談なども受けることができると思いますので気になる方は是非ご相談いただければと思います。