1. イントロ
2022-2023 Microsoft MVP for Windows Development(活動領域: Windows Mixed Reality)を受賞しました。
これで6度目の受賞となりますが、ARを中心としたMRに関する研究・開発やコミュニティ活動を評価してもらえた結果であり、関係者や勉強会参加者の皆さんには大変感謝しています。
とりあえず区切りとして、本記事では2021年4月-2022年3月の活動を振り返ってみようと思います。
2.自発的な発信活動
2.1 研究でのMR技術の活用
研究としてはARの医療応用やVolumetric Video技術について取り組み、その成果をデモ等で共有したり論文として残したりしました。
[放射線医療 x AR]
放射線の発生源からの距離に応じた被曝量をARで可視化する研究を九州大学と取り組みました。この仕組みをWebARにも対応させ教育で活用した結果が論文として採択されました。
[超音波医療 x AR]
学生の頃からの自身の研究ネタとして超音波診断をARで支援する研究を行いました。
モーションキャプチャを用いて撮像技術を記録して再現する研究をこれまで行ってきましたが今回はその手法としてVolumetric Videoを活用してみました。(2つ目の動画)
[Volumetric Video]
Volumetric Videoを用いた遠隔コミュニケーションシステムの開発を個人としても仕事としても行いました。またコミュニケーションの質について九州大学と検証を行いその成果を論文として発表しました。
2.2 趣味開発
趣味でもサンプルアプリやサンプルコードを公開しました。
[NrealLight用MRTKプラグイン]
Nreal Lightがついにハンドトラッキングに対応したので、MRTKでこの機能を活用するためのプラグインを開発し、オープンソースで公開しました。
[HoloLens Research Modeでの点群取得]
HoloLens2のリサーチモードでDepthセンサで計測した点群にアクセスできることは知られていましたが、カラー画像のマッピングについては実現されていなかったので、個人の興味として試作。他の人でも体験できるようにアプリとして公開しました。
[AR花火]
完全に趣味としてiPadとHoloLens2との相互作用みたいなコンテンツを作って遊んでいました。
2.3 ハンズオンイベント開催
この一年もコロナ感染防止のためオンラインでのハンズオン開催がほとんどでした。実施するにあたり環境を整えやすいWebベースのツールだけで実現できる楽しいこと模索した結果、AIライブラリのmediapipeを使った以下のネタを思いついたのでハンズオンにしてみました。
[Selfie SegmentationとOpenCVを使ったカメラフィルタ]
Zoomなどでよく使われているバーチャル背景を実現するための土台となる人間と背景の分離をするSelfie Segmentationのハンズオン。バーチャル背景だけでなくOpenCVを使ったフィルタ処理により写っている人を漫画チックにしています。
体験：https://selfie-seg-opencv2.glitch.me
このネタは数年前にKinectを使って実施したハンズオンのWeb版。手の位置や角度にライトセイバーを追従させるだけでなく親指の立ち具合に応じて大きさを制御するコンテンツです。ハンズオンを通して手の角度の扱い方やOpenCVの画像処理以外の使い方についても解説しました。
体験(Win/Android)：https://ar-lightsaber4arfukuoka.glitch.me
体験(Safari for iOS/Mac)：https://ar-lightsaber4arfukuoka-m1ios.glitch.me
スマホやHMD対応のWebAR/VR開発ツールについてもいくつか紹介しました。
[WorldCAST]
Webブラウザ上で動作するエディタを使い、表示したいオブジェクトをマウス操作で配置するだけ。プログラミングすることなく手軽にARコンテンツを作れるツールです。
その手軽さから勉強会後に各自でコンテンツを作ったという人が開発者以外の方も結構いたのが印象的でした。
[ZapWorks]
こちらは昔からARブラウザなどを提供していたZappar社のWebAR開発ツール。jsの各種3Dライブラリやフレームワークに対応しているだけでなくUnityにも対応しているのが特徴。
マーカー上にオブジェクトを表示するだけならノンプログラミングで開発できますし、通常のUnity開発と同様にC#でスクリプトを記述すればインタラクティブなコンテンツも作れます。
[A-Frame]
AR Fukuokaではお馴染みのA-Frame。今年はHoloLens2がWebXRに対応し、さらにハンドトラッキングも利用できるということから、HoloLens2/Quest対応のハンドトラッキングコンテンツのハンズオンを開催しました。
こちらのハンズオンは応募者多数だったため再開催もしました。
また11月にはコロナが少し落ち着いてきたこともあり、エンジニアカフェを会場に久しぶりにオフラインのハンズオンを開催しました。とはいえ大人数で集まるわけには行かないのでオフライン/オンラインの両方で実施。
さらにこの回ではDoMCNのじゅんさんとさって〜さんにご協力いただだき北海道にオフライン会場を設けて現地の人たちにもご参加いただきました。このオンライン/オフラインのいいとこどりの試みは今後もやりたいなと思っています。(協力コミュニティ大歓迎！)
今やXR開発ツールのスタンダード、Unityのハンズオンも開催しました。
[Holo-SDK]
Web x AIネタでも紹介したヘッドトラッキングを用いた擬似3D表現と同様のことが実現できるUnity用のSDK、Holo-SDKのハンズオン。こちらは一切プログラムを書くことなくUnity Editor上で操作するだけで簡単にコンテンツを作れます。さらこのSDKは設定を変更するだけでアナグリフ眼鏡や3Dプロジェクタにも対応できる優れもの。無料版はアプリ実行時間に制限がありますがSDK開発元のご好意で勉強会参加者には一年有効な有料ライセンスをもらえました。
[Nreal Light]
軽量ARグラスのNreal Lightがこの夏、ついにハンドトラッキング対応となったためハンズオンを開催。ピンチ操作、HoloLensでいうところのAirTapをすると弾を発射できるコンテンツを作りました。
元々はオフラインで開催予定でしたがコロナ感染者が爆発的に増えたことを受け、急遽オンライン開催。Unity Editorである程度の動作確認ができるおかげで実機を所有していないNreal貸し出し枠に登録していた方にも楽しんでもらえました。
2.3 体験会の開催
各種HMDや裸眼立体ディスプレイの体験会を実施。
[Voxon VX1]
日本では珍しい裸眼立体ディスプレイのVoxon VX1の体験会を実施しました。この装置の特徴としてはどの方位からでも3Dオブジェクトを観察できる点が挙げられ、前面からしか観察できないLooking Glassとは少々異なる体験ができます。興味がある方がいればまた体験会を開催したいと思っているのでぜひご相談ください。またこのイベントの開催にあたりhand anythingさんに会場を提供いただきました。機材が重たいので近所で開催できてとても有難かったです。
[高校生向けXR体験会]
AR Fukuoka繋がりのとある会社さんからリクエストがあり新しい技術に興味のある高校生を対象とした体験会を実施しました。
当日はQuestを使ったVRやHoloLensやNreal Lightを使ったARを体験してもらいました。
2.4 LT会の開催
開発するでけではなく色々な人の話を聞いてみようということでLT会も開催しました。
[xTechゆるっとLT]
一昨年から始めたコミュニティ交流イベント。普段参加しているコミュニティとは別の属性の人たちの話や技術に触れることで刺激を受けたり知識の幅を広げたりすることを目的に開催。この一年は清家さんや赤瀬さん等を中心に活動しているFukuoka.php、エンジニアカフェに集まるMaker'sな方々と一緒にLT会を実施しました。
狙い通り知らない話をいっぱい聞けて主催者としては満足です。2023年も継続したいと思っているので、一緒にLTしてくれるコミュニティや、コロナの影響で活動が止まっているけどそろそろ何かやりたいコミュニティの方々はぜひご連絡ください。
[暑気払い&忘年会LT]
こちらは毎年恒例のイベント。ただしコロナの影響でオンライン開催。AR Fukuokaのハンズオンにいつも参加している方の取り組みを聞けて非常に刺激になりました。また、これをきっかけに知り合えた方もいて今後イベントを通じてコラボできればなーと考えています。
3. 他コミュニティのイベント登壇
コミュニティ繋がりのイベントにも登壇させていただきました。
[Engineer Day]
福岡の各種コミュニティが集まって活動内容などを発表するイベント。AR Fukuokaの活動と開発を続けていたHoloBoxについてお話をしました。
[Hacktivation]
いつもお世話になっているエンジニアカフェ主催のイベント。エンジニア x街というテーマを色々な切り口で掘り下げるイベントの中でエンジニアコミュニティ主催者としてAR Fukuokaを通じて感じたことや起きた出来事などを紹介しました。
[DevRel/Japan CONFERENCE 2021]
各種技術領域のエバンジェリストなどによるトークイベント。DoMCNのじゅんさんのお誘いでxR枠の登壇者のうちの1人として参加しました。
4. まとめ
1年を通じて開発(スキルアップ)と発信(体験機会の提供)の両面で活動をしてきました。
特に勉強会活動ではコロナの影響を受け、集まることが難しい環境ではありましたがハンズオンや技術解説を中心に多数のイベントを開催することができました。また他のコミュニティでの登壇などの機会に恵まれとても楽しい一年になりました。この勢いでこれからの一年も、楽しめること(特に自分が楽しめること)を企画して取り組んでいきます。
