tks_yoshinagaの日記

KinectやLeap motion, VRやARなどの技術を使ってやったことのメモとか

ARとマーカーレストラッキングを用いた超音波診断支援

超音波診断というのは超音波プローブという器具を手に持ち、体に押し当てるだけで臓器の断面や血流がビジュアル化される画像診断法で、その利便性によって様々な臓器の観察に用いられています。ところが撮像には臓器の位置や形状と撮像断面の位置関係を把握しながら撮像を行う必要があるためトレーニングが必要でした。
これを背景にこれまで、熟練医師が撮像したときの断面の位置・角度、現在操作しているプローブの断面の位置・角度をそれぞれAR技術で可視化するシステムを研究・開発し、撮像支援ツールとして有用なことを検証してきました[1, 2]。

 
しかし一方で、プローブの位置や角度の計測(トラッキング)にはARToolKitによるマーカー認識方式を採用していたためマーカーをプローブに取り付ける必要があり、操作性が低下するという問題が残っていました。
そこで、全く異なる画像処理手法を用いた物体追跡アルゴリズムを開発してプローブトラッキングに適用してみた結果、想定していたよりも快適に動作することを確認できました。今後はアルゴリズムを改良して精度や安定性を向上させたいと考えている最中です。

 また上記のシステムはいずれも位置が固定されたカメラの映像の上にCGを重ねていたため、撮像者の視点でこの情報を見ることもできませんでした。
そこでこの続きの取り組みとしてHoloLensにも対応させ、自分の視点で断面の位置を見ることを可能にしました。こちらのシステムについても引き続き機能を充実させていこうと思います。

 

 おまけ

ありがたいことに現時点での成果を国内外のブログでご紹介いただきました。

[国内]

九州先端科学技術研究所、超音波プローブの角度と位置を感知し内臓器官をARとして可視化するリアルタイム・マーカレストラッキング技術のデモ映像を公開 | Seamless

[海外]

If You've Ever Wanted X-Ray Vision, Check Out This Combination of Augmented Reality & Ultrasound | Next Reality/