先日、THETA Sのストリーミング画像を好きな向きで見るシステムを作ったので、今回はそこで作成した球体への動画貼り付けプログラムを活用し、撮影されたユーザー1名が常に視界の中央に表示されるシステムを試作しました。
このシステムではユーザーの位置を把握するため、まずは画像処理による顔検出を行いました。続いて認識結果から顔の中心座標を取得し、視界の中心からどれだけ離れているかを算出し、その距離をキャンセルするように画像を貼り付けた球体の向きを変化させました。
動画を見てわかるように顔が中央に来るように視点(球体の向き)が変わります。また、ユーザーを見失うと視界の周辺に顔がないかを探し始めます。今後はこの技術を使って何か楽しいコンテンツを作っていきたいと考えています。
最後に・・・
今回の試作でTHETA画像のリアルタイム表示と画像処理が連携できることがわかりましたが、実は顔検出がまだまだ不安定なのが現状です。
今後この問題を解決できたら、実際の開発手順などについても記事にして紹介しようと思います。
