tks_yoshinagaの日記

KinectやLeap motion, VRやARなどの技術を使ってやったことのメモとか

試作システム紹介

PLATEAU Hack Challenge 2022 in Engineer Cafeに参加してきた

1.イントロ 都市3Dモデルプラットフォームのハッカソンが9/17-18、エンジニアカフェで開催されました。元々は運営メンバーとしての参加だったのですが急遽、開発側で参加させてもらうことになったので自分の視点からブログに残しておきます。 福岡の「@Engin…

2021年に制作したXR作品

2021年にどの様なものを作ったか、本人もよく覚えていなかったので備忘録として1-10に分類して振り返り。 1. ARで新年の挨拶 毎年1/1にARを使って新年の挨拶をしているので、2021年は干支の牛をテーマに2D画面から3Dオブジェクトが溢れ出るコンテンツ。 2. V…

HOLO-Hackathonのファイナリスト作品に選ばれました!

イギリスのPERCEPTION CODES LTD.が主催するHOLO-Hackathonでエントリーした作品がファイナリスト5作品のうちの1つに選ばれました! 現在、最優秀賞を決めるための投票をTwitterとFacebookで行っています。(~8/31) TwitterかFacebookのアカウントをお持ちの…

AR × Kinect × 通信 → Holoportation!

今年はAzure Kinectが発売されてこともありPoint Cloudを用いたホログラム関連のネタを色々とやっていたので、振り返りを兼ねてまとめてみます。 1) まずはAzureKinectを使ってPoint Cloudを表示。C#+OpenGLで開発。

ARとマーカーレストラッキングを用いた超音波診断支援

超音波診断というのは超音波プローブという器具を手に持ち、体に押し当てるだけで臓器の断面や血流がビジュアル化される画像診断法で、その利便性によって様々な臓器の観察に用いられています。ところが撮像には臓器の位置や形状と撮像断面の位置関係を把握…

マルチプラットフォーム対応を目指した空間共有xRシステムの試作

2016-2017年はHoloLensの他にもGoogle Tango, ARCore, ARKitなど様々なARプラットフォームが登場し、これまで以上にAR技術に触れる人が増えました。特にHoloLensやTangoでは空間情報を共有して複数のユーザー(端末)間で同じオブジェクトを閲覧・操作するよう…

筋電とHoloLensを組み合わせたARシューティング

数年前に手の位置と筋電を使ったARシューティングシステムを開発しました。これは、Leap Motionで取得した指の先端位置を画面上の照準の位置に反映させ、筋電センサ(EMG:Electromyography)で手をギュッと握ったときを検出して弾を撃ち、それをARで表示すると…

Google TangoとKinectやHoloLensを組み合わせてみた

単体で手軽にマーカーレスARを楽しめるGoogle Tango対応端末ですが、他のデバイスと連携したらもっと楽しめそうだと思い、いくつか試してみたのでご紹介します。 1. Kinectとの組み合わせ 以前、HoloLensの記事でも紹介しましたが、Kinectで取得した空間の3…

HoloLensとKinectやMyoを組み合わせてみた

単体でもかなり遊べるHoloLensですが、他のセンサデバイスとの連携したらもっと楽しめそうだと思い、いくつか試してみたのでご紹介します。 1. Kinectとの組み合わせ Kinectで取得した空間の3次元情報(Point Cloud)をリアルタイムにHoloLensで表示してStar W…

THETA Sの全天球映像を複数のデバイスにリアルタイム配信

これまで同じLANの中にいるデバイスにTHETAの映像を配信するシステムを試作してきたが、外に配信できなければ利用範囲が限定されてしまうので、ネットにつながっている外部のデバイスへの配信をできるように改良。 動画中の、THETAの下のPCに表示されている…

THETA Sと顔検出を組み合わせたユーザー追跡システムの試作

先日、THETA Sのストリーミング画像を好きな向きで見るシステムを作ったので、今回はそこで作成した球体への動画貼り付けプログラムを活用し、撮影されたユーザー1名が常に視界の中央に表示されるシステムを試作しました。

RICOH THETA SのストリーミングをGoogle Cardboardで閲覧するシステムの試作

これまでコダックのPIXPRO SP360のストリーミング画像をスマホで表示するシステムを開発してきましたが、10月23日に発売されたRICOH THETA Sが届いたので早速乗り換えてみました。

Kodak PIXPRO SP360の画像をgoogle cardboardで見る

Kodak PIXPRO sp360とは1ショットでレンズを中心とした全方位の画像を撮影できる非常に面白いカメラです。 PIXPRO - マスプロ電工|MASPRO 撮影した動画や静止画は、PCやスマホ・タブレットで閲覧したり加工してYouTubeの360度コンテンツとしてシェアしたり…

Kinectを用いた実物体と仮想物体のインタラクション

ARやVR空間に表示された仮想物体と実物体が何かしらの相互作用ができたら面白いのではないかと思い、ちょっとしたコンテンツを試作しました。わりと簡便な方法で実現できるのでメモ程度にざっくりとした手順を残しておきます。 1.開発環境 今回の試作では以…

【再掲】 LeapMotionを使ってAR(Augmented Reality)やその他諸々をやってみた

ARに関するAdvent Calendar用の内容としてはちょうど良さそうなので昨年書いた記事を再掲。LEAP motionを用いたARシステムを作る上での参考になれば幸いです。AR(Augmented Reality) Advent Calendar 2014 - Qiita 以下、本文 2013年7月にLeapMotionが手元に…

HMDとARコンテンツ

2014年は色々な種類のHMD(ヘッドマウントディスプレイ)が登場ましたが、多くの場合これとセットでAR(Augmented Reality)話題に挙がります。そこで、各種HMDの特徴やARの見え方を紹介してみようかと思います。1. inforod ウエストユニティスという国内メーカ…

Kinect for Windows v2とgoogle cardboardでVR空間を歩けるコンテンツを試作

先日、友人の宮地さんに手作りcardboardをいただいたので、これを利用したデモコンテンツを作ってみました。 cardboardとは、Google I/O 2014で配布されたダンボール製のHMDで、前面にスマートフォンを差込むだけで、3Dコンテンツを楽しむことができます。 …