Masahito Style

Welcome to Masahito Hirakawa homepage

進行中の研究取り組み

asai2.jpg
ar1.jpg
IMG_1373.JPG
KinectSquatCounter_1.png

コンピュータを使おうとしたとき、目の前にあるスマホあるいはPCの画面をのぞき込みますよね。私たちが目を向けるのは画面の中であって、そこは現実の世界ではなく、あくまでもコンピュータが作り出している仮想世界です。このように現実世界と仮想世界を行ったり来たりしてコンピュータを使っているわけです。このような切り替えをすることなく、両世界を融合してひとつにしようという考え方があります。それらは拡張現実(AR)や仮想現実(VR)と呼ばれています。
そのようなシステムの実現にあたって、当初は非常の強力なパワーをもったコンピュータが必要でしたが、最近はスマートフォンでも利用できるようになってきました。またヘッドマウントディスプレイ(HMD)と呼ばれる頭部搭載型ディスプレイを使う場合もありますが、それもわずか数万円で入手できるようになりました。
コンピュータが生成する仮想世界の物体あるいはキャラクタですが、それらに直接働きかけることができて初めて仮想世界と現実世界が本当に融合したといえるに違いありません。例えば仮想物体に手で触れようとすると、ふっと逃げるといったような具合です。私たちはそのような対話性の実現に取り組みました。左側に示した例では、雪だるま(に見えないかもしれませんが)を指でつつくと、それが転ぶアクションが起こるようにしました。
またもうひとつの例では、半透明のスクリーン越しに動物のおもちゃが見えていますが、それを指さすというジェスチャを行うと、利用者の目の前に、しかも指さした動物と重なるようにメッセージが提示されるようになっています。このシナリオではおもちゃですが(アイディア的には本物の動物で構いません)、現実の物体にメッセージという仮想の情報が重畳され、それらがひとつの融合した世界を作り上げているわけです。補足しておくと、後者の例を見ていただければお分かりのように、必然と思われている画面枠(ウィンドウと言ってもよいのですが)というものがありません。そのおかげで仮想と現実という意識が自然と消滅する効果が生まれます。このシステム自体は10年以上に開発したものですが、アイディアは今でも決して古くはないと確信しています。
最近では、筋トレを応用先にして目指すは利用者のモチベーション維持をさせるために、VR技術がどのように活用できるかを探りました。現在は基礎的なサイドに軸足を移して研究を進めています。詳細については乞うご期待ください。


IMGP6562.JPG
歩行動作.bmp

ジェスチャ操作はとても魅力的なインタラクション技法であり、画面上で指を動かして操作するスタイルはスマートフォンの普及とともに日常的になってきました。
これに対して私たちは人間の歩行に着目し、これをコンピュータとの対話に利用することに挑んでいます。二足歩行は私たち人間を他の動物から区別する極めて特徴的な特性です。これに注目し、利活用しない手はありません。但しこれまでのところでは、裸足で歩くことが求められたり、あるいは靴に特別な道具を装着する必要がありました。我々は床面に敷いたマット状のセンサを用い、靴を履いた状態の歩行領域を個々に切り出して追跡することができるような手法を開発しました。靴裏の形状はさまざまですが、ひとつひとつの足領域をまとめて捉えるところに苦労がありました。複数人がひとつのマット状を同時に歩いても、ひとりひとりを区別することもできるようになっています。
そのような機構を用いて、杖を携えて歩いているときの歩行特徴から膝の健常度を評価することができることを実験で明らかにしました。また、足領域データから歩行者の下肢の動きを推定することの他、歩行から感情を推定することにもチャレンジしました。ディジタルサイネージへの応用開発も行いました。
現在は高齢者の転倒予防に用いるべく、デイケアセンターの協力を得て、研究を継続的に進めています。


KIMG0004.JPG


ジェスチャといえば、やはり手指が主流です。Leap Motionセンサを用い、手指のリハビリテーションを支援するための手法の開発に附属病院のスタッフと共に取り組んでいます。これまでは目視に頼らざるをえなかったのに対し、センシング技術を用いることで、新たな評価手法の提案ができることを目指しています。
IEEE広島支部のHISS2017において、M2の張君が行った研究発表に対し、HISS優秀研究賞が授与されました。






以前の研究取り組み

water1.jpgすくう写真.jpg図5.bmp今日、身近に見られる液晶ディスプレイやマウスを用いた対話インタフェースではなく、より直感的で分かりやすいインタフェースのひとつとして、水を媒体に用いることを提案しました。
利用者は手指あるいは足を水につけてジェスチャを行えば、その動作に応じたシステム操作を行うことができるようになっています。最初は水槽の上に設置したカメラを使ってジェスチャを取得するようにしていました。その後、水槽の下に2つのカメラを設けることで、追跡性能をより強固に、しかも水平および深さ方向といった3次元位置を取得できるようにしました。また、足湯への展開を模索した(足)バージョンでは装置の小型化に努めました。
水面に浮かぶアルファベットをすくうと、そのアルファベットで始まる単語を表すイラストイメージに変わったり、美しく光り輝くアニメーションに音楽をあわせたコンテンツを提供することもできます。足湯への応用にあっては、通常の癒し効果に加え、人々の関心を引き寄せるコンテンツを提示することも可能です。

これまでの教育は教室という場所に学生と先生が集まるという形態を取っていました。しかしながら様々な事情で大学(あるいは教室)に集まることができないこともあります。通信ネットワークと情報技術を使えば、自宅あるいは自分に都合のよい場所で動画を視聴したり、テストを受けることもできるようになってきています。e-learningなどとも呼ばれます。しかしながら、これまでのe-learningシステムでは学習者は全員にはひとつの同じコンテンツが提供されます。言うまでもなく、人間というのは一人一人異なる特性(学習スタイル)を持っています。一人でじっくりと取り組むのを良しとする人もいれば、複数人で一緒に取り組むことを好む人もいます。書かれた文章を読むのが好きな人もいれば、画像や映像を好む人もいます。そのような特性に応じてシステム側でコンテンツを学習者ごとに選択・推薦できるようになれば、これまで以上に学習の質が高まることが期待できます。
そのような目標に向けて私たちはMoodleという学習管理システムの機能拡張に取り組みました。コンテンツの個人化を行うためには、まず学習者の特性をシステムで取得(推測)することが必要になります。Felder-Silvermanが提唱したモデルを基礎に、Moodle上での操作記録(ログ)を機械学習させることによって、各人の学習スタイルを特定する機能を実装しました。

sound1.jpgsound3.jpg2次元平面上の任意の位置から音が出力できるようなテーブル型サウンドシステムを核に、テーブル上での利用者の身振りを捕捉し、適切な視覚的フィードバックも提示可能な機能を実現しました。音データについては、同時に複数提示できることはもちろんのこと、その位置を移動させたり提示領域の大きさ等も変化させることにも挑みました。テーブルを囲んで参加している全ての人たちが、それぞれの立ち位置に係らず、位置を含めた音の情報を全員が共有できるようにすることで、音(楽)を活用した協調作業の促進を可能にします。
その仕掛けは、4x4配列でテーブルに埋め込んだ合計16個のスピーカのそれぞれに対して出力音をソフトウェア制御するようにしているところにあります。音テーブルの上部にはテーブル面に映像を投影するためのプロジェクタを設置しています。ジェスチャの捕捉にあたってはWii RemoteやKinectを用いました。また応用としては、エンターテイメントや高齢者向けの心理療法であるグループ回想法について検討してきました。教育関係への適用を想定して、百人一首の学習コンテンツも開発しました。特徴的な機能として、上の句に対応した下の句を見つけられずにいると、該当するカード位置辺りから音を提示するようにしています。視覚的な情報と違って、音の場合には知覚される提示位置に曖昧さが生じることを逆手にとり、「音ヒント」という考え方を提案したりもしました。

spiral2.jpgspiral.jpgらせん形状を用いることで、時系列データを3次元表示するツールを開発しました。ユニークな点は、データに内在する事象の周期性に注目し、その特徴が判別できるような可視化機能を提供していることです。事象が一列に並ぶように、らせんの直径を適宜調整することで、結果としてうねりを持ったらせん形状が形成されることになります。この形状を一目見ることで、一定周期性ごとに規則的に事象が発生しているのか、特定のパターン(例えば発生周期にある特徴的なゆれがある)を有しているのか、といったことが視覚的・直感的に理解できます。
透析患者向け可視化システム.jpg応用面では、人工透析患者に対し、自らの体調管理に意識を向け、QOL(Quality of Life)の改善を実現することを目指したソフトウェアシステムの開発も行いました。携帯電話上で体調情報が一見して獲得できるような可視化を基本機能とし、さらに日常生活に係る情報の記述と患者自らの対応などを加味して、タイムリーかつ有益な支援を目指しました。



locos2.jpg何か大事なことを思い出すきっかけを提示できるようなシステムの開発に取り組みました。そこでは太田幸夫氏の発案したLoCoSシンボルを用いました。LoCoSシンボルはモノや概念を誰もが事前学習なしに分かるように設計されていることに注目し、それを画面上で自由自在に移動させることで生じる重なりが新たに無限のシンボルを生み出します。一般には無意味に見えるシンボルでも、個人個人にあってやるべき行為に結びつく「かけら」がそこに見て取れるとき、それが思い出すきっかけとして十分な働きをなすという考えです。

絵本2.jpg人間が様々なメディア情報をどのように解釈しているのか、という疑問に答えを出すべく、そのメカニズムを明らかにする研究に取り組みました。そのひとつとして、物語テキストを入力すると、見開きページに相当する小片の段落にテキストを分割し、主人公や脇役を特定した後、それらを箱庭に配置しカメラワークを決定するという手順を踏んで、ページごとに対応する挿絵を自動生成し、一冊の絵本にまとめてくれるシステムを開発しました。

検索3.jpg現在の検索エンジンの多くは、単純には利用者が記入した条件キーワードに合致するウェブページを探し求める方法が採用されています。しかしながら我々人間が日常世界で見せる振る舞いは、もっとゆるやかな、あるいは「ざっくり」したものでしょう。そのような人間のわがままな要求に応えることができる検索システムの開発に取り組みました。具体的には、ウェブページのレイアウトと色情報を手掛かりに気になるページを呼び出したり、検索ワードの選択を支援する機能を実現しました。

mosaic.jpgビデオは今日の生活に密着したメディアとしての地位を確保しています。それに伴い、ビデオを編集したいという要望も少なくありません。ただし既存のビデオ編集ソフトにあっては必要なショットを切り出し、そしてつなぎ合わせるという機能しかありません。我々はカメラワークに注目し、撮影後に自在にカメラワーク(パンニングとズーミング)を変えることを可能にする新たなビデオ編集機能を開発しました。