| 研究推進分野名 | 感性的ヒューマンインタフェース | |
| 研究プロジェクト名 | インタラクションによる相乗効果を用いた感性創発世界の構築 | |
| （英文名） | Construction of Kansei Emergence World Based on Synergetic Interaction | |
| 研究期間 | 平成１１年度〜平成１５年度 |
| プロジェクト・リーダー名 | 研究経費 | 総額 ４３５，６７１千円 | ||
| 氏名・所属研究機関 所属部局・職名 |
谷内田 正彦・大阪大学 大学院基礎工学研究科・教授 |
内訳 | 平成１１年度 | ８０，８７４千円 |
| 平成１２年度 | ９０，４１２千円 | |||
| 平成１３年度 | １０７，３８５千円 | |||
| 平成１４年度 | ７４，０００千円 | |||
| 平成１５年度 | ８３，０００千円 | |||
１．研究組織
| 氏名 | 所属機関・部局・職 | 研究プロジェクトでの役割分担 |
| 西田 正吾 | 大阪大学・大学院基礎工学研究科・教授 | 感性協調モデルと音楽感性エージェント |
| 佐藤 宏介 | 大阪大学・大学院基礎工学研究科・教授 | 感性デザイン支援システム，生理評価 |
| 八木 康史 | 大阪大学・産業科学研究所・教授 | 高臨場感情報提示技術開発と評価 |
| 岩井 儀雄 | 大阪大学・大学院基礎工学研究科・助教授 | 人間情報獲得技術開発と評価 |
| 片寄 晴弘 | 関西学院大学・理工学部・助教授 | インタラクティブアート，生理評価 |
| 才脇 直樹 | 奈良女子大学・生活環境学部・助教授 | セッションシステムと音楽感性 |
| 山口 智浩 | 奈良工業高等専門学校・助教授 | ミラーエージェントシステム |
２．研究計画の概要
| 本研究では，インタラクションによる感性のシナジー（相乗）効果を媒介するマン−マシン−マン・インタフェースの実現を目的とする．具体的には，最先端センシング技術や知能ロボット技術の導入によって得られるジェスチャや生理指標といった様々なユーザ情報から抽出される感性を表現する要素に注目し，それらをネットワークを介した共通のプラットホーム上で映像や音響を含むマルチメディア・コンテンツにリアルタイムで反映させることができるような人工の共通の「場」を構築する．この場を「シナジェティック・フィールド」と名付け，仮想感性を持った複数のエージェントや多数の人間が参加する事で，相互のインタラクションが引き起こす感性創発現象や感性増幅現象について検討・評価する．
このように，本研究では感性情報の共有という観点から，感性の相互触発可能な新しいインタラクティブ・メディアを開拓し新しい研究分野を切り開く．それは，従来異なる分野で発達してきたコンテンツによるコラボレーションの実現を意味し，例えばコンピュータを使った芸術活動の質的向上に寄与することができるのみならず，感性による他者との交流に注目したインタフェースの構築によって，従来ネットワークやコンピュータ社会における弱者とされてきた児童や高齢者・障害者に積極的な参加を促進する新しいメディアの創出に貢献する．
|
３．研究目的
|
||
４．研究成果の概要
| ４−１ 研究計画、目的に対する成果 |
| インタラクティブ感性創発システムとして，行動の履歴と可視化によるミラーエージェント技術を利用した危険予知トレーニングシステムを開発した．また，それらの心理評価から学習効果が上がることを確認した．また，高臨場感映像提示技術として広視野角HMDを開発，MBR,IBRを統合した全方位画像を用いることで広臨場感のある映像を提示することができた．人間情報獲得技術としては，人物を追跡し，上半身の姿勢やジェスチャを認識するシステムを構築した．また，人の顔を認識するエージェントを作成し，個人毎のシステムを構築できるような技術を開発した．
仮想感性として心理的ポテンシャル（盛り上り度，注目度）というコンセプトを提案し，人間とジャズセッションするエージェントを実装した．また，ループフレーズで音楽を織りなす構成主義コンセプトにビジュアルインタフェースを加えて実装し，音楽知識や演奏スキルがなくてもセッションを楽しめる環境を構築した．さらに，感情という感性情報を介して音楽と映像を統合する手法を開発した．人間の感性協調プロセスを考察し，リズムを合わせる協調作業により，一体感が得られることを確認した． 複数の人間間のインタラクションで複数の被験者が動き回りつつの生理指標の同時計測を行うことを想定した無線生理指標計測システムやVisual Jockeyシステムを構築し、実際のコンサート活動における感性伝達を解明できた。感性イメージの共有に関して、複合現実感によるデザイン画彩色支援システムを構築し、共同配色作業における感性情報の伝達特性を明らかにした。意匠曲面の設計支援ではデザイナが意匠面に対して描く印象を数学的に定式化し、CADを構築した。 |
４−２ 研究計画、目的外の成果 |
| 人物の指示方向を推定するときに，身体を基準とした固定的な基準点があるのではなく，認知に深く関係した対象までの距離によって変動する基準点があることが分かった．認知心理学においては良く知られている事実であるが具体的なモデルはなかった．本研究では工学的に基準点の動きをモデル化して人物の指示動作推定の精度を向上させた．また，これまでの感性研究は芸術作品を対象とすることが多く，芸術を理解できる成人を対象としていた．今回，構成主義を提案する過程で，純粋に音を楽しむ感性を扱うようになり，対象も音楽知識のない人や子供へと拡がっていった．感性協調プロセスを考察するにあたって，リズムは人間の思考や感じ方，道具の使い方等，個性を生み出す根源的なものに関わっているという仮説にいたった．リズムが個人の感性に影響しているという考え方を，今後も検証していく予定である．インタラクション技術を応用した新しい芸術領域を市民レベルに紹介を行うことを目的として、H12年10月27日に和歌山市民会館にて、「インタラクティブメディアアート2000＠和歌山」を開催し、世界レベルで活躍しているアーティスト3組の招聘と約350名の参加者を集め、メディアアートの啓蒙に貢献した。 |
４−３ 研究成果の展望 |
| 広視野角HMDや人物姿勢推定，顔認識など，人間の情報を取り出し，高臨場感のある豊かな情報を提供する技術を開発することができた．この技術を利用することで，よりよいユーザインタフェイスを構築することができると思われる．また，ミラーエージェントシステムにより，本来人間が知覚できない情報をも人間にフィードバックすることで，より学習効果の高い危険予知トレーニングシステムが構築できることを実証した．
コンピュータシステムとの軽快なインタラクションを介在する操作デバイスの研究から、その形状を日頃使い慣れた道具の形にし、実際の道具と同様の触覚フィードバックを付加することで、実体を把握しにくいデジタル情報を可触化するとともに入力操作と出力確認を併せ持つ把持型のデバイスの実現と、プロジェクタ投影による情報呈示の研究成果から、ユビキタスな情報環境の実現に関し、ユーザが情報機器を身にまとうウェアラブル感性インタラクションを切り開く可能性が見出せた。
|
４−４ 本事業の趣旨に鑑み、果たした役割 |
| 人間と人間（またはエージェント）の相互作用に着目しており，研究プロセスには心理学，工学の双方からのアプローチが必要であった．このような学際的な研究方法論の重要性はこれまでも指摘されているものの，実際には最後に双方の成果を持ち寄る場合がほとんどであった．今回は研究初期段階から異なる視点からのアプローチが並行して進められ，このプロジェクト自体が感性協調作業であったと言える．このような方法論は今後さらに重要になってくるものと考えられ，プロジェクト管理・運営の立場からも有益であると思われる． また，人物の指示動作においては，実際に認知心理学からの知見を取り入れ，工学的にモデル化することで指示推定精度の良いシステムを構築することが可能となった．文理融合は，ますます複雑化する社会に対応するために重要な要素である．本研究が，その先鞭をつけ今後の感性インタフェースの発展に寄与するものと思われる． ノンバーバル情報の利用が有効、あるいは本質である芸術分野、デザイン分野やデジタルデバイド対策の作業における、感性の伝達特性の解明および感性情報を介した人間同士のインタラクションやそのインタフェースの開発から、視覚効果を伴う音楽パフォーマンス、マンマシンインターフェイスデバイス、形状デザイン、色彩デザイン等の限られたシーンではあるが、感性的で直観的な人と人、人とコンピュータとの間のコミュニケーションで創造性を向上させる未来開拓的な方法論につながる知見を得た。 |
５．キーワード
| (1)全方位視覚センサ | (2)人間情報処理技術 | (3)高臨場感提示技術 |
| (4)メディアアート | (5)デザイン支援システム | (6)ハプティックインタフェイス |
| (7)心理ポテンシャル | (8)構成主義 | (9)一体感 |
６．研究成果発表状況
| 全著者名 | 論文名 | |||
| Ramasamy Palaniappan, Paramesran Raveendran, Shogo Nishida | Multi-channel Noise Reduced Visual evoked Potential Analysis | |||
| 学術雑誌名 | 巻 | 号 | ページ | 発行年 |
| Trans. on IEE of Japan | 123 | 10 | 1721-1727 | 2003 |
| 全著者名 | 論文名 | |||
| H.Nagahara, Y.Yagi, M.Yachida | Superresolution Modeling Using an Omnidirectional Image Sensor | |||
| 学術雑誌名 | 巻 | 号 | ページ | 発行年 |
| IEEE TRANS. ON SYSTEMS,MAN,AND CYBERNETICS | 33 | 4 | 607-615 | 2003 |
| 全著者名 | 論文名 | |||
| 平山高嗣,岩井儀雄,谷内田正彦 | 顔の大きさの変化にロバストな個人識別システム | |||
| 学術雑誌名 | 巻 | 号 | ページ | 発行年 |
| 情報処理学会論文誌 | 44 | 6 | 1625-1634 | 2003 |
| 全著者名 | 論文名 | |||
| Takatsugu Hirayama, Yoshio Iwai, Masahiko Yachida | Person Identification System Robust for Scale variations | |||
| 学術雑誌名 | 巻 | 号 | ページ | 発行年 |
| IPSJ Journal | 44 | 6 | 1625-1634 | 2003 |
| 全著者名 | 論文名 | |||
| Ramaswamy Palaniappan, Paramesran Raveendran, Shogo Nishida, Naoki Saiwaki | A New Brain-Computer Interface Design Using Fuzzy ARTMAP | |||
| 学術雑誌名 | 巻 | 号 | ページ | 発行年 |
| IEEE Trans. on Neural. Systems and Rehabilitation Engineering | 10 | 3 | 140-148 | 2002 |
| 全著者名 | 論文名 | |||
| Dadet PRAMADIHANTO, Yoshio IWAI, Masahiko Yachida | Integrated Person Identification and Expression Recognition from Facial Images | |||
| 学術雑誌名 | 巻 | 号 | ページ | 発行年 |
| IEICE TRANSACTIONS on Information and Systems | E84-D | 7 | 856-866 | 2001 |
| 全著者名 | 論文名 | |||
| Hajime Nagahara, Yasushi Yagi and Masahiko Yachida | Super-resolution for Omnidirectional Vision Sensor | |||
| 学術雑誌名 | 巻 | 号 | ページ | 発行年 |
| Advanced Robotics | 14 | 5 | 427-429 | 2000 |
| 全著者名 | 論文名 | |||
| Naoki Saiwaki, Akihiro Oda, Chiori Terashima, Mie Nakatani,Shogo Nishida | Cooperative Ensemble System based on Kansei Coordination (Invited Paper) | |||
| 会議名 | 開催場所 | 論文番号 | ページ | 発表年 |
| Proceedings of HCI International2001 | New Orleans,US | ??? | 384-388 | 2001 |
| 全著者名 | 論文名 | |||
| Horii Chinatsu, Wada Hirotaka, Sato Kosuke | An Intelligent Support System for Designing Coloration (Invited Paper) | |||
| 会議名 | 開催場所 | 論文番号 | ページ | 発表年 |
| 5th Intl. Conf. on Knowledge-Based Intelligent Information Engineering Systems & Allied Technologies | ??? | ??? | 1111-1115 | 2001 |
| 全著者名 | 論文名 | |||
| Masahiko Yachida, Yoshio Iwai, Dadet Pramadihanto | Integrated person Identification and Emotion Recognition from Facial Images (Invited Paper) | |||
| 会議名 | 開催場所 | 論文番号 | ページ | 発表年 |
| Proc. of 4th Asian Conf. On Computer Vision | Taipei, Taiwan | 2 | 812-818 | 2000 |
| 全著者名 | 書名 | |||
| 岡田謙一,西田正吾,葛岡英明,仲谷美江,塩澤秀和 | ヒューマンコンピュータインタラクション | |||
| 出版者名 | 出版場所 | ISBN番号 | ページ | 発行年 |
| オーム社 | 東京 | 4-274-13249-8 | 1-30 | 2002 |
| 全著者名 | 書名 | |||
| Shogo Nishida | Human and Human Computer Interaction | |||
| 出版者名 | 出版場所 | ISBN番号 | ページ | 発行年 |
| Ohm-sha | Tokyo | 4-274-13249-8 | 1-30 | 2002 |
| 全著者名 | 書名 | |||
| 岡田謙一,西田正吾,葛岡英明,仲谷美江,塩澤秀和 | ヒューマンコンピュータインタラクション | |||
| 出版者名 | 出版場所 | ISBN番号 | ページ | 発行年 |
| オーム社 | 東京 | 4-274-13249-8 | 187-205 | 2002 |
| 全著者名 | 書名 | |||
| Mie Nakatani | Interface Evaluation | |||
| 出版者名 | 出版場所 | ISBN番号 | ページ | 発行年 |
| Ohm-sha | Tokyo | 4-274-13249-8 | 187-205 | 2002 |
| 特許等名称 | 発明者名 | |||
| 広角ヘッドマウントディスプレイ装置 | 八木康史，谷内田正彦，長原一 | |||
| 権利者名 | 種類 | 出願番号 | 出願年月日 | 設定登録年月日 |
| ??? | ??? | 特願2002-256377 | 2002年9月2日 | ??? |