研究プロジェクト

クラウドソーシングにおける群衆とAIの協調
Human-machine collaboration in crowdsourcing

ヒューマンコンピュテーション、HCI、機械学習

クラウドソーシングにおいて人とAIが協調しこれまで困難であった問題を解決することを目指します。ワーカとAIの協働作業、リクエスタのタスク依頼支援、効率の良いタスク発行をする半自動プラットフォームなど基盤となる理論の研究を行い、自然災害復旧支援や世界遺産保全、図書館情報学などのフィールドでの実践を通じて社会貢献を行います。

群衆の知と教育
Wisdom of crowds and education

ヒューマンファクター、集合知、行動心理学、ゲーム理論

専門家でない一般の人が多数集まることで生まれる群衆の知の特性、及びその特性を利用した群衆間の相互作用による教育について研究します。市政や医学をフィールドに応用研究を行い多様性を受け入れるサイバーフィジカル社会の構築を目指します。

音楽家の身体知
Embodied Knowledge of Musicians

認知科学、生体信号処理、教育工学

音楽愛好家からプロ演奏家までを対象に音楽に携わる人々の認知能力・身体能力などの音楽スキルの熟達に関する研究を行います。例えばスコアリーディング、選択的聴取、楽器演奏、アドリブ、アンサンブルにおける間合いなど知覚系と運動系が密接に関連したテーマを幅広く扱います。生体信号やモーションキャプチャを用いた運動学的な分析、音楽がどのように認知されているか内観口述法による分析、音楽活動を支援するHCI技術の開発などを研究します。

計算論的音楽学
Computational Musicology

人工知能、音楽情報処理、音楽と言語

音楽と言語の共通点は多く、古くから音楽の言語学的解釈が試みられました。Generative Theory of Tonal Music(GTTM)は木構造による音楽解釈の記述を試みた認知音楽学的な理論で、音楽で言うところの統語論と意味論を担います。GTTMを人工知能的に実現することで音楽の認知モデルを解明します。応用例として楽曲分析、自動編曲などを研究しています。その他に音楽の語用論として状況的認知にベースにした音楽認知の定式化を試みます。

難聴と音楽
Hearing loss and Music

福祉工学、特別支援教育

聴覚障害が残存聴力を活用して音楽活動を楽しむことがフィールド調査でわかりました。彼らの多くはカラオケに行きYouTubeを見て歌の練習する積極的聴取者でした。同じ聴力レベルを持つものでも音楽聴取能力が異なることが実験により明らかになり、その要因は現在のところ、音楽経験によるものであろうと推測されます。この点に着目し音楽聴取能力向上を狙った音楽トレーニングを開発しています。高齢化社会が進む中で簡単な検査で難聴と診断されたために音に接する生活をやめてしまうものも多く音楽を継続して楽しめる仕組みを考案します。

音の情報表現
Representation of/with Sound

情報可視化、データ可聴化、アクセシビリティ支援技術

聴覚と視覚の融合による表現は音楽の世界では古くからその技術が磨かれてきました。音楽の事例をヒントに音の表現や音を用いた表現を提案し認知心理学的実験によりその有用性を明らかにします。人間の認知特性に基づいた直感的な音の可視化やデータの可聴化技術を開発します。「時間分解能に優れる」「複数の音を混ぜて聴く事ができる」「視覚を奪われない」などの音の特性を活かし,視覚障害者や聴覚障害者への効果的なマルチメディア表現を模索します。

主な研究テーマ

クラウドソーシングにおける群衆とAIの協調(JST CRESTによる助成)

  • 長期間クラウドソーシングにおけるシームレスなプラン選択
  • クラウドソーシングによる自然災害復旧支援

群衆の知と教育

  • 群衆による多様な意見の集約と科学的発見
  • クラウドソーシングにおける認知的徒弟制

音楽家の身体知:音楽スキルの熟達、音楽活動支援の研究、サウンドラーニング

  • 筋活動可視化フィードバックによるトランペット演奏支援システム(2012〜, 日本大と共同研究)
  • 音楽アンサンブルにおける視聴覚情報が演奏に与える影響(2014〜, Radboud大と共同研究)
  • オーケストラ鑑賞における解釈の変容過程(2009〜2012,慶應義塾大と共同研究)
  • 音楽への感性を開拓するメタ認知支援ツール(2010)
  • 楽譜簡易化によるピアノ練習支援システム(2009)
  • 楽譜色付けによるオーケストラスコアリーディング支援システム(2008〜2013,慶應義塾大と共同研究)

音楽と言語:音楽の統語論,音楽の意味論、音楽の語用論

  • 音楽理論GTTMによる自動楽曲分析、自動編曲(2014〜, はこだて未来大、JAISTと共同研究)
  • スペクトルディップ法による自動和音推定(2008〜2010)
  • コンティグマッピング法による自動声部分離(2010〜2011)
  • HMMSVMを用いたピアノ自動運指推定(2010)
  • 保科理論に基づくピアノ演奏自動表情付け(2010)
  • バロック音楽の通奏低音自動リアライズシステム(2007〜2008,IPA未踏ユースによる助成)

聴覚障害と音楽(日本学術振興会 科学技術研究費による助成)

  • 音楽ゲームを用いた聴覚障害者のためのリズム認知能力トレーニング(2014〜2016, 筑波技術大と共同研究)
  • 聴覚障害者の音楽認知能力(2014〜, 筑波技術大と共同研究)
  • 聴覚障害者の環境音認知能力の評価手法(2015〜, 筑波技術大、茨城大と共同研究)
  • 聴覚障害者の楽器認識トレーニング(2015,筑波技術大と共同研究)
  • 聴覚障害者の音楽活動の調査(2014,筑波技術大と共同研究)

音の情報表現:直感的な可視化・可聴化技術の開発

  • 視聴覚メディアにおける直感的な提示方法の認知心理的評価(2016〜, Radboud大と共同研究)
  • 弱視者のための笑顔可聴化を用いた表情認識支援(2014〜, 筑波大サイバニクス研究センターと共同研究)
  • 心拍可聴化による不整脈診断支援(2014〜, 筑波大病院と共同研究)
  • 筋活動可聴化によるフェイシャルマッサージ支援(2014〜, 資生堂と共同研究)
  • 地震可聴化による伝播メカニズムの解明(2013〜, 産業技術総合研究所と共同研究)
  • 聴覚フィードバックによるリハビリ支援ウェアラブル機器(2012〜2016, 筑波大サイバニクス研究センター、筑波技術大と共同研究)
  • 環境音の効果的な視覚提示の手法(2011)