研究プロジェクト

企業・研究者の方へ:下記テーマに限らず関連トピックに関する共同研究を随時歓迎しています。
大学生・大学院生の方へ:下記テーマについて身近に専門家が見つからない場合はできる範囲でサポートします。
中学生・高校生の方へ:下記テーマに関する学問分野で分からないことがあれば分かる範囲でお応えします。

群衆とAIの共栄
Co-prosperity between Crowds and AI

ヒューマンコンピュテーション、HCI、CSCL

群衆同士のインタラクションや群衆とAIのインタラクションを通じて人が潜在的に有する能力を拡張する基盤技術を構築します。AI技術を利用した暗黙知の形式知化支援や暗黙知の継承支援など今後深刻になってくる労働力不足に対して価値基準の変化に対応できる仕組みを提案します。

クラウドソーシングのトラスト
Trust of Crowdsourcing

トラスト、プライバシ、セキュリティ

クラウドソーシングでは匿名のワーカやリクエスタによる一時的・流動的な組織によって問題解決が行われる特性上、タスク結果の品質保証が課題となっています。タスク結果の再現性の確保による信頼性や第三者によるタスク結果再利用時の安全性が考慮された信頼できる安全なクラウドソーシングの仕組みを研究します。

感性データサイエンス
Sensory data science

感性情報学、ビッグデータ、ディープデータ

言語化することが難しい人間の感性に基づく主観的な判断をできるだけデータ化し収集・分析を行います。例えば、オンラインクラウドを対象とした大規模な嗜好型官能評価実験、感性データを取得するためのインタフェースデザイン、大規模感性データのタクソノミーの構築など、量から質への転換と質から量へ応用の両輪により人間の感性をモデル化していきます。

群衆の知
Wisdom of crowds

集合知、ヒューマンファクター、行動心理学

多数の人が集まることで生まれる群衆の知の特性、及びその特性を利用した問題解決やインクルーシブな社会デザインについて研究します。ヒューマンファクターを考慮したタスクデザイン、ワーカへのタスク割り当て、タスク結果の品質管理、リクエスタのタスク依頼支援など効率的で人間中心なクラウドソーシング基盤を開発し、音楽、障害者支援、自然災害被災状況把握支援、図書館情報学などのフィールドでの実践を通じて社会貢献を行います。

音楽家の身体知
Embodied Knowledge of Musicians

認知科学、生体信号処理、教育工学

音楽愛好家からプロ演奏家までを対象に音楽に携わる人々の認知能力・身体能力などの音楽スキルの熟達に関する研究を行います。例えばスコアリーディング、選択的聴取、楽器演奏、アドリブ、アンサンブルにおける間合いなど知覚系と運動系が密接に関連したテーマを幅広く扱います。生体信号やモーションキャプチャを用いた運動学的な分析、音楽がどのように認知されているか内観口述法による分析、音楽活動を支援するHCI技術の開発などを研究します。

計算論的音楽学
Computational Musicology

人工知能、音楽情報処理、音楽と言語

音楽と言語の共通点は多く、古くから音楽の言語学的解釈が試みられました。Generative Theory of Tonal Music(GTTM)は木構造による音楽解釈の記述を試みた認知音楽学的な理論で、音楽で言うところの統語論と意味論を担います。GTTMを人工知能的に実現することで音楽の認知モデルを解明します。応用例として楽曲分析、自動編曲などを研究しています。その他に音楽の語用論として状況的認知にベースにした音楽認知の定式化を試みます。

難聴と音楽
Hearing loss and Music

福祉工学、特別支援教育

聴覚障害が残存聴力を活用して音楽活動を楽しむことがフィールド調査でわかりました。彼らの多くはカラオケに行きYouTubeを見て歌の練習する積極的聴取者でした。同じ聴力レベルを持つものでも音楽聴取能力が異なることが実験により明らかになり、その要因は現在のところ、音楽経験によるものであろうと推測されます。この点に着目し音楽聴取能力向上を狙った音楽トレーニングを開発しています。高齢化社会が進む中で簡単な検査で難聴と診断されたために音に接する生活をやめてしまうものも多く音楽を継続して楽しめる仕組みを考案します。

音{の,による}情報表現
Representation of/with Sound

情報可視化、データ可聴化、アクセシビリティ支援技術

聴覚と視覚の融合による表現は音楽の世界では古くからその技術が磨かれてきました。音楽の事例をヒントに音の表現や音を用いた表現を提案し認知心理学的実験によりその有用性を明らかにします。人間の認知特性に基づいた直感的な音の可視化やデータの可聴化技術を開発します。「時間分解能に優れる」「複数の音を混ぜて聴く事ができる」「視覚を奪われない」などの音の特性を活かし,視覚障害者や聴覚障害者への効果的なマルチメディア表現を模索します。

主な研究テーマ

クラウドソーシングにおける群衆とAIの協調(JST CRESTによる助成)

  • 長期間クラウドソーシングにおけるシームレスなプラン選択
  • クラウドソーシングによる自然災害復旧支援

群衆の知と教育

  • 群衆による多様な意見の集約と科学的発見
  • クラウドソーシングにおける認知的徒弟制

音楽家の身体知:音楽スキルの熟達、音楽活動支援の研究、サウンドラーニング

  • 筋活動可視化フィードバックによるトランペット演奏支援システム(2012〜, 日本大と共同研究)
  • 音楽アンサンブルにおける視聴覚情報が演奏に与える影響(2014〜, Radboud大と共同研究)
  • オーケストラ鑑賞における解釈の変容過程(2009〜2012,慶應義塾大と共同研究)
  • 音楽への感性を開拓するメタ認知支援ツール(2010)
  • 楽譜簡易化によるピアノ練習支援システム(2009)
  • 楽譜色付けによるオーケストラスコアリーディング支援システム(2008〜2013,慶應義塾大と共同研究)

音楽と言語:音楽の統語論,音楽の意味論、音楽の語用論

  • 音楽理論GTTMによる自動楽曲分析、自動編曲(2014〜, はこだて未来大、JAISTと共同研究)
  • スペクトルディップ法による自動和音推定(2008〜2010)
  • コンティグマッピング法による自動声部分離(2010〜2011)
  • HMMSVMを用いたピアノ自動運指推定(2010)
  • 保科理論に基づくピアノ演奏自動表情付け(2010)
  • バロック音楽の通奏低音自動リアライズシステム(2007〜2008,IPA未踏ユースによる助成)

聴覚障害と音楽(日本学術振興会 科学技術研究費による助成)

  • 音楽ゲームを用いた聴覚障害者のためのリズム認知能力トレーニング(2014〜2016, 筑波技術大と共同研究)
  • 聴覚障害者の音楽認知能力(2014〜, 筑波技術大と共同研究)
  • 聴覚障害者の環境音認知能力の評価手法(2015〜, 筑波技術大、茨城大と共同研究)
  • 聴覚障害者の楽器認識トレーニング(2015,筑波技術大と共同研究)
  • 聴覚障害者の音楽活動の調査(2014,筑波技術大と共同研究)

音の情報表現:直感的な可視化・可聴化技術の開発

  • 視聴覚メディアにおける直感的な提示方法の認知心理的評価(2016〜, Radboud大と共同研究)
  • 弱視者のための笑顔可聴化を用いた表情認識支援(2014〜, 筑波大サイバニクス研究センターと共同研究)
  • 心拍可聴化による不整脈診断支援(2014〜, 筑波大病院と共同研究)
  • 筋活動可聴化によるフェイシャルマッサージ支援(2014〜, 資生堂と共同研究)
  • 地震可聴化による伝播メカニズムの解明(2013〜, 産業技術総合研究所と共同研究)
  • 聴覚フィードバックによるリハビリ支援ウェアラブル機器(2012〜2016, 筑波大サイバニクス研究センター、筑波技術大と共同研究)
  • 環境音の効果的な視覚提示の手法(2011)