3. 3. 1 スタッフ
職名 氏名 専門分野
教授 中村裕一 情報メディア工学 助教 近藤一晃 情報メディア工学 助教（兼任） 小泉敬寛 情報メディア工学
3. 3. 2 研究内容紹介
3. 3. 2. 1 中村 裕一
人間どうしをつないでくれるメディア，人間を見守るメディア，教えてくれるメディア，気づいてくれるメディ ア，ものごとを簡単に説明してくれるメディア等，様々なメディアを実現するための基礎理論，基礎技術，またそ の実装について研究を行っている．
メディア（画像・音声・言語・生体信号）の知的処理・認識 メディアに様々な機能を持たせるためには，画像，音声，
生体信号等の認識技術を援用することが必要となる．人間（メディアの利用者）のおかれた状況や世界の様子を観 測するための認識技術，コンテンツのインデックス情報を自動獲得するための認識技術等である．そのために，人 間の動作や発話を処理し，どのような動作をしているか，何をしようとしているか，何に注目しているか等を自動 認識する研究を行っている．
新しいメディアの創成，マルチメディア技術 知識の流通や独習等を高度にサポートすることを目的とした新しい メディア創成の研究を行っている．様々な視点から複数のカメラで自動的にシーンを撮影するコンテンツ自動撮影，
映像に付与するためにインデックスやメタデータを取得するための画像や音声の自動認識，ユーザの質問に対話的 に答えるためのインタフェース構築に関する研究等を行っている．題材としては，会話，プレゼンテーション，教 示実演等を扱い，会話シーンの自動撮影・編集システムの構築，プレゼンテーション映像の自動編集規則の設定と ユーザインタフェースとしての評価，「さりげなく作業支援を行なう」のための物体・作業動作認識とユーザイン タフェースに関する研究等を行っている．
遠隔講義・会議支援技術，記憶共有支援技術 メディア技術の実応用に関する研究を進めている．その一つの応用 分野として，遠隔会議・講義の環境が世の中に普及しつつあるが，ユーザはその環境に必ずしも満足していない場 合が多い．我々は，新しいネットワーク技術や認識技術を用いて，新しい遠隔コミュニケーション環境，例えば，
必要なモダリティ（音声・画像・映像）やその質を講義や対話の状況に応じて選択する機能，いつでも遠隔会議に 途中参加できるようにするための会議要約を行う機能の研究等，いくつかの研究を始めている．また，個人の行動 を記録して記憶の想起や経験の共有に使うための研究も行っており，膨大な映像記録から効率よく関連するデータ を検索する手法等を手がけている．
3. 3. 2. 2 近藤 一晃
人間とのインタラクションを通じた自動認識 場や対象を理解しそれに基づいて人間の行動を知的に支援するシス テムを目指し，人間とシステムとのインタラクションを含めたシステム設計，基盤情報技術の導入法について研究 を行っている．
各種センシングを基にした対象の自動認識は，適切な支援を行うための重要な課題である．しかし，実験室のよ うに高度に統制された環境とは異なり，人間を含んだ一般環境では多くの想定外の事象が発生する．例えば，照明 により影ができた，ユーザー自身により隠されてしまった，周囲の喧騒により正しく発話が計測できない，などが 挙げられる．種々の環境要因に対して頑健な認識手法も提案されてはいるが，考えうる全ての要因に十分に対応で きる手法の実現は非常に困難な問題である．
187 3. 3 遠隔教育システム研究分野
このような背景の下，認識が困難である状況の場合は，ユーザーに多少手伝ってもらうことで認識に適した状況 に改善し，認識性能を向上させる枠組みを提案している．ポイントはどのようにすればユーザーから適切な手伝い を受けられるか，である．本研究では，1．システムが場や対象をどのように理解しているのかをユーザーに通知
する，2．認識改善に必要な手伝いをできるだけ労力のかからない形で提示する，ことをリアルタイムで行っている．
現在は，デジタルカメラで撮影した映像に基づいて，キッチンにおける食材，調理器具，調味料といった物体の認 識を具体的な問題設定としてシステムの構築，評価実験を進めている．
3. 3. 2. 3 小泉 敬寛
ライフログ 人間の体験・経験を情報支援，記憶補助，経験共有等に利用可能なメディアを実現するために，その 記録の獲得から検索，要約，表示手法についての研究を行っている．
身に着けたカメラなどの各種センサを用いてありのままに記録することで，その人の体験・経験を長時間記録す る個人行動記録あるいはライフログと呼ばれる記録が提案されている．しかし，得られるデータは，そのままでは 余りに膨大な量になり，素早く必要な情報にアクセスすることが難しくなる．そこで，効率的な検索や要約を可能 にする必要がある．
記憶や記録をたどる最も有効な方法の一つは，強く関連する情報を芋づる式に引き出すことである．本棚と本，
冷蔵庫とペットボトルのような強い関連性は，物理的な隣接性のような形で表れる場合が多い，そこで本研究では，
個人行動記録から物理的環境や人間の行動からそのような関連を検出し，得られた関連性を用いた検索手法を提案 している．また，作業に関する指示や応答などの対話情報を活用することで，対象の説明や名称などのインデック スを付与したり，「部屋の暖かさ」や「次にどこへ行く」といった情報を補足することを試みている．
3. 3. 3 2011 年度の研究活動状況
本研究分野では，人間を活動を支援するための情報システムと人間のインタラクション，個人や集団の行動記録 とその応用，メディア技術を用いた会議の記録と会議の支援等のテーマについて研究を行い，種々の発表を行って きた．2010年度は，生体信号である筋電位を用いた人間のセンシングとして，筋電ユーザインタフェースEMGUI の提案とその構築支援，筋電センシングと画像センシングとの統合による行動予測，筋電情報の音による伝達など を手がけた．作業支援システムとして，環境記憶の考え方によるスマートキッチンでのユーザ行動の記録と行動の 認識，推薦システムの考え方によるユーザに対する支援項目の選択方法の研究を行った．個人行動・グループ行動 記録としては，これまでのライフログ一般に関する研究から忘れ物検索などの応用に絞り，捜し物のための人間の 振る舞いの検出や行動パターンの認識などについて研究を行った．また，複数人がウェアラブルなカメラ等を用い るグループ行動の記録により，種々の重要な行動が記録・検索・閲覧可能であることを実証するための研究として，
ものづくりワークショップ，博物館見学，その他の活動の収録を行い，いくつかのサンプルデータを得るとともに，
その解析処理を始めた．さらに，会議のリアルタイムブラウジング等，新しいモデルや枠組みを提案してきた．今 後これらのアイディアの種々の応用や拡張を試み，その評価を進めていく予定である．
主な研究費獲得および参加状況としては，下記の科研費の他に，科学技術振興機構戦略的創造研究推進事業
（CREST）研究分担としての参加，情報学研究科のグローバルCOEの研究分担（フィールド情報学）等があげられる．
また，本センターにおける活動としては，グループ行動の記録・閲覧に関し，喜多研究室（情報教育システム研 究分野）・塩瀬研究室（京都大学博物館）との研究協力を行っており，今後，プロジェクトベースド学習やフィー ルド学習等，教育支援としての応用を目指した研究を進めていく予定である．
3. 3. 4 研究業績
3. 3. 4. 1 学術論文・ 志土地由香，井手一郎，中村裕一，出口大輔，高橋友和，村瀬洋， マルチメディア情報の補足による初心者 向け料理レシピの作成へ向けて ，電子情報通信学会論文誌，Vol. J94-A, No.7, 2011.
・ 近藤一晃，西谷英之，中村裕一， 協調的物体認識のためのマンマシンインタラクション設計 ，電子情報通信 学会論文誌，Vol. J94-D, No.8, pp. 1206-1215, Aug., 2011.
・ 青山秀紀，近藤一晃，中村裕一，秋田純一，戸田真志，櫻沢繁，筋電位計測と画像計測を利用した把持行動の予測 ，
電子情報通信学会論文誌，Vol.J95-D, No.3, pp. 527-538, Mar., 2012.
3. 3. 4. 2 国際会議（査読付き）
・ Kazuaki Kondo, Yasuhiro Mukaigawa, Yusuke Ikeda, Seigo Enomoto, Shiro Ise, Satoshi Nakamura, and Yasushi Yagi,
“Providing Immersive Virtual Experience with First-person Perspective Omnidirectional Movies and Three Dimensional Sound Field”, Proc. on 14th Int. Conf. on Human-Computer Interaction, Virtual and Mixed Reality, Part I, HCII 2011, LNCS 6773, pp. 204–213, July, 2011.
・ Zhiwen Yu, Xingshe Zhou, Zhiyong Yu, Christian Becker, and Yuichi Nakamura, “Social Interaction Mining in Small Group Discussion Using a Smart Meeting System”, Proc. of The 8th International Conference on Ubiquitous Intelligence and Computing (UIC 2011), Lecture Notes in Computer Science, Springer-Verlag, Sep., 2011.
・ Takayuki Sakurai, Masashi Toda, Shigeru Sakurazawa, Junichi Akita, Kazuaki Kondo, and Yuichi Nakamura, “Study on Detection of muscles activity change and its transition with muscle fatigue”, Proc. of IEEE 2011 International Symposium on Information Technology in Medicine and Education (ITME 2011), pp.18-22, Dec., 2011.
・ Keisuke Ishikawa, Masashi Toda, Shigeru Sakurazawa, Junichi Akita, Kazuaki Kondo, and Yuichi Nakamura,
“Rubust Finger Motion Classification using Frequency Characteristics of Surface Electromyogram Signals”, Proc. of 2012International Conference on Biomedical Engineering (ICoBE2012), 2012.
3. 3. 4.3 その他研究会等
・ 高悠史，吉本廣雅，近藤一晃，中村裕一， 遠隔会議の実時間支援に向けた対話状況の可視化〜対話の結束性 に基づく表現の有効性〜 ，電子情報通信学会：MVE研究会報告，Vol. 111, No. 38, MVE2011-2, pp.13-18，筑 波大学，May, 2011.
・ 安光州，近藤一晃，小泉敬寛，中村裕一， 個人視点映像を用いた対話シーンの検出・認識に関する検討 ，電 子情報通信学会：MVE研究会報告，Vol. 111, No. 38, MVE2011-10, pp. 71-72，筑波大学，May, 2011.
・ 朝倉僚，青山秀紀，近藤一晃，中村裕一，櫻沢繁，戸田真志，秋田純一， 音を用いた筋電情報の提示〜筋電 特徴と音特徴との対応付けと強調〜 ，電気情報通信学会：MVE研究会報告，Vol. 111, No. 38, MVE2011-11, pp.73-74，筑波大学，May, 2011.
・ 家元真司，戸田真志，南部美砂子，櫻沢繁，秋田純一，近藤一晃，中村裕一，“ 繰り返し運動中の異常検出に おける生体信号の利用について ，日本認知心理学会第9回大会発表論文集，pp.35, May, 2011.
・ 津田侑，森幹彦，近藤一晃，小泉敬寛，喜多一，中村裕一， 環境貢献ワークショップにおける個人視点映像 の利用法 ，第25回人工知能学会全国大会，3H1-OS6-4in，いわて県民情報交流センター，June, 2011.
・ 石川圭佑，戸田真志，櫻沢繁，秋田純一，近藤一晃，中村裕一， 表面筋電信号を用いたウェアラブル型ミュー ジック・インタフェース ，情報処理学会研究報告，2011-EC-21(2), pp.1-6, Aug., 2011.
・ 青山秀紀，近藤一晃，中村裕一， 協調フィルタリングを利用した作業支援システムの行動選択 ，情報処理学 会研究報告2011-AVM-74, pp. 1-6，秋田大学，Sep., 2012.
・ 小松原宏識，秋田純一，戸田真志，櫻沢繁，近藤一晃，中村裕一， 導電布を用いたゲーム用途向けの表面筋 電位測定デバイス ，エンタテインメントコンピューティング2010, 06B-06, Oct., 2011.
・ 石川圭佑，戸田真志，櫻沢繁，秋田純一，近藤一晃，中村裕一， 筋疲労を考慮した表面筋電位からのロバス ト指動作識別 ，信学技報MVE2011-32, pp.5-9, Oct., 2011.
・ 榊原弘之，戸田真志，櫻沢 繁，秋田純一，近藤一晃，中村裕一， 表面筋電信号を用いた入力インターフェー スに関する基礎的検討 ，平成23年度電気・情報関係学会北海道支部連合大会講演論文集，Oct., 2011.
・ 大和田敬吾，戸田真志，櫻沢 繁，秋田純一，近藤一晃，中村裕一， 表面筋電位を用いた運動習熟度評価に 関する研究 ，平成23年度電気・情報関係学会北海道支部連合大会講演論文集，Oct., 2011.
・ 小塩俊貴，櫻沢繁，秋田純一，戸田真志，中村裕一， アレイ電極で計測された筋電位による表層筋と深 層筋の活動の識別 ，第12回計測自動制御学会システムインテグレーション部門講演会（SI2011）論文集，
pp.0575-0578, Dec., 2011.
・ 中野克己，吉本廣雅，近藤一晃，小泉敬寛，中村裕一， ジェスチャインタフェースのユーザビリティ向上に 向けたフィードバック構成 ，電子情報通信学会：PRMU研究会報告PRMU2011-182, pp. 359-364，大阪電気通 信大学，Jan., 2012.