議論ファシリテータ支援のための音環境分析に基づく
プロセス可視化手法の設計
Designing Interface for Visualizing Discussion Process based on Auditory Scene
Analysis for Supporting Discussion Facilitators
幸浦 弘昂
1, 白松 俊
1, 水本 武志
2 Hiroaki Koura1, Shun Shiramatsu1, Takeshi Mizumoto21 名古屋工業大学 大学院工学研究科, 2 ハイラブル株式会社
1 Graduate School of Engineering, Nagoya Institute of Technology, 2 Hylable Inc.Abstract We aim to develop methodologies to support discussion facilitators with visualizing
face-to-face discussion process based on the auditory scene analysis. In this paper, we design a user interface-to-face for visualizing discussion process, for recording facilitators’ insights, and for looking back on the discussion process after the discussion. We consider the following requirements for designing a user interface for visualizing the discussion process: (1) playing participants’ speeches when looking back on the discussion, (2) searching the point to looking back with the participants’ activities, (3) searching the point to looking back with facilitators’ comments, and (4) searching the point to looking back with participants’ emotions.
1. はじめに
近年，少子高齢化や教育現場でのいじめ問題など， 多くの社会問題が顕在化しつつある．多様な利害関 係者が協働し，それらの課題について議論する上で， これまで以上に合意形成，相互理解の促進が困難に なる．そこでファシリテータを支援するような技術 の開発が必要であると考える． ファシリテーションに関する先行研究では，「ファ シリテーターの役割は，内容に関するファシリテー ションとプロセスに関するファシリテーションに分 けられる」[Miranda 99, Eden 90, 津村 15]とされてい る．また，ファシリテータは内容に踏み込みすぎる よりもプロセスのマネジメントに注力すべきとも言 われている．ここでのプロセスとは議論参加者の振 る舞いや関係性，メンバー相互間のコミュニケーシ ョン，グループ全体の雰囲気の変化などを指す． これらのことより本稿では，議論ファシリテータ 支援のための対面の議論のプロセスの可視化を実現 したいと考え，特に音環境分析（音源分離，音源定 位）を用いた，議論のプロセスの可視化を実現する． 議論のプロセスを可視化することにより，ファシリ テーションの支援に応用が可能である．また，議論 後のプロセスを振り返り，「どんなきっかけでプロセ スが変化したか」といった検討に使える可視化であ れば，ファシリテータの教育やトレーニングにも有 用であると考えられる．2. 関連研究
2.1 音環境分析に基づく議論評価サービス 議論評価サービス(DAS; Discussion Assessment Service) [水本 17]は，ハイラブル株式会社が提供 する，議論の場における参加者の行動を定量的に 分析・可視化するクラウドサービスである．8ch マ イクロフォンアレイ TAMAGO-03 で録音した音響信 号を Raspberry PI で音源分離・音源定位し，各議 論参加者ごとに発話頻度の推定，発話のターンテ イクなどを推定することができる.本研究では音 環境分析を行う際に利用する． 図 1 に，本研究で使用している DAS を構成する TAMAGO-03 と Raspberry PI を示す． 図 1: TAMAGO-03 と Raspberry PI図 2: DAS のスクリーンショット（全体） 図 3: 発話の Activity のみを拡大したもの また図 2 に，DAS のスクリーンショットを示す．図 2 上 部 は 議 論 参 加 者 の 発 言 量 の 割 合 （ 発 話 の Activity）の時間変化，図 2 左下はターンテイクの 傾向を表す発言遷移確率，図 2 右下は個人の発言 量のグラフである．これらのうち，特に発話の Activity の時間変化は，ファシリテータ教育のた めのプロセス振り返りに有用と考えられる．この， 発話の Activity のみを拡大したものを図 3 に示す． 2.2 韻律情報に基づく議論の空気推定 我々はこれまで，自律的なファシリテータ機構実現 のため，音声データの特に韻律情報から場の空気を 読むような機構の実現を目的とし，(1)議論中の発言に 現れる発話行為の種類の推定手法と(2)議論中の発言 に現れる感情の推定手法を開発し，その評価実験を 行ってきた[幸浦 18]．議論のどの箇所でどんな感情 や発話行為が検出されたかを可視化できれば，ファシ リテータが議論プロセスを振り返る際に有用な情報を 提示できる可能性がある． 2.3 コミュニケーション可視化 日立製作所 基礎研究所にて研究開発されたビジ ネス顕微鏡[日立 11]とは，赤外線センサ、加速度セ ンサ、 マイクセンサの各センサと、無線通信デバ イスを内蔵した名札型の端末で，組織内の人と人と のコミュニケーションを可視化するセンサネット 技術である．議論のプロセス可視化において参考 になるのではないかと考える． 2.4 発話の発散/収束の判別 富山ら[富山 17]は議論中の発話が発散的か収 束的であるかを識別するためのモデルを決定木， RandomForest，NaiveBayes，SVM 等を用いて作成 しており，SVM モデルにおいて 53．9％の分類制 度を示している．ファシリテータは発散と収束を 捉え，適切にファシリテートを行う必要があり，こ れを自動で行うことで，ファシリテータへの支援 につながる．
3. プロセス可視化手法の設計
ファシリテーションの専門家と協議し，プロセ ス可視化手法を検討した．その結果，プロセス可視 化の要求条件として以下の4 点を検討中である． 1. 振り返りの際の，音声再生機能 2. 振り返るべき箇所の探索のため，Activity の時間 変化を積立式グラフで表示 3. 振り返るべき箇所の探索のためのコメント書き 込み機能 4. 振り返るべき箇所の探索のためのアイコン表示 機能 まず1 の機能に関して，ファシリテータが議論の 振り返りを行う際の基礎的機能となる．後から音声 を聴き返すことで，議論中には気づかなかった，聞 き逃した箇所を聴き返すことが可能である．また， 再生バーとグラフの縦軸を平行に同じ縮尺でグラフ の左側に設置することで，2，3，4 のそれぞれ機能に よる聞き返すべき箇所の頭出しにつながる． 実際のファシリテータの方から，このようなグラフ で議論の復習を行なっている方が多いというお話を 伺いし，普段から慣れ親しんでいる様式にする方が， ファシリテータの方からの需要は高いと考えられる． また，時系列を横軸，コメントを縦書きで書き込む よりも時系列的に見やすくなる． 2 の機能に関して，積立グラフを選択したことで 議論参加者それぞれの，時間変化に伴う Activity の 変化が色付きで分かりやすく表示され，聞き返すべ き箇所の頭出しの手助けとなる．また，縦軸に時間， 横軸に Activity を取っているが，これは実際のファ シリテータの方から，このようなグラフで議論の復 習を行なっている方が多いというお話を伺いし，普 段から慣れ親しんでいる様式にする方が，ファシリ テータの方からの需要は高いと考えたためである． また，時系列を横軸，コメントを縦書きで書き込む よりもコメントを時系列的に見やすくなると考えら れる． 3，4 の機能に関して，コメントをグラフ中に自由 に書き込める機能を付与し，アイコンに関しては，「喜び」を検出した際に，参加者それぞれに対応し た色のアイコンをグラフの左側に表示させる機能を 付与する．「喜び」の検出には，幸浦ら[幸浦 17]によ る議論中の発話感情推定を流用する．ファシリテー タの方は，その議論のターニングポイントとなる言 葉を重要視する．議論後に復習する際，議論中に書 き込んだコメントやグラフに表示されるアイコンか ら聞き返す箇所の頭出しを行うことで，議論のプロ セスを変化させた起因となる発言の発見が容易とな る． これらの要求条件を満たすモックアップ図を，図 4 に示す．例えば図 4 の「ここで空気が変わった」 というメモの前では，青で示された参加者発言が多 いが，メモの後からは 3 人が均等に発言しており， アイコンも 2 つ表示されている．この箇所を左の音 声バーで再生することで議論のプロセスを変化させ た起因となる発言を容易に発見することが可能であ る． 図 4: ファシリテータのための議論プロセス可視化 インタフェースとして想定するモックアップ図
4. 実験設定と仮説
4.1 ファシリテータを被験者とする実験の設定 日本ファシリテーション協会の協力のもと，提案 手法の妥当性を検証する評価実験を計画中である． 1. まず，4〜5 名程度の議論を行い，DAS で記録・ 分析する．提案手法のインタフェースをリアル タイム（処理によるタイムラグが数十秒発生す る）で表示する．被験者のファシリテータがこ れを参照して議論の流れを把握しやすくなる かを検証する．なお，この段階ではコメントは メモしない． 2. ファシリテーションを担当した被験者と，複数 人のファシリテーション経験者が，本システム を用いて議論の振り返りを行う。この際，議論 の流れを変えた箇所などのメモを書き加える． 3. 提案するプロセス可視化を用いて音声を再生 しながら議論の振り返りを行う．その際，以下 の 4 つの設定を比較し，各機能の有用性を検証 する． ・全ての機能がある設定 ・メモ書き機能だけない設定 ・アイコン表示機能だけがない設定 ・activity を表す積立式グラフだけがない設定 ・音声再生機能だけがある設定 このとき，いかに早く，その議論の流れが変わるキ ーワードを発見できたかという探索時間を機能の評 価基準とする．最後に，それぞれの機能についての 修正点や改善案などをアンケートにより収集する． 4.2 期待される効果 音声を再生しながら，特定の時間にファシリテー タがコメントを書き入れることで，後の振り返りに おいて，議論の流れを変えるキーワードの発見の大 きな手助けになると考える．そのため，メモ書き機 能，音声再生機能がある場合は，他の場合よりもい い評価が得られるのではないかと考えられる．5. まとめと今後の展望
本稿では，音環境分析を用いた議論のプロセス可 視化設計手法の提案を行い，プロセス可視化の要求 条件として以下の4 つを検討した． 1. 振り返りの際の，音声再生機能 2. 振り返るべき箇所の探索のため，Activity の時間 変化を積立式グラフで表示 3. 振り返るべき箇所の探索のためのコメント書き 込み機能 4. 振り返るべき箇所の探索のためのアイコン表示 今後の展望として，これらのシステムを実装し，実 験を重ね，よりファシリテータが使いやすいシステ ム，デザイン性を追求していく予定である． 謝辞 本研究は，JST CREST (No.JPMJCR15E1)，JSPS 科研費 (No. 17K00461)の支援を受けたものです．フ ァシリテーション支援に関する有用なご助言を頂い た，株式会社ソーシャル・アクティの林加代子氏に 深謝します.J
J
参考文献
[Miranda 99] Miranda, S. M. and Bostrom, R. P.: Meeting facilitation: process versus content interventions, Journal of Management Information Systems, Vol. 15, No. 4, pp. 89-114, 1999. [津村 15] 津村俊充：グループプロセスに焦点をあてた ファシリテーションを学ぶ研修をデザインする, 人間関係研究(南山大学人間関係研究センター紀 要), No. 14, pp. 102-132. 2015. [水本 17] 水本武志. 音環境分析に基づく議論評価サ ービスとその 応用可能性. 人工知能学会第 2 回 市民共創知研究会「みらいらぼつしま」予稿集, pp. SIG-CCI-002-04, 2017. [佐藤 11] 佐藤伸夫、辻聡美，矢野和男：ビジネス顕微 鏡を用いたコミュニケーション・ロールの指標化 の検討，FIT2011 (第 10 回情報科学技術フォーラ ム), 2011. [冨山 17] 冨山健，高瀬裕，中野有紀子，議論中の言 語・非言語情報に基づく発散的/収束的発話の識 別 ，The 31st Annual Conference of the Japanese Society for Artificial Intelligence, 2017
[白松 17] 白松俊, 北川晃, 幸浦弘昂, 熊崎滉大:議論 参加者の行動センシングに基づく場の空気の自 動推定に向けた検討,人工知能学会 第 3 回市民 共創知研究会「みらいらぼなごや」予稿集, pp. SIG–CCI–003–09, 2017. [幸浦 18] 幸浦弘昂，白松俊. "議論の場の空気推定のた めの韻律情報の分析手法の検討", 第 80 回情報処 理学会全国大会, 7ZA-03, 早稲田大学西早稲田キ ャンパス, 2018. [日立 11] 日立ハイテクノロジーズ: ビジネス顕微鏡の 概要, http://www.jfma.or.jp/award/05/pdf/ paneldata07.pdf. 2011（2018 年 5 月 7 日アクセス）
