音声エージェントを用いた対面協調検索環境の検討

全文

(1)Vol.2018-GN-104 No.16 2018/3/20. 情報処理学会研究報告 IPSJ SIG Technical Report. 音声エージェントを用いた対面協調検索環境の検討山本卓嗣1,a). 高田秀志2,b). 概要：複数人がそれぞれスマートフォンなどの携帯端末を持ち寄り，ある共通の目的を達成するために協調して Web 検索を行う「協調検索」という作業がある．協調検索では，各作業者が同時に Web 検索を行なう場面が多く発生するため，他者が何をしているかなどといったアウェアネスを共有しにくいという問題が発生する．本研究では，この問題に対して，音声認識機能を搭載したエージェントを用いることを考える．音声エージェントを用いるに当たっての検討事項の調査するために行った 2 つの実験では，以下のようなことが明らかになった．一つ目の調査実験では，ユーザがそれぞれ持ち寄った端末とは別に音声エージェントをサポートエージェントとして用いた場合に，「検索」機能などが有用である可能性があることがわかった．二つ目の調査実験では，音声で検索クエリを入力することで，ユーザ間でアウェアネスが共有しやすくなる可能性があることがわかった．. The consideration of a Co-located collaborative search environment using speech agent Takatsugu Yamamoto1,a). Hideyuki Takada2,b). Abstract: ”Collaborative search” is the work that several people search and share information on the Web to achieve a common purpose, using mobile devices such as smart phones that each person brings. In collaborative search, there are many scenes where each worker performs Web search at the same time, leading to a problem that it is diﬃcult to share awareness such as what others are doing. In this research, we will consider using an agent equipped with the speech recognition function to solve this problem. We conducted two experiments to investigate in issues on using the speech agent. The first experiment revealed that the ”search” function would be eﬀective if a separate speech agent was used along with mobile terminals brought by users. The second experiment found that awareness could be easily shared among users by entering search queries with speech.. 1. はじめに日本におけるスマートフォンの普及率は 71.8 ％，タブレット型端末は 34.4 ％であり [1]，携帯端末を所有するこ. 初めてパソコンの利用を上回った．また，インターネットを利用する目的として，Web 上の情報を検索，収集することが挙げられており，携帯端末は Web を利用する主なデバイスに移り変わってきていると言える．. とは当たり前になっている．それに加え，世代別インター. 携帯端末で Web を利用する方法の一つに，複数人で，あ. ネットの利用動向では，50 代以下の世代でスマートフォン. る共通の目的を達成するために，Web 上の情報を検索し，. でのインターネットの利用の伸びが顕著であり，40 代では. 共有を行う「協調検索」という作業がある [2]．本研究では，同一の場所に複数人の作業者がそれぞれ携帯端末を持. 1. 2. a) b). 立命館大学大学院情報理工学研究科 Graduate School of Information Science and Engineering, Ritsumeikan University, Shiga 525-8577, Japan 立命館大学情報理工学部 College of Information Science and Engineering, Ritsumeikan University, Kusatsu, Shiga 525-8577, Japan t [email protected] [email protected]. ⓒ 2018 Information Processing Society of Japan. ち寄り，協調して Web 検索を行う作業を対象とする．協調検索では，共通の目的を達成するために，作業者間でコミュニケーションをとり合う，即ち，意識の共有が不可欠である [3]．作業者間でコミュニケーションを円滑にとりあえるようになるための要因として，各作業者が，他. 1.

(2) Vol.2018-GN-104 No.16 2018/3/20. 情報処理学会研究報告 IPSJ SIG Technical Report. の作業者が何をしているかといったアウェアネス情報を取得できるようになることが求められる．. 2.1 音声認識技術手の使えない環境での端末への入力操作として，車両内. しかし，協調検索を行う際，各作業者は持ち寄った端末. において，ユーザ間の会話から電話を起動することを可能. で同時に Web 検索を行うため，作業者は，自身が Web 検. にしている研究 [6] では，音声入力による端末への操作の. 索を行っている最中に，他の作業者のアウェアネス情報を. 有効性が示されている．. 取得しにくいといった問題が発生している [4]．また，作業者の中には，他の作業者とあまりコミュニケーションをとらず，黙々と Web 検索を行う作業者がいる．このような. さらに，入力の作業負荷を軽減することを目的として，. Web ブラウザの検索を音声入力で行う研究 [7] がある．これらの研究では，キーボード等による入力を音声に. 作業者は，他の作業者との意識の共有が十分になされず，. よって代替することを目的としているが，本研究では，音. 協調検索の結果として生み出される成果物に意見が反映さ. 声認識技術を作業者間のアウェアネス共有に用いることを. れにくくなるといった問題が発生する．. 考える．. これらの問題を解決するために，本研究では，対面での協調検索において，検索クエリを音声によって入力することを考える．各作業者が，検索クエリの入力を音声で行う. 2.2 アウェアネス情報の把握 WeSearch[4] では，携帯端末を持ち寄った協調検索では，. ことにより，作業者間でアウェアネスを共有しやすくなる. 作業者間のアウェアネスを共有しづらいという問題点を. と考えられる．また，黙々と Web 検索を行う作業者も，音. 挙げている．この問題を解決するために，テーブルトップ. 声で検索クエリを入力することで，他の作業者へ自身の意. ディスプレイで作業を行うことを提案し，その有用性を示. 見が伝わりやすくなると考えられる．検索クエリを音声に. している．テーブルトップディスプレイは，1 つの大きな. よって入力する協調検索を実現するためのアプローチとし. 画面の情報を作業者間で操作する環境を提供することで，. ては，Apple 社の Siri*1 や，Google 社の Google Assistant*2. アウェアネスを共有することを可能にしている．. などの個人端末をサポートする音声エージェント [5] を用. 一方で，本研究では，音声認識技術を用いてアウェアネ. Home*3 などの個人端末. スを音声情報として共有することを考える．協調検索では. とは別の音声エージェントでグループの作業者全体をサ. 作業者が携帯端末をそれぞれ持ち寄って Web 検索を同時. ポートする方法の 2 つがあると考えられる．前者において. に行う．そのため，各作業者が Web 検索を行なう際に，他. は，アウェアネスを共有する方法として，音声情報を用い. 者が何をしているかなどといったアウェアネス情報が把握. ることが有効かどうかを調査する必要がある．また，後者. しにくい．協調検索で入力される検索クエリを音声で行え. においては，音声エージェントによってグループの作業者. るようにすれば，他者がどのようなクエリで検索を行って. 全体にどのようなサポートが可能かを調査する必要があ. いるのかを把握できるようになり，アウェアネスが向上す. る．本稿では，これらを調査するために行った 2 つの調査. ると考えられる．. いる方法と，Google 社の Google. 実験について述べる．以下に本稿の構成を示す．2 章では，音声認識の応用に関する研究を示した上で，協調検索に音声エージェントシ. 2.3 スピーチベースのサポートエージェントのミーティングへの利用. ステムを用いること，および，本研究で想定する音声エー. Siri や Google Assistant は，スピーチベースのサポー. ジェントの役割について述べる．3 章では，個人端末とは. トエージェントである．このようなサポートエージェン. 別の音声エージェントでグループの作業者全体をサポート. トは，トリガとなる言葉 (Siri の「Hey, Siri.」や，Google. する場合の検討事項を調査した実験について述べる．4 章. Assistant の「Ok, Google.」) をエージェントが検知した. では，音声エージェントシステムを協調検索に用いた場合. 場合に，ASR(Automatic Speech Recognition) が起動し，. の音声による検索クエリ入力の効果を調査した実験につい. ユーザの次の音声操作によって，目的のアクションを起こ. て述べる．5 章では，本稿のまとめと今後の展望について. す．このトリガとなる言葉を，ミーティング中の自然言語. 述べる．. から抽出することを目的とした研究 [5] では，抽出した言葉. 2. 音声エージェントが協調検索に与える効果. から，目的のアクションを起こすことの有用性を被験者が評価している．この研究では，実際にミーティングに参加. 本節では，音声認識技術，および，それらを協調検索に導. していた被験者に抽出された言葉を示し，この言葉に基づ. 入した場合の効果として考えられることについて述べる．. くアクションが妥当であるかどうかの評価を被験者に行っ. *1 *2 *3. Siri https://www.apple.com/jp/ios/siri/ Google Assistant https://assistant.google.com/intl/ja\ _jp/ Google Home https://store.google.com/product/google_ home?hl=ja. ⓒ 2018 Information Processing Society of Japan. てもらっている．結果として，抽出されたアクションがサポートエージェントによって行われたとしても有用とは言えないことが示され，そのような結果になった要因についての考察が述べられている．. 2.

(3) Vol.2018-GN-104 No.16 2018/3/20. 情報処理学会研究報告 IPSJ SIG Technical Report. この研究に対し，本研究は，支援対象をミーティングで. • 被験者に呼びかけられないと応答しない. はなく協調検索作業とし，また，自然な会話からコマンド. • 被験者と一問一答の会話しかできない. を抽出するのではなく，従来のスピーチベースのサポート. • 被験者が要求したことしかできないさらに，被験者がサポート役に要求できる項目の仮説と. エージェントを用いる．以上のような考えに基づき，本研究では以下の 2 つの調. して，表 1 に示す「検索」「送信者の指定」「他の検索結果. 査実験を行った上で音声エージェントを協調検索作業に活. の表示」「推薦」を例として挙げ，どのような言葉でそれら. 用する方策について検討する．. を要求すればよいかを説明した．. • 作業者が持つ端末に加えて，スピーチベースのサポートエージェントを協調検索に導入した場合に，作業者. 表 1 要求事項の仮説. 要求項目. 発話内容の例. 検索. 検索クエリ. 送信先端末の指定. 送信者名. はこのサポートエージェントにどのような支援を要求するのかを調査する実験（調査実験 1）. • 検索クエリを音声で入力することでアウェアネス把握が容易になるかを調査する実験（調査実験 2）. 他の検索結果の表示. 「他にある？」. 推薦. 「オススメは？」. 一時保存. 「これ覚えておいて」. 3. 調査実験 1 本節では，協調検索に導入したサポートエージェントに要求される機能を調査した実験について述べる．. 実験では，被験者の作業の様子を画像および音声として記録した．また，使用したすべての端末の画面の録画した．. 3.1 実験方法本実験では，被験者は音声によるサポートエージェントと対話を行いながら協調検索を実施する．サポートエージェントの音声認識精度や実行できる機能に関わらず，どのような機能が求められるのかを純粋に調査するために，サポートエージェントは筆頭著者が擬似的に務めることとした．サポートエージェントを除いた被験者は，情報系の学生 3 名である．被験者とサポートエージェント役の筆者は図 1 に示すように対面して着席した．. これらの情報から，上記の項目のそれぞれが何回使用されたかを数えた．実験後に被験者にインタビューを行い，どのような時にサポートエージェント役に要求をしようと思ったかを調査した．. 3.2 結果まず，仮説として設定した機能項目が何回使われたかを表 2 に示す．結果として，「検索」と「一時保存」は使われたが，「送信者の指定」「他の検索結果の表示」「推薦」は一度も使われなかった。また，この他に要求された機能は無. サポートエージェント役. 被験者. かった．表 2. 被験者. 被験者. 図 1. 作業者間の位置関係. 被験者のサポート役への要求結果. 要求項目. 要求回数. 検索. 8. 送信先端末の指定. 0. 他の検索結果の表示. 0. 推薦. 0. 一時保存. 1. 被験者 3 名はそれぞれ iPad を 1 台ずつ，サポートエージェント役は iPhone を 1 台所持して協調検索を行った．. 次に，実験後に行った被験者へのインタビュー調査の結. 実施した作業の内容は，被験者 3 名での北海道への一泊二. 果について述べる．インタビュー調査の結果，「検索クエリ. 日の旅行に行くための計画の立案である．被験者 3 名は，. が長くなると，携帯端末上のフリック操作によるキーボー. 実行可能な旅行計画を立案し，被験者が訪れる観光地名. ド入力よりもサポートエージェント役に頼んだ方が楽なの. や，宿泊先，食事処，移動経路などを計画書にまとめて提. で，そのような検索を行う際に依頼した．」という回答が被. 出する．. 験者 2 名からあった．また，「推薦」と「他の検索結果の表. また，協調検索を補助する目的で配置したサポートエー. 示」について，「自分たちの旅行計画なので他者の意見は. ジェント役には，以下の制限があることをあらかじめ被験. 反映したくなかった．」という意見が被験者 3 名全員から. 者に説明した．. あった．. ⓒ 2018 Information Processing Society of Japan. 3.

(4) Vol.2018-GN-104 No.16 2018/3/20. 情報処理学会研究報告 IPSJ SIG Technical Report. 3.3 考察まず，仮説として設定した機能項目についての考察を述べる．仮説で立てた要求事項の内，サポート役に「検索」. 4. 調査実験 2 本節では，対面での協調検索における検索クエリの入力. を要求した場面は，被験者間で議論を行い，そこから新た. を，音声入力で行う場合の効果を調査するために行った実. に検索を行う場面であった．従って，「検索」については，. 験について述べる．. 上記の場面で利用される可能性があると考えられる．一方で，「検索」以外の機能がほとんどあるいは全く利用されな. 4.1 実験方法. かった要因として，サポート役がコンピュータではなく人. 対面での協調検索における検索クエリの入力を，音声で. であったために，被験者がサポート役の役割を十分に理解. 行った場合，作業者間のアウェアネス情報の把握が容易に. できていなかったことが考えられる．. なると考えられる．本実験の目的は，この仮説を検証する. 「送信者の指定」は，検索によって発見した Web ペー. とともに，それぞれ持ち寄った携帯端末への音声入力や，. ジを他の作業者に個別に送信する際に要求されると想定し. 実験の様子の観察から，サポート役となる音声エージェン. た項目である．この機能が利用されなかった理由は，Web. トへの機能要求を調査することである．また，仮説の検証. ページの共有は個別の作業者と行うのではなく，作業者全. を行うために，音声入力を使わない通常の協調検索との比. 員と行うことが多いことが挙げられる．実際に，筆者らの. 較を行った．. グループで実施した他の研究での協調検索の様子を 2 例観. 本実験の被験者は，情報系の学生 3 名である．被験者 3. 察したところ，そのような傾向が見られた．今回の実験で. 名は，図 2 のように対面して着席した．被験者は，それぞ. も，個別の作業者への送信に加えて作業者全体にも送信で. れ携帯端末 (iPad) を 1 台ずつ所持し，Siri の音声認識機能. きるような説明をしておけば，Web ページを送信する機能. を用いて検索クエリを入力し，協調検索を行った．実施し. 自体は使われた可能性がある．. た作業の内容は，被験者 3 名が旅行会社のプランナ役とな. 「他の検索結果の表示」と「推薦」が使われなかった理. り，福岡県と神奈川県への旅行計画を立案することである．. 由としては，「自分たちの旅行計画なので他者の意見は反. 最初の作業では，音声で検索クエリを入力する協調検索に. 映したくなかった．」という意見から，被験者がサポート. よって福岡県への旅行計画を立案し，次の作業では，キー. エージェントを人として認識していたことが考えられる．. ボードで検索クエリを入力する協調検索によって神奈川県. 従って，実際の音声エージェントを用いれば，このような. への旅行計画を立案した．被験者 3 名は，実行可能な旅行. 意見はなくなると考えられる．また，録画された作業の様. 計画を立案し，被験者が訪れる観光地名や，予算，食事処，. 子を見ると，ある被験者が発した問に対して，どの被験者. 移動経路などを計画書にまとめて提出する．. も回答を持ち合わせていない場面が数回観察された．このような場面で，「他の検索結果の表示」や「推薦」を音声エージェントに要求するようになれば，音声エージェント. 被験者. が協調検索に有効に働くと考えられる．「一時保存」は，観光地を探す場面で利用された．具体的には，被験者間で決めた観光地の候補とは別の観光地を被験者全員で探すために，候補となった観光地の名前を一時的に覚えておいて欲しいという要求があった．従って，. 被験者. 被験者. このような場面での音声エージェントへの要求方法の例を示すことによって，さらに要求回数が増えることが考えら. 図 2. 作業者間の位置関係. れる．一方で，インタビュー調査の結果として，検索クエリが長くなる場合にサポートエージェント役に検索を要求する. 4.2 評価方針. ことがわかった．これは，先に挙げた，Web ブラウザの検. 本実験の調査方針として，検索クエリを音声で入力する. 索を音声入力で行う研究 [7] の結果と同様に，入力にかか. ことにより，作業者間のアウェアネス把握が容易になると. る作業負荷を軽減するためにサポートエージェントを利用. いう仮説を立て，作業後の被験者への 7 段階評価のアン. していることが考えられる．ただし，今回の実験では，各. ケートを用いて検証した．アンケートの質問内容を表 3 に. 個人の端末での検索クエリの入力には音声を利用していな. 示す．それぞれの質問には自由記述欄を設け，なぜその値. かったため，もし個人端末上でも検索クエリを音声入力に. で評価したかを回答してもらった．Q.4 に関しては，音声. より行うとした場合には，サポートエージェントには検索. で検索クエリを入力する協調検索のみで調査した．. の要求が行われない可能性がある． ⓒ 2018 Information Processing Society of Japan. また，実験の様子の録画，録音を行い，それらから音声. 4.

(5) Vol.2018-GN-104 No.16 2018/3/20. 情報処理学会研究報告 IPSJ SIG Technical Report. 4.4 考察. 表 3 アンケート内容. Q.1 に関して，音声を用いた検索クエリの入力の方が評設問. 質問内容. Q.1. 自身が Web 検索をしている際に，他者が何をしてい. 価が高くなった．これは，Web 検索を同時に行う際に，他. るか把握できましたか？. 者の声が聞こえてていたので，他者が何をしているか把握しやすかったということが要因として考えられる．実際に. Q.2. 検索クエリの入力は簡単でしたか？. Q.3. 自身の Web 検索に集中できましたか？. Q.4. 音声で入力したくない検索クエリはありましたか？. Q.5. 旅行計画に自身の意見は反映されていましたか？. Q.6. 全員の意見が旅行計画に反映されていましたか？. 評価理由の記述内容からも同様な意見が得られた．これらから，検索クエリを音声で入力することにより，作業者間のアウェアネス把握が容易になるという仮説は正しかったと言える．. Q.2 に関しては，音声入力を用いた検索クエリの入力の方が低い結果となった．これに関しては，音声による検索. エージェントへの機能要求として考えられる項目を調査. クエリの入力では，ユーザが意図する固有名詞を正しく. した．. 特定できなかったことが原因であると考えられる．また，. さらに，実験後，被験者にアンケート結果についてのインタビュー調査を行った．. ユーザが，読み方のわからない単語の含まれた検索クエリを入力する場合も，音声入力の方がキーボードによるコピー＆ペースト操作よりも使いにくくなると考えられる．. 4.3 結果. Q.3 に関して，音声を用いた検索クエリの入力の方が評. まず，ユーザへのアンケート結果について述べる. 3 人. 価が低くなった．これに対しては，被験者が音声入力に慣. の被験者からの各質問に対する評価値を平均した結果を図. れていなかったということが要因として考えられる．ま. 3 に示す．. た，評価理由の記述内容であげられた「周りが静かな時に. Q.1 に対する評価理由の回答として，「他の人の声が聞. しか使えなかった．」という問題に対しては，個人の声を識. こえたから．」という回答が被験者 2 名からあった．また，. 別できる音声認識技術が発展することによって解決される. Q.2 に関して，「駅名などの固有名詞を調べる際に誤認識が. と考えられる．. あった．」という回答や，「読めない漢字があると検索できなかった．」などといった回答があった．Q.3 に関しては，. Q.4 に関して，被験者全員が音声で入力したくないクエリがあることを強く示した．評価理由の記述内容を含める. 「周りが静かな時にしか使えなかった．」という回答を被験. と，これに関しては，Q.2 と同様に，固有名詞や読み方の. 者 2 名から得た．Q.4 に関しては，「読めない漢字」があ. 分からない漢字を入力することが障害になっていると考え. る時や，「駅名などの固有名詞」を含んだ検索では音声認. られる．. 識を利用したくないという回答があった．Q.5 および Q6. Q.5 と Q.6 で意見が反映されたと感じる被験者が多かっ. に関しては，「相談したから．」「特になし．」という回答が. たこと関しては，今回の被験者 3 名全員が会話に参加し，. あった．. 黙々と Web 検索を行う被験者がいなかったことが原因と. また，実験全体に関する自由記述の結果として，「キーボード入力の際は，他者と話しながら検索ができた」という回答があった．. して考えられる．従って，あまり会話に参加しない被験者がいる場合には，評価値に差が出てくると考えられる．また，「キーボード入力の際は，他者と話しながら検索ができた」という回答から，音声エージェントを協調検索. 7. に用いる場合，個人端末を音声エージェントで支援するア. 6. プローチよりも，外部に音声エージェントを設け，それが. 5. グループを支援するアプローチの方が良い可能性が考えられる．. 4. 5. おわりに. 3 2. 本稿では，音声エージェントを用いることによる対面で. 1. の協調検索の支援について述べた．また，協調検索に音声. 0 Q.1.. Q.2.. Q.3. ⾳声⼊⼒. Q.4. キーボード⼊⼒. Q.5.. Q.6.. エージェントを用いるに当たっての検討事項を調査した 2 つの調査実験について述べた．調査実験の結果，音声情報を用いて作業者間でアウェアネスを共有することは可能で. 図 3 アンケート結果. あり，作業者が持ち寄った携帯端末以外に音声エージェントを設け，そのエージェントによって作業者を支援するこ. ⓒ 2018 Information Processing Society of Japan. 5.

(6) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2018-GN-104 No.16 2018/3/20. とが有用である可能性があることがわかった．また，音声エージェントが持つべき機能としては，「検索」が有用であることが分かった．一方で，「他の検索結果の表示」，「推薦」，「一時保存」，「送信先端末の指定」の有用性については，実際の音声エージェントを用いてさらに検証を行う必要性があることがわかった．今後は，今回行った 2 つの調査実験をより多くの被験者により実施し，結果の妥当性を検証する．また，調査実験から得られた知見を元に，音声エージェントを構築していく．参考文献 [1]. [2]. [3]. [4]. [5]. [6]. [7]. 総務省：情報通信統計データベース，http: //www.soumu.go.jp/johotsusintokei/whitepaper/ ja/h29/html/nc262110.html (2016). Morris, M. R.: A survey of collaborative web search practices, Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 1657–1660 (2008). 岡田謙一：4. 協調作業におけるコミュニケーション支援 (小特集コミュニケーション支援)，電子情報通信学会誌， Vol. 89, No. 3, pp. 213–217 (2006). Morris, M. R., Lombardo, J. and Wigdor, D.: WeSearch: supporting collaborative search and sensemaking on a tabletop display, Proceedings of the 2010 ACM conference on Computer supported cooperative work, ACM, pp. 401–410 (2010). McGregor, M. and Tang, J. C.: More to Meetings: Challenges in Using Speech-Based Technology to Support Meetings., CSCW, pp. 2208–2220 (2017). Boyce, S. and Gorin, A.: User interface issues for natural spoken dialog systems, Proc. ISSD, Vol. 96, pp. 65–68 (1996). 甲斐充彦，中野崇広，中川聖一ほか：音声認識サーバSPOJUS-を利用した WWW ブラウザの音声操作システム，情報処理学会研究報告音声言語情報処理 (SLP)， Vol. 1998, No. 12 (1997-SLP-020), pp. 81–86 (1998).. ⓒ 2018 Information Processing Society of Japan. 6.

(7)