• 検索結果がありません。

提案手法による定量評価

ドキュメント内 JAIST Repository https://dspace.jaist.ac.jp/ (ページ 85-92)

第 5 章 総合評価

5.5 総合評価実験

5.5.4 提案手法による定量評価

表 5.2 課題の内容

課題の種別 課題1

課題2

課題3

共通事項

内容

3地点遠隔会議において以下を実現する模擬システムを構築してください。

・音声ミキサーを利用して他の2会場の音声のみ聞こえるようにする。

2地点遠隔会議において以下を実現する模擬システムを構築してください。

・エコーキャンセラー2台を利用してエコーバックを極力小さくする。

以下を実現する映像編集システムを構築してください。

・6つのカメラ映像を1つのモニタ画面内に4分割、7分割等で表示する。

・各映像の表示位置は任意に選択可能にする。

・まず設計作業として、機器構成や結線等のシステム設計図を ホワイトボード上に作成する。

・設計作業が終了したら、組立作業に移行し検証まで行う。

・各作業は被験者3名で協力して取り組む。

課題1 設計→組立 (対面会議)

課題2 設計→組立 (従来遠隔会議)

課題3 設計→組立 (提案遠隔会議)

課題1 設計→組立 (提案遠隔会議)

課題2 設計→組立 (対面会議)

課題3 設計→組立 (従来遠隔会議)

課題1 設計→組立 (従来遠隔会議)

課題2 設計→組立 (提案遠隔会議)

課題3 設計→組立 (対面会議) グループA

グループB

グループC

図 5.11 評価実験の組合せと順番

0:00 0:30 1:00 1:30 2:00 2:30

コスト(累積作業時間)[時:分]

対面会議 従来遠隔会議 提案遠隔会議

課題1 設計

課題1 組立

課題2 設計

課題2 組立

課題3 設計

課題3 組立

会議 スケジュール 図 5.12 各システムでの累積作業時間の推移

0.0 0.2 0.4 0.6 0.8 1.0 1.2

会議進捗効率指数PPI

対面会議 従来遠隔会議 提案遠隔会議

課題1 設計

課題1 組立

課題2 設計

課題2 組立

課題3 設計

課題3 組立

会議 スケジュール 図 5.13 各システムでの会議進捗効率指数の推移

0.0 0.2 0.4 0.6 0.8 1.0 1.2

会議進捗効率指数PPI

対面会議 従来遠隔会議 提案遠隔会議

課題1 設計

課題2 設計

課題3 設計

スケジュール会議

<設計作業形態>

0.0 0.2 0.4 0.6 0.8 1.0 1.2

会議進捗効率指数PPI

対面会議 従来遠隔会議 提案遠隔会議

課題1 組立

課題2 組立

課題3 組立

会議 スケジュール

<組立作業形態>

図 5.14 作業形態毎の会議進捗効率指数の推移

次に、本評価実験中での設計作業および組立作業に関する熟練度の効果について評価 を行う。図 5.15 は、設計作業と組立作業のそれぞれ 1 回目(課題 1)、2 回目(課題 2)、 3 回目(課題 3)と作業経験を積むに従い作業時間がどのように変化しているかを示すグ ラフである。図 5.16 は、図 5.15 を 1 回目の作業時間を基準とした作業時間変動比率に 変換したグラフである。これらのグラフより、設計作業に関しては、各グループとも設 計作業経験数の増大にともない、作業時間は減少していく傾向にあることはわかり、特 に設計作業 2 回目の作業時間は 1 回目から約 30%も減少している。この作業時間の変化 は、課題の難易度によるものと、作業熟練度の効果によるものの大きく 2 つの要因が考 えられるため、このすべてが作業熟練度の効果によるものとはいえないが、本評価実験 中の設計作業に関しては、ある程度の熟練度の効果があると考える。一方、組立作業に 関しては、グループ毎に作業時間の変化が異なっており、本評価実験中の組立作業に関 しては作業熟練度の効果がないと考えられる。

以上の結果より、手足を使った実作業をともなわない設計作業等が中心の会議内容の 場合には、提案遠隔会議システムは有効に機能し、会議進捗度合いという面では対面会 議とほぼ同等のパフォーマンスを実現できると推定される。ただし、今回は提案評価手 法の有効性を従来の評価手法結果との比較から推定するため、設計・組立という極めて シンプルで類似した課題を 3 グループに 3 つずつ取り組んでもらうという試験的な環境 で評価を行った。しかし、提案評価手法は本来 EVM と同様に実際の会議において長期的 に測定することでその真価を発揮し、長期的な会議の途中段階における精度の高い会議 進捗度の評価が可能となると考える。

グループA グループA

グループB グループB

グループB

グループC グループC

グループC

グループA

0:00 0:15 0:30 0:45 1:00 1:15 1:30 1回目

2回目 3回目

設計作業経験数

作業時間 [時:分]

グループA グループA

グループB グループB

グループB

グループC

グループC

グループA グループC

0:00 0:15 0:30 0:45 1:00 1:15 1:30 1回目

2回目 3回目

設計作業経験数

作業時間 [時:分]

図 5.15 作業経験数による作業時間の変化

0.0 0.2 0.4 0.6 0.8 1.0 1.2

1回目 2回目 3回目

設計作業経験数

1回目との作業時間比率

グループA グループB グループC 全体

0.0 0.2 0.4 0.6 0.8 1.0 1.2

1回目 2回目 3回目

組立作業経験数

1回目との作業時間比率

グループA グループB グループC 全体

図 5.16 作業経験数による作業時間変動比率の変化

ドキュメント内 JAIST Repository https://dspace.jaist.ac.jp/ (ページ 85-92)