第 4 章 システムの有効性評価実験
4.2 評価実験の方法
4.2.1 評価の方針
評価の目的1については、システム運用開始前のPEB実行頻度とシステム運用期間 中のPEB実行頻度を調べればよい。評価の目的2については、図4.1に示す手順で評 価する。
(1) システムの要求仕様を満たしているかを確認する
システムの利用ログ、ユーザが残したコメント・つぶやき、有効性評価アンケー ト結果、実験後のインタビュー結果など様々な実験結果から、システムの要求仕 様を満たしているのかを多角的に評価する。
PEB促進・持続
システムの目的(1)
要求仕様(ⅰ)
システムの目的(2)
要求仕様(ⅱ)
要求仕様(ⅲ)
システムの要求仕様を満 たしていたか確認する システムの目的が
PEB促進・持続に影響して いたかを評価する
システムの目的を満たし ていたかを確認する ３３
３３ ２２２２ １１１１
図 4.1: 評価手順
(2) システムの目的を満たしているかを確認する
要求仕様を満たしているかを確認した上で、システムの目的が満たされている かを確認する。
(3) システムの目的がPEB促進・持続に影響しているかを評価する
有効性評価アンケート結果など様々な実験結果から、それぞれのシステムの目 的のPEB促進・持続への効果を多角的に評価する。
4.2.2 実験協力者
実験協力者として、50代男女一名ずつに協力してもらった。実験協力者は以下の基 準で選んだ。
• 同居している世帯人数が少ない
– 本研究では、サイバースペース上の同じ場所で他者がPEBを行っていると感 じさせることで、PEB促進・持続を目指している。しかし、同居している世
帯人数が多い場合は、同じ世帯内で同じPEBを同時に複数人が行う可能性が あり、システム以外の効果が入ることにより、評価が難しくなるためである。
• PEBを行う機会がある
– PEBを促進・持続させるためには、促進・持続させる対象のPEBを行う機会 が必要なためである。
• 情報機器を扱える
– 本システムはiPhoneやiPod touchなどの携帯情報端末により実現されてい るので、自分で文字を入力できる程度には情報機器を扱える必要があるため である。
実験協力者の属性は以下の表4.1の通りである。以下、50代の女性の実験協力者を 実験協力者F、50代の男性の実験協力者を実験協力者Mと呼ぶ。
表 4.1: 実験協力者の属性
年齢 性別 居住地 職業大分類 家族構成
実験協力者F 50歳 女 鳥取県 専門技術職 一人暮らし
実験協力者M 56歳 男 鳥取県 管理職 一人暮らし
4.2.3 システム運用期間
PEBを持続させるためには、PEBを習慣化させることが有効であると考えられる。
ものごとを習慣化するには3週間〜1か月程度の時間を要すると言われており[37]、PEB を持続したかどうかを調べるためには、3週間以上の期間が必要である。さらに、日常 生活で行うことができるPEBの中には、「買い物に行く時は、エコバックを持ってい くようにしてみませんか」など毎日行う機会がある訳では無いPEBも含まれており、
それらを習慣化させるためには、より長期のシステム運用期間が必要だと考えられる。
そこで、本実験ではシステムの運用期間は2010年8月24日から2010年11月2日まで の10週間とした。ただし、システムの運用期間は当初10週間を予定していたが、シ ステムのトラブルから、システム運用開始65日目の2010年10月27日でシステムの運 用を打ち切った。
4.2.4 コミュニティメンバ
1つのコミュニティにつき11名のコミュニティメンバでシステムを運用する。2人 の実験協力者間のコミュニケーションがあると、実験協力者同士の相互作用により実 験条件を統制できないため、実験協力者Fと実験協力者Mを別々のコミュニティに入 れ、実験協力者以外のコミュニティメンバ10名をすべて会話エージェントとする。
実験協力者には、コミュニティメンバは現実の人々が5名、会話エージェントが6名 で構成されると説明しているので、会話エージェントは、実験協力者が現実の人だと 間違うような高度な会話エージェントが必要である。しかし、本研究では、高度な会 話エージェントの開発は研究の対象外にしているので、実験者自身が会話エージェン トとして実験協力者以外のコミュニティメンバを演じた。
このシステムは、SNSに登録した際に、PEBを行ったことを伝え合うメンバが同世 代の人々の中でランダムに登録されることを想定しているので、コミュニティメンバ の構成は、平成17年の国勢調査結果[39]を用いて、働いているどうかなどの属性、一 人暮らしかどうかなどの世帯構成、職業大分類に基づいた職業を、不自然な割合にな らないように調整した。
また、実際に実験者が実験協力者以外のコミュニティメンバを演じられるかどうか を確認するため、40代女性の実験協力者1名に対して、システム動作確認実験を平成 22年8月3日から10日間行った。実験終了後、実験協力者に対して、「どのような人 がグループの中にいましたか」と質問したところ2〜3名のコミュニティメンバの特徴 を挙げていた。また、コミュニティメンバは実験者が演じていたことを伝えると、「実 験者が演じていたとは到底思えなかった」と述べていたことから、実験者が実験協力 者以外のコミュニティメンバを演じられることを確認した。
4.2.5 実験手順
システムの有効性評価実験の手順を図4.2に示し、以下で説明する。
(1) システム運用前
システムの運用1週間前に携帯情報端末と無線LAN親機を実験協力者に送付 し、携帯情報端末の扱いに慣れてもらった。これは、システム導入後に携帯情報 端末が珍しいという理由で、実験協力者が一時的にシステムを頻繁に使うことを 防ぐためである。
システム運用後 運用期間システム システム運用前
運用開始1週間前 運用開始2日前
携帯デバイス・無線LANの送付 Bluetoothステーションの設置
システムの説明 事前アンケート*への回答
PEB実行頻度アンケートの実施 PEB実行頻度アンケートの実施 PEB実行頻度アンケートの実施 PEB実行頻度アンケートの実施 PEB実行頻度アンケートの実施 PEB実行頻度アンケートの実施**
有効性評価アンケートの実施***
インタビューの実施
運用開始1週間後 運用開始2週間後 運用開始4週間後 運用開始6週間後 運用開始8週間後 運用終了後
運用終了後 時間経過
システムの運用開始
システムの回収
この期間システム を利用してもらった
* ：事前アンケートは生活習慣アンケートとPEB実行頻度アンケートから構成される
** ：システムの運用をシステム運用開始65日目に打ち切ったので、システム運用開始70日目に予定していた PEB実行頻度アンケートをシステム運用開始65日目に行った
***：システム運用終了3日後に有効性評価アンケートを行った
図 4.2: システム評価実験の実験手順
システムの運用開始2日前に実験者が実験協力者の家庭にBluetoothステーショ ンを設置し、システムの利用方法などを説明した。システム運用期間まではシス テムを使用しないよう実験協力者に教示した。その後、「お風呂に入る時間帯」「出 勤する時間帯」「食事をつくる時間帯」などを問う生活習慣アンケートと基本推薦 PEBについての実行頻度を問うPEB実行頻度アンケートを実施した。
(2) システム運用期間
実験協力者にシステムを使用してもらった。システム運用開始1、2、4、6、8 週間後、およびシステム運用終了時にPEB実行頻度アンケートを実施した。
(3) システム運用後
システム運用後、システムの要求仕様やシステムの目的を満たしているか、そ れぞれのシステムの目的がPEB促進・持続にどう影響したかを問う有効性評価ア ンケートを実施した。その後、有効性評価アンケート結果を基に、その詳細をイ ンタビューした。