第
I
部Web 調査の現状と課題
インターネット環境を利用した調査をインターネット調査という。Web調査はその１つである。
欧米の動向を概観すると、Web調査が従来からの調査法の中に比較的明確に位置づけられており、「調査 誤差」の観点からWeb調査の問題点が整理され、その研究が方向づけられていることが分かる。
これに対し日本では、Web調査の従来の調査法の中での位置づけはおろか、その定義も不明瞭なまま、
様々な立場から、それぞれの目的のもとで、それぞれのWeb調査が行われている。
質の高い調査システムを運用し，調査を適切に実行するためには，個々の調査方法の持つ特質を見極める ことが重要である。調査方法に付随するさまざまな誤差の源泉を特定し，個々の調査方法の問題点への対 応・検討法を常に意識しておくことなしに，調査結果の適切な利用を期待することはできない。この点は，
相対的に新しい調査技法であるWeb調査でも，従来型の調査と変わらない。
第I部では、欧米のWeb調査研究の動向とその議論の枠組み、調査法分類の視点、Web調査の質の管理 に関する指標のあり方などを話題として取り上げ、Web調査の現状とその課題の整理に努める。
1 Web
調査の位置づけマーケティング・リサーチの分野では、従来から調査業務に携わってきた者だけでなく、インターネッ ト・ベンチャービジネスとしての調査業界への新規参入者、Web環境を利用したマーケティング活動（広 告、販売促進など）を主な目的とする者などが、特にWeb環境を利用したデータ収集を行っている。こう したデータ収集活動は、Web調査、Webサーベイ、Webリサーチ、インターネット調査（ネット調査）、イ ンターネット・リサーチ（ネット・リサーチ）、オンライン調査、オンライン・サーベイ、オンライン・リ サーチなどと称されるが、特に厳密な区別はない。
1997年以降現在に至るまで、我々の研究グループは計4回のWeb実験調査を行い、成果の報告等を行っ
てきた（[25][26][34][31]）。この間、いくつかのWeb調査に関するシンポジウムやセミナーを開催してきた
が、必ずといっていいほど、「Web調査は定性調査には使えるが定量調査には使えない」「Web調査に代表 性など求めていない」「Web調査は調査ではない」など、混乱した議論となる。Web調査の位置づけが明 確に定まっていないだけではなく、そもそもWeb調査とは何かについての共通理解が十分ではない現状が ある。
1.1
調査と研究研究と調査はイコールではない。調査は研究の手段・方法の１つである。研究の方法は調査以外にも、実 験、観察、シミュレーションなどがあり、どの方法を選択するかは、それぞれの研究目的による。
ところが、日本では「調査」が「研究」とあまり区別されずに用いられる傾向がある。例えば以下は、
ESOMARの綱領[15]におけるマーケティング・リサーチの定義に関する記述の一部である。
Marketing research includes such activities as quantitative surveys; qualitative research; me- dia and advertising research; business-to-business and industrial research; research among minority and special groups; public opinion surveys; and desk research.
JMRA綱領[24]のこれに対応する部分は、
「マーケティング・リサーチは，・・・その具体的な活動は，次のものである。定量調査、定性調 査、媒体及び広告調査、事業所調査、産業調査、少数民族及び特定グループに関する調査、世 論調査、単なる既存情報の二次的分析ではなく原データの収集を伴う「デスク・リサーチ」」
である。
日本で定性調査と呼ばれるものは、”qualitative research”（質的研究）であり、その研究法は調査に限定 されていない。また、ESOMARの綱領では、その目的から必然的に研究法が調査に限定される定量調査、
世論調査にのみ”survey”という語があてられていることにも注目したい。
ESOMARの綱領に限らず欧米では、researchとsurveyが比較的明確に使い分けられている。一方、日本
ではそれらを指す場合にいずれも「調査」という語を用いることが多い。このことが、「Web調査は調査で はない」のような不毛な議論をもたらす背景の１つとなっている。「調査」は手続きの定まった研究法の１ つであることを十分認識し、”survey”でないものを調査と呼ばないなど、何らかの区別が必要ではないか。
表1: インターネット環境を利用した研究の呼称 Online research
調査 Online surveys, Internet surveys：Web surveys, Web-based surveys, E-mail surveys 実験 Web experiments
観察 Online observations：Online focus groups
表1にインターネット環境を利用した研究の呼称を整理した。日本では、インターネット・リサーチ（あ るいはネット・リサーチ）という言い方をする場合も多いが、欧米ではインターネットの研究を指す場合が 多い。オンライン・リサーチの方が一般的と言える。
インターネット環境を利用した調査は、オンライン調査あるいはインターネット調査と呼ばれる。オンラ イン調査は、E-mail調査とWeb調査とに大別される。E-mail調査には、メールの本文中に記載された質 問に回答しそれを返信するもの、メールに調査票が添付されておりそれに回答して添付書類として送り返 すものがある。一方、Web調査は、典型的には、HTMLなどの言語で記述された調査票がサーバーに置か
れ、E-mailで依頼された回答者が調査票ページにアクセスし、ブラウザで調査票を閲覧した後、回答を送
信する、という手順で行われる。
次に、欧米での状況を参考にしながら、日本における従来の調査法を整理し直し、その中にWeb調査を 位置づけることにする。
1.2
調査−標本抽出とデータ収集−調査研究では、調査を行いたい対象がある。それが例えばある１つの小学校の１つの学年であれば、対象 者全員を調査すればよい。しかし、対象のサイズが大きくなればそれは困難となる。そこで標本を調査し、
その結果から調査対象全体についての推論を行い、何らかの結論を導き出す。調査対象がまず明確にされ、
適切に標本抽出が行われることが調査研究の基本であることは、日本に限らず欧米でも同じである。
調査研究の手順には、大きくわけて標本の抽出（Sample Selectioin）と実査（Data Collection, Survey
Administration）の２つの段階があり、それぞれ次のように整理できる。
標本抽出段階 標本抽出法（Sampling methods）
確率抽出（Probability sampling）：
単純無作為抽出、系統抽出、層化、クラスター、RDD 非確率抽出（Non-probability sampling）：
クォータ法、Convenience、Purposive、Snowboalling、Plausibility データ収集・実査段階 データ収集法（Data collection methods, Survey mode）
• 面接調査、電話調査
• 郵送調査（Disk by Mailを含む）、ファクシミリ調査
• インターネット調査・オンライン調査（E-mail調査、Web調査）
• 上記の混合（Mixed-mode survey）
日本で「調査方法」という場合、標本抽出（標本設計）とデータ収集（実査）が密接不可分に議論される 傾向があり、特に伝統的な調査方法においてはその傾向が顕著である。このことが、母集団が定義できな い、標本抽出枠がない等の解決困難な標本抽出上の問題が指摘されるWeb調査（あるいはインターネット 調査）を、従来の調査法の枠組みに適切に位置づけることを困難にしている。
これに対し欧米では、標本抽出とデータ収集の区分が比較的明確である。欧米で「調査方法（survey
method）」という場合、データ収集法に力点が置かれていると考えてよい。したがってWeb調査も、数あ
るデータ収集法の１つとして議論されることが多い。しかしこのことは標本抽出過程が軽視されているこ とを意味しない。むしろ議論するまでもない基本的な事柄であるという認識があるようである。
このような日本と欧米の「調査方法」のとらえ方の違いは、その調査環境の違いに起因すると言えよう。
日本では、標本抽出に関してほぼ理想的な状況にあり、そのことを所与とした上で調査方法の研究開発が行 われてきたという経緯がある。これに対し欧米の多くの国では、日本のような標本抽出が行えるような環 境が整っておらず、それゆえ標本調査法の研究が盛んに行われ、日本よりも多様な標本抽出法やデータ収集 法が発展してきた。
このような歴史的背景の違いも考慮しなければならないが、日本の理想的な調査環境はもはや過去のも のであり、少し視点を変えて、従来の調査方法を整理し直す必要があるだろう。
1.3
調査方法の分類データ収集法としての調査方法はおよそ次のような観点で分類できる（表2）。
モード 面接／電話／郵便／インターネット インタビューア あり／なし（自記式）
コンピュータ利用 あり／なし
具体的な調査方法の名称は、上の各要素の組み合わせによって決まる。Web調査は「インターネットを利 用したコンピュータ支援による自記式調査」となる。。
特に、コンピュータを利用したデータ収集法は総称して、Computer - Assisted Data Collection（CADAC） もしくはComputer - Assisted Survey Information Collection（CASIC）と呼ばれる欧米ではどのモードの 調査方法においても、調査プロセスの管理や人の作業に伴うエラーの抑制などの観点から、調査における コンピュータ利用が発達しており、それに応じたデータ収集環境の整備も進んでいる。
表2: 調査方法の分類
コンピュータの利用（Computer Assisted）
なし CAI, CADAC, CASIC
インタビューア インタビューア
モード あり 自記式 あり 自記式
面接 面接 面接留置 CAPI CASI
郵便 − 郵送 − Disc by Mail
電話 電話 Fax CATI −
インターネット − − e-Interview e-Mail, Web
2 Web
調査の現状2.1 Web
調査の分類日本で行われている大部分のWeb調査は、調査への協力者をWeb上で公募することで行われる。吉村 ら[33]）は、調査への協力者の確保や調査実施の仕方によって次のように分類した。
表3: 日本のWeb調査の分類
パネルタイプ Web上で協力者を公募し、パネル化 比較的小規模
同一集団に継続して調査を実施
リソースタイプ Web上で登録者を公募し、リソース（登録者集団）を構成 数万〜十数万規模
リソースの一部が調査に参加
リソース内オープン 登録者を対象に調査への参加を呼びかける。
特定の個人への協力依頼は行わない
回答数が目標数に達した時点で調査が打ち切られることが多い 属性絞り込み 登録情報で対象者を絞り込み、調査への参加を依頼
回答数が目標数に達した時点で調査が打ち切られることが多い 現行のWeb調査の大部分を占める
リソース内サンプリング 登録者全体から調査依頼対象者を無作為に抽出 あまり行われない
オープンタイプ Web上に調査票を公開 誰でも参加可能
様々なサイトに置かれたバナー等で誘導
表3ではWeb上での公募に応募した調査参加希望者集団（登録者集団）をパネルとリソースに区別して いる。調査が登録者集団全体に対し継続的に行われる場合をパネルと呼び、目的に応じて登録者集団の一 部を対象に調査が行われる場合にその登録者集団をリソースと呼んでいる。なお、欧米ではいずれもonline
panelと呼ばれる。本セミナーでも、以降、オンラインパネルと呼ぶことにする。
Couper（[8]）は現行のWeb調査を概観し、標本がProbability Samplingによるものかどうかによって、
Probability-based methodsとNon-probability methodsの２つに大別している（表4）。欧米では、この
Couperによる分類が引用されることが多い。
表4: Couper (2001)によるWeb調査の分類
Probability-based methods（標本の抽出が確率的手続きで行われている）
Intercept Surveys ターゲット母集団をそのサイトへの訪問者とし、N番目ごと
に調査への参加を依頼する
List-based Samples E-mailのリストが作成できるような集団（会社や学校）を
ターゲット母集団とし、リストから標本を無作為抽出する Web option in mixed-mode surveys 例えば電話調査でWeb上での回答も可能であるという選択
肢を用意する
Pre-recruited panels of Internet users インターネットユーザを母集団とし、確率抽出によるパネル を構成する
Pre-recruited panels of full population より一般的な母集団から標本を確率抽出し、パネルを構成す る
Non-probability methods（標本の抽出が確率的手続きによらない）
Polls as entertainment インターネット上の投票など、娯楽を目的とするもの
Unrestricted self-selected surveys ポータルサイトなどで行われるオープン型のWeb調査
Volunteer opt-in panels 典型的なWeb調査。公募型パネルやオプトインパネルによ
るWeb調査。現行のWeb調査の大部分を占める
Couperは、Probability-based methodsはその標本抽出の手続きから母集団への推論が可能な調査であ るが、Non-probability methodsによるWeb調査は科学的な意味での調査ではないとしている。表3にま とめた日本のWeb調査はすべてこのNon-probability methods、つまり非科学的な方法に分類される。
なお、表3の分類は1999年当時のものであり、最近では、この分類にあてはまらない形態のWeb調査
（表4のPre-recruited panels of full populationに相当するもの）が現れてきている。
2.2
プロの回答者：自発参加型オンラインパネルの特性「Web調査はインターネット・ユーザーだけを対象とするので回答者に偏りがある」と考える者は多い だろう。しかし「インターネット・ユーザーの中から回答希望者を公募し、回答に対して謝礼を支払うので 回答者に偏りがある」の方がより実態を反映している。
現行のWeb調査は、ほとんどすべての場合、自発参加型のオンラインパネルを用いて行われている。回 答者が自発的に調査に参加するのは、回答に対して支払われる謝礼を得るためであると考えて良い。欧米 ではこのような回答者を”Professional Respondents”（プロの回答者）と呼ぶ。
我々の研究グループが2002年に実施した構成方法の異なる4つのオンラインパネルを用いたWeb実験 調査では（[35][32]）、Web上での調査やアンケートへの参加頻度が週一度以上である者の割合が、確率的方 法に基づいて構成されたオンラインパネルでは10％程度であったのに対し、自発参加型のオンラインパネ ルでは40〜60％であった。1999年、2000年の実験調査でも同じ質問を行っているが、自発参加型のオンラ インパネルにおけるプロ回答者の割合は着実に増加している（1999年：10〜20％、2000年：20〜30％）。
また、頻繁にWeb上での調査に参加する者は、多くの同様のオンラインパネルのメンバーになっている ことや、調査依頼から回答までの時間が短いことなども分かっている。回答数が目標数に達した時点で調査 を打ち切るWeb調査が多いが、そうすることで、回答者に占めるプロの回答者の割合はさらに大きくなる。
現行の多くのWeb調査の回答者に占めるプロの回答者の割合は想像以上に大きいものと考えた方がよい。
このような事実をふまえると、自発参加型のオンラインパネルを用いたWeb調査への回答者は、インター ネット・ユーザーの中でも特定の趣味を持つ者の集団であることはほぼ間違いない。「時間が経てば、イン ターネット・ユーザーの増加に伴い回答者の偏りの問題は解決される」という主張もあるが、少なくとも Web調査が自発参加型オンラインパネルを用いて行われる限りは、回答者の偏りの問題が解決される可能 性は極めて低い。
2.3
確率的方法に基づくオンラインパネル構成へプロ回答者の問題は、Web調査という調査方法に起因するものではなく、パネルの構成方法に起因する。
自発参加型の大規模オンラインパネルは、多くの場合、懸賞サイトや懸賞のメーリングリスト、さらには在 宅ビジネス情報サイトなどで紹介されている。パネル運営者の好むと好まざるに関わらず、パネル登録者に は特定の趣味（懸賞応募）を持つものの割合が多くなる。パネルサイズを大きくするために、積極的に懸賞 サイトやメーリングリストを利用する業者も少なからずある。
プロ回答者の問題は欧米でも深刻であり、Web調査の実施がプロ回答者を作り出しているという認識も ある。Web公募型のオンラインパネル運営サイトにも、プロ回答者を排除するプログラムの採用や回答者 のプロ化を防ぐパネル運営などを謳い文句にしているところが見られる。
こうした状況を背景に、最近では、確率的方法に基づくオンラインパネルによるWeb調査も現れ始めて いる。米国のKnowledge Networks社は、RDDによるリクルートを行い、パネル参加応諾者に対しWebTV を配付するという方法でWeb調査を行っている。日本でも、電通リサーチ社、博報堂がそれぞれ、住民基 本台帳等からの無作為抽出を経たパネルによるWeb調査を行い始めた。
Web調査は、他の調査に比べ実査に要するコストが比較的小さいといわれる。確率的方法に基づくパネ ルの構築には膨大なコストがかかるが、調査全体のコストは従来型の調査方法よりも小さくて済むことが 期待されている。また、人の手を介すことによって生じる種々のエラーが減らせること、調査プロセスの管 理が行いやすいことなど、コンピュータ支援による調査方法の利点もある。
一方、調査方法としての特性は未知の部分が多く、これを明らかにしていくことが今後の課題である。
3 Web
調査の課題と対処3.1
調査の誤差Groves（[16]）は、調査誤差はその発生源によって大きく以下の４つに分類している。欧米では、この分
類が、Web調査に限らず他の調査についての議論や研究を進める上での有用な枠組みとしてしばしば引用 される。
1. カバレッジ誤差（Coverage Error）
母集団内に標本として抽出される可能性がない個体が存在することに起因する誤差 2. 無回答による誤差（Non-response Error）
すべての標本から回答が得られないことに起因する誤差
3. 標本誤差（Sampling Error）
調査で測定される対象（標本）と母集団との異質性に起因する誤差 4. 測定誤差（Measurement Error）
調査で測定される反応の不正確さに起因する誤差
• 調査員に起因：回答に対する調査員の影響
• 回答者に起因：回答者の回答能力、態度など心理的な要因
• 調査票に起因：ワーディング、レイアウトの影響など
• データ収集モードに起因：面接、電話、インターネット等のモードの影響
適切な調査のためには、標本抽出段階においてはカバレッジ誤差及び標本誤差を、データ収集段階におい ては無回答誤差及び測定誤差をそれぞれ同定し、コントロールすることが課題となる。
欧米の研究を概観すると、Web調査が抱える問題がこの調査誤差の分類の観点で整理され、それに対応 する形で、標本抽出法の研究、標本の偏りの補正に関する研究、無回答・欠損値処理の研究、調査モードや 調査票デザイン等の研究がそれぞれ精力的に行われていることが分かる。
これに対し日本では、調査の誤差は大きく標本誤差と非標本誤差に分けられ、非標本誤差についてはさら にその内訳が詳しく検討される（標本抽出枠の不備、不在、拒否、転居等々による調査不能、調査員の不 正、調査票の設計上の問題、回答記入ミスなど）。日本における調査の誤差の整理の仕方には例えば次のよ うなものがある（[19], p.128,図3.18から）。
調査する側 正当なsampling／歪んだdampling、企画段階／実施段階
• 正当なsampling：sampling error、non-sampling error
• 歪んだdampling：quota sampling、電話帳、RDD、Internet
• 企画段階：測定道具の作り方（質問文作成、調査票構成、理解度）
• 実施段階：無回答、方法、期間
調査される側 response error（うそ、ゆれ、でたらめ、思い違い、不注意 ）
この整理の仕方は、調査の実際に沿った整理の仕方であるという点でより実践的であると言えよう。しか し、問題の同定及びその整理や研究の方向づけを目的とした場合には、Grovesの分類が利用しやすい。
3.2
調査誤差の観点からみた課題と対処3.2.1 カバレッジ誤差・標本誤差
カバレッジ誤差は対象母集団（target population）と標本抽出枠とのズレから生じる。これを評価するた めには、対象母集団が明確に定義され、かつ標本抽出枠が存在しなければならない。現在行われている多く のWeb調査では、対象母集団が定義されることも、抽出枠もない。
標本誤差は、標本の母集団との異質性（代表性のなさ、母集団と比較したときの偏り）に起因する。標本 が無作為に抽出された場合、標本と枠母集団（frame population）との異質性（の期待値）がないことが手 続き上保証され、また誤差は確率的に評価できる。日本で現在行われているWeb調査は、自発参加のオン ラインパネルなど非確率的方法によるものがほとんどであり、標本の代表性は主張できない。
このような現状への対処として２つの方向がある。１つはオフラインで確率的な方法に基づきパネルを 構成し、Web上で実査を行うという形式のWeb調査であり、もう１つは、回答の加重修正である。
カバレッジ誤差も標本誤差も標本と対象母集団の異質性に起因する。標本と対象母集団があらゆる意味 で等質であれば、標本は対象母集団を代表すると言えよう。カバレッジの程度のよい枠からの標本の無作為 抽出という手続きは、この等質性を保証し、かつその等質性からの逸脱の程度についての情報を我々に与 える。
加重修正は、単純化して言えば、対象母集団において男女比が1：1であるのに対し、回答者の男女比が 1：2であるときに、男性の回答を2倍して、「男女比が1：1ならばこうである」という修正を行うことで、
対象母集団に似せようとするものである。
最近では、傾向スコアを用いた加重修正法によるWeb調査の結果の従来型調査への近似の試みが見られ る（[28]）。通常、回答に影響すると考えられる変数の数は多数あり、これをすべて考慮して回答者を母集 団に似せようとすることは一般に困難であるが、傾向スコアを利用すればこうした多数の共変量を容易に 調整できる（詳しくは第II部で述べる）。
なお加重修正による対処は、以下に述べる調査方法の違いに起因する誤差（測定誤差）にはそのまま適用 できないことに十分留意すべきである（ただし、調査方法の違いに起因する誤差を検出するためには有用 である）。
3.2.2 無回答誤差
無回答が多ければ無回答誤差は大きくなる。回答者と無回答者との回答が一致するならば問題はないが、
無回答者の回答は分からない。無回答の数やその理由を把握し、その数を減らすことが課題となる。ところ が現状のWeb調査では、目標回答数に達した時点で打ち切られることも多く、無回答数を把握するどころ か、その定義すらできない。まずは計画標本を設計するところから始めることが必要だろう。
Web調査では回答者の行動を記録することができる。回答者のコンピュータ環境に関する情報も得るこ とができる。吉村ら（[32][35]）は、４つの異なるオンラインパネルを用いたWeb実験調査でのアクセスロ グを分析し、無回答には、調査依頼のE-mailが届かない、調査票へのアクセスがない、調査票へのアクセ スはあるものの回答はしない、回答を途中でやめる、などの種類があること、及びそれがどの程度の割合で 起こるか、さらにそれがオンラインパネルごとにそれぞれ異なることなどを明らかにしている。
Bosnjakら（[4]）はWeb調査における回答者を次の７つに分類し、
1. 完全回答（Complete responders）：調査票のすべての質問に回答している
2. 項目無回答（Item non-responders）：調査票の最後まで回答したが、部分的に無回答がある 3. 回答中断（Answering drop-outs）：調査票の途中まですべての質問に回答している
4. 回答中断項目無回答（Item non-responding drop-outs）：調査票の途中まで質問に回答しており、か つ部分的に無回答がある
5. 閲覧のみ（Lurkers）：調査票の最後まで質問を閲覧したが、質問には全く回答していない 6. 閲覧中断（Lurking drop-outs）：調査票の途中まですべての質問を閲覧し、その後中断している 7. 無回答（Unit non-responders）：調査票を全く見ていない
また、無回答の理由として次の事柄を指摘している。
1. アクセスできない状況（Non-availability, Inaccessibility） 2. 技術面の問題によるもの（Technical artifacts）
3. 回答者の調査回答能力の不十分さ（Insufficient competences） 4. 調査票設計の影響（Design-effects）
5. 非応諾（Noncompliance）
さらに、回答の中断は、１）最初の設問、２）複雑な設問、３）E-mailアドレスの記入が要求された時、に 起こりやすい（[20]）、修飾の多い調査票よりもシンプルな調査票を用いた方が回答率が高い（[14]）などの 報告もある。
3.2.3 測定誤差
Web調査では、調査者が作成した１つの調査票も、回答者側ではそのコンピュータ環境、通信環境によっ てその見え方（スクリーンサイズ、フォントの大きさ、色、設問や選択肢の配置など）は様々であり、「同 じ」調査票で調査をしているとは言えないような状況が起こりうる。こうした見え方の違いが回答の違い をもたらすならば、測りたいものがうまく測れていないことになる。
Web調査の利点としてよく挙げられることに、調査票のデザインの自由度の大きさがある。画像はもち ろん、動画や音声、その他技術面で言えば様々なことが可能である。しかし、それらのひとつひとつが回答 の違いをもたらす可能性があるため、必ずしも利点であるとは言い難い。
欧米では、上述の無回答誤差及び測定誤差への対処の観点から、調査票のデザインに関する研究が進んで いる。特に実査の参考になると思われるので以下に紹介する。
Web調査実施の原則（Dillman[12],pp.376-399）
1. ウェルカムページの設置（回答者の動機づけ、簡単に回答できることを強調、次のページへの進み方 の説明）
2. サンプル以外がアクセスできないようにIDを割り当てる
3. 最初の設問は誰でも興味をもち簡単に回答できるものを１スクリーンで表示 4. 従来の紙の調査票に似たものとすること
5. 安易に色を多用しないこと（図地の一貫性と読みやすさ、スムーズな流れ、測定という観点から）
6. スクリーンの設定、OS、ブラウザ、表示領域の大きさ、テキストの折り返しの有無などに起因する見 え方の違いを考慮すること
7. 必要なコンピュータ操作についての説明をそれが必要となる箇所で行うこと（ラジオボタンのリセッ トの仕方、ドロップダウンメニューについての説明、自由記述欄の消去の仕方など）
8. ドロップダウンボックスの使用は控えること（デフォルトの選択肢は入れず、代わりに「ここをクリッ ク」という教示を表示するとよい）
9. 回答しなければ次へ進めないという仕組みは避ける
10. 分岐設問では、まず回答を促し、次へ進むべき設問をクリックで表示できるようにすること
11. 基本的にスクロールタイプの調査票が好ましい（順序効果に関心がある場合や電話調査と一緒に用い る場合など設問の順序性が重要な場合は除く）
12. 選択肢の数が多い場合には、2列以上に配置し、１スクリーン内に収まるようにすること
13. 調査がどの程度進んだのかを示すこと（ただしコンピュータへの負荷が著しく増える場合は除く）
14. 測定上の問題が指摘されている回答形式には十分に注意すること（「あてはまるものすべて」や自由 記述など）
Online Survey Design Guide（Marylandオートメーション心理学研究室[22]から一部引用）
デザイン全般について ：
• Web調査票のデザインはWebのデザインではない
• Web調査票のデザインによってWeb調査のすべての問題が解決するわけではない。Web調査 票のデザイン次第で、測定誤差、無回答誤差、カバレッジ誤差のある部分は増減する。
• Web調査では、回答者に読む能力があることを前提としている。このような前提は、リタラシー に問題がある母集団が排除される。（アメリカでは25％が英語の読み能力に問題があり、その内 25％はその問題が視覚的障害に起因する。）
• Web調査は回答者がコンピュータを使えることを前提とするので、経済的に不利な母集団が排 除され得る。
• Web調査は回答者が電子的に回答を入力することを前提とするので、身体的障害を持った母集 団が排除される可能性がある。
• コンピュータを用いた調査と紙を用いた調査とでは、いくつかの差異があることが分かっている が、それはデザインが変わることに起因する。たいていの場合、何気ないレイアウトの修正であ るが、それらの変更によって、回答を困難にしたり容易にしたり、また回答者が何を求められて いるのかについて伝わるメッセージが変わってしまう場合もある。
設問の形式について ：
1. 配色：適切に色を使えば、回答しやすくするような視覚的手がかりとなる。
2. マルチメディアの使用
• メディアの表現可能性という点で言うと、Web調査ではハイパーリンクによって、調査票 そのもののボリュームを大きくすることなく他のソースを調査の道具として使うことがで きる。
• グラフィックが回答者の設問の解釈に与える影響に気をつけること。図や絵を用いると、回 答者はその図や絵の文脈で設問を解釈する傾向があることを知っておくこと。
• 図、絵、写真、音声などを用いようとするときには、それが必要不可欠なのか、それとも単 なる飾りに過ぎないのかをよく考えること。
3. 回答形式
(a) ラジオボタン
• フォントサイズを変えてもボタンのサイズは変わらない。
• 正確にクリックすることが要求される。
• 相互に排他的な項目から「１つを選択する」場合に適切。
• デフォルトでどこかのボタンが選択されることは避ける（無回答が分からない）。
(b) チェックボックス
• 選択肢が多い場合には表形式がよい。
• 「あてはまるものすべて」は必要な時にだけに用いること。回答者には「最適な」回答 をするというより、単にその設問をこなすという傾向がある。
• 「あてはまるものなし」にはラジオボタンを用いること。
(c) ドロップダウンボックス
• できるだけ使わないこと（非常に長いリストを提示しなければならない場合に有効）
• 他の回答形式ではマウスクリックが1回で済むのに対し、ドロップダウンボックスでは 3回必要となる。これに見合った利点がある場合にのみ使用すべき。
• タイプ入力した方が簡単な場合には使うべきではない（生年の入力など）
• 面倒なスクロールの手間を省くために、タイプ入力で選択肢のルックアップ（type-ahead look up）ができるとよい。
• リスト先頭の選択肢は見せてはいけない。回答者の選択ミスを招く可能性もあるし、無 回答との区別もつかない。
• ドロップダウンボックスで何をするかの手がかりを示すこと（「１つを選択」など）
• 複数選択の設問ではドロップダウンボックスは避け、チェックボックスを使うこと。
• スクリーン上での置く位置によっては、ドロップアップボックスを用いること。
(d) テキストの入力ボックス
• 求める書き込み量に応じたサイズのボックスを用いること。
• 十分なスペースを確保すること。
• 簡単で明白な説明を与えること（例えば、年/月/日、など）
• スクロールバーは避けること。もし必要ならば垂直方向のスクロールにすること。
4. 反応カテゴリ
• （略）
5. 自動化
• 可能ならば自動的に入力をチェックすること。入力のチェックによって、データの質は向上 しデータ準備のための時間が節約できる。ただし、入力チェックは、回答者に余分な負荷を 与えるものであってはならないし、回答者の入力ミスを同定するためだけに行われるべきで ある。
レイアウト （調査票のレイアウトについて）
• （略）
3.3
誤差の管理と調査の質質の高い調査を実施するためには、誤差の管理が欠かせない。どれだけ厳密に誤差を管理できているかが 調査の質の高さの指標であるとも言える。この点から言えば、現状のWeb調査は非常に質が悪いと言わざ るを得ない。誤差の管理という発想はまず見られない。
カバレッジ誤差、標本誤差、無回答誤差は、いずれも回答者と調査対象とのかい離（違い）に関わる誤差 である。現状の多くのWeb調査には、標本設計という考えが見られないだけではなく、無回答すら定義で きないものも多い。
吉村ら[35]は、調査の誤差（あるいは調査そのもの）の管理がほとんど行われることがない現状をふま え、Web調査における調査の質に関わる指標の整理の仕方を提案している。表5にその例を示した。調査 の誤差の管理のためには、最低限この程度の情報を把握しておく必要があるだろう。
表5: Web調査における調査概要例
調査回 第１回 第２回
調査コード xxxxxxxx xxxxxxxx
調査期間 2002.6.13-6.20 2003.6.20-6-27
調査テーマ 生活意識 インターネット
謝礼 500円相当図書券
（抽選1200名）
500円相当図書券
（抽選1200名）
調査方式 リソース内サンプリング リソース内サンプリング
パネル名 xxxxxxxx xxxxxxxx
登録者数 64,629 64,600
計画標本数 7,996 8,000
依頼前除外 3 8
調査依頼数 7,993 (100) 7,992 (100) 有効回答数（％） 3,392 (42.4) 2,587 (32.4) 無回答（％） 4,601 (57.6) 5,405 (67.6) 未達（％） 560 (7.0) 577 (7.2) 無接触（％） 3,126 (40.2) 3,494 (43.7) アクセスのみ（％） 778 (9.7) 1,302 (16.3) 回答送受信異常（％） 47 (0.6) 32 (0.4) アクセス数（以下延べ数） 5,126 (100) 5,226 (100) アクセスのみ（％） 1,628 (31.8) 2,581 (49.4) 回答送信 （％） 3,498 (68.2) 2,645 (50.6) 回答送受信異常（％） 102 (2.0) 56 (1.1) 受信回答（％） 3,396 (66.3) 2,589 (49.5) 重複回答（％） 4 (0.1) 2 (0.0)
非登録者回答（％） 生起しない 生起しない
ID不明者回答 0 0
調査依頼未達（延べ） 781 579
登録者数確定日時 2002.6.7 2002.6.10
督促 １回（2002.6.19, E-mail） １回（2002.6.26, E-mail）
発信数 5,270 6,072
未達数 記録なし 記録なし
測定誤差を常に定量的に把握しておくことは困難である。しかし、Web調査は調査票等の自由度が大き く、制御の仕組み、デザイン、レイアウト、回答形式等の変更が回答に影響を及ぼす。
日本ではWeb調査に代表されるようなコンピュータを利用した調査のコスト面での利点ばかりに目が向 けられがちであるが、欧米では、データの質（Data Quality）という観点、すなわち測定誤差の観点からの コンピュータ利用に関する議論、研究が活発である。
調査誤差の観点から調査の質は次のように分類できる。
1. カバレッジの質（Coverage Quality）：調査対象であるすべての個体（unit）にゼロではない抽出確率 が与えられているか
2. 回答の質（Response Quality）：回答者と無回答者が研究上の関心事に関していかなる点においても 異ならないか
3. サンプルの質（Sample Quality）：母集団を代表しているか 4. 測定の質（Measurement Quality）：正確に測定できているか
カバレッジ、回答、サンプルの質は他の調査方法でも課題の多いところであるが、特にWeb調査では、そ の歴史も浅く、また多様性に富むため、測定装置としての特性に不明瞭な点が多い。測定の質を高めるため には、実験を繰り返し、より正確な測定値が得られる標準的な調査票のあり方を研究していく必要がある。
なお、日本におけるWeb調査の実態をふまえると、まずは「調査の質を考慮しなければならない」とい う認識を持つことから始めなければならない。
4
おわりに−Web
調査の標準−現在、特にマーケティング・リサーチ分野で、多くのWeb調査が行われている。初めにも述べたように、
その多くは非科学的なものである。誤差の管理が全くといっていいほど行われていない調査が、調査として 広く流通することで、調査そのものへの信頼を損なうことへの危惧も多い。こうした危機感は日本に限ら ず、欧米でも同様に見られる。このような状況に対処すべく、最近では、Web調査の実施ガイドライン制 定の動きがみられるようになった。
例えば、ドイツの社会・市場調査研究協会では「オンライン調査の品質保証のためのガイドライン」（[1]） を作成している。このガイドラインは「科学的なオンライン調査」のためのものであるとされており、この ガイドラインに沿わないものは「科学的」ではない、という立場を明確にしている。参考までに取り上げら れている項目のみを以下に紹介する。
オンライン調査の品質保証のためのガイドライン目次
1. Introduction
2. Definition（オンライン調査の定義）
3. Design of the Study（調査の計画）
• Overall Population, Selection of Participants, ”Active” and ”Passive” Selection,
• Checking the Selection, Sample Coverage, Weighting 4. Excution of the Study（調査の実施）
• Questionnaire, Equality of Technical Conditions, Metadata, Incentives,
• Communication, Voluntariness Duration of Fieldwork, Checks on Fieldwork,
• Breaking off and Resumtion, Data Security
5. Presentation, Interpretation and Documentation（結果の報告）
• Presentation, Interpretation, Documentation 6. Online (Access) Panel（オンラインパネル）
• Definition, Recruitment of Participants, Size of the Panel , Panel Structure,
• Panel Maintenance, Panel Usage, Panel Management 7. Closing Remarks
こうしたガイドライン作成の背景には、多くのWeb調査研究の蓄積がある。残念ながら日本にはその蓄 積はほとんどない。日本におけるWeb調査の当面の課題は「多くのWeb調査研究が行われること」である。
参考文献
[1] ADM (2001) Standards for Quality Assurance for Online. http://www.adm-ev.de.
[2] Alvarez, R.M. and VanBeselaere, C. (n.d.) Web-Based Surveys. (Article prepared for the Encyclo- pedia of Measurement). http://survey.caltech.edu/encyclopedia.pdf.
[3] Alvarez, R.M., Sherman, R.P. and VanBeselaere, C. (2002) Subject Acquisition for Web-Based Surveys. http://survey.caltech.edu/alvarez.pdf.
[4] Bosnjak, M.M. and Tuten, T.L. (2001) Classifying Response Behaviors in Web-based Surveys. Journal of Computer Mediated Communication, 6 (3), http://www.ascusc.org/jcmc/vol6/issue3/boznjak.html.
[5] Carini, R.M., Hayck, J.C., Kuh, G.D. and Ouimet, J.A (2001) College Student Responses to Web and Paper Surveys: Does Mode Matter? The Associationi for Institutional Research 41st Annual Forum, Long Beach, CA.
[6] Couper, M.P. et al.(eds). (1998) Computer Assisted Survey Information Collection. Wiley.
[7] Couper M.P (2000) Web Surveys: A Review of Issues and Approaches. Public Opinion Quarterly, 64 (4), 464-494.
[8] Couper M.P (2001) The Promises and Perils of Web Surveys. In A. Westlake et al. (eds), The Challenge of the Internet. London: Association for Survey Computing, 35-56.
[9] de Leeuw, E. and Nicholls, W. (1996) Technological Inovations in Data Collec- tion: Acceptance, Data Quality and Cost. Sociological Research Online, 1 (4), http://www.socresonline.org.uk/socresonline/1/4/leeuw.html.
[10] Dennis, J. M. (2001) Are Internet Panels Creating Professional Respondents? A Study of Panel Effects.Marketing Research, 13 (2), 34-38.
[11] Dennis, J. M. (2001) Response Timing and Coverage of Non-Internet Households in an Internet- Enabled Panel.Paper presented at 2001 AAPOR Annual Conference, Montreal, Quebec, Canada, May 17-20.
[12] Dillman, D.A. (2000)Mail and Internet Surveys: The tailored design method, second edition. Wiley.
[13] Dillman, D.A., Phelps, G., Tortora, R., Swift, K., Kohrell, J. and Berck, J. (2001) Response Rate and Measurement Differences in Mixed Mode Surveys Using Mail, Telephone, Interactive Voice Response and the Internet. http://survey.sesrc.wsu.edu/dillman/papers.htm.
[14] Dilliman, D.A., Tortora, R.D., Conradt, J. and Bowker, D. (1998) Influence of Plain VS.
Fancy Design on Response Rates for Web Surveys. Joint Statistical meetings, Dallas, Texas.
http://survey.sesrc.wsu.edu/dillman/papers/asa98ppr.pdf.
[15] ESOMAR (1995) ICC/ESOMAR International Code of Marketing and Social Research Practice.
http://www.esomar.org/.
[16] Groves, R.M. (1989)Survey Errors and Survey Costs. Wiley.
[17] Groves, R.M. et al. (eds). (2002)Survey Nonresponse. Wiley.
[18] Gunn, H. (2002) Web-based Surveys: Changing the Survey Process. First Monday, 7 (12), http://www.firstmonday.org/.
[19] 林知己夫（編）(2002)社会調査法ハンドブック,朝倉書店.
[20] Jeavons, A (1998) Ethology and the Web: Observing respondent behavior in Web surveys. Proceedings of the Worldwide Internet Conference, Amsterdam: ESOMAR.
http://w3.one.net/ andrewje/ethology.html.
[21] Krtoki, K. and Dennis, J.M. (2001) Probability-Based Survey Research on the Internet.Proceedings of ISI the 53rd Conference, Seoul, Korea. http://www.rti-knowledgenetworks.org/news.htm.
[22] LAPDP (n.d.) Online Survey Design Guide. http://lap.umd.edu/survey design/index.html.
[23] Miller, T.W. (2001) Can We Trust the Data of Online Research? Marketing Research, Summer, 26-32.
[24] 日 本 マ ー ケ ティン グ・リ サ ー チ 協 会 (2001) マ ー ケ ティン グ・リ サ ー チ 綱 領. http://www.jmra-net.or.jp/guideline/kouryou-j.html.
[25] Ohsumi, N. and Yoshimura, O. (1999) The online survey in Japan: An evaluation of emerging methodologies,Bulletin of the International Statistical Institute 52nd Session, Book2, 171-174.
[26] 大隅昇(2001)電子調査，その周辺の話題−電子的データ取得法の現状と問題点−. 統計数理,49 (1),
201-213.
[27] Solomon, D.J. (2001) Conducting Web-Based Surveys.Practical Assessment, Research & Evaluation, 7 (19), http://ericae.net/pare/getvn.asp?v=7&n=19.
[28] Taylor, H. (2000) Does internet research work? International Journal of Market Research, 42(1) 51-53.
[29] Thompson, S.K. (2002)Sampling. Wiley.
[30] Vehovar, V., Batagelj, Z., Manfreda, L. K. and Zaletel, M. (2002) Nonresponse in Web Surveys. In Survey Nonresponse (Eds. Groves, e.l.), 229-242.
[31] 吉村宰(2001)インターネット調査にみられる回答者像，その特性.統計数理, 49(1), 223-229.
[32] 吉村宰(2003)インターネット調査を検証する−質の評価と標準化に向けて−, JMRA研修セミナー資
料（主催：日本マーケティング・リサーチ協会）.
[33] 吉村宰・大隅昇(1999)インターネットを利用したデータ取得─複数サイトにおける同時比較実験調査
─,日本行動計量学会第27回大会発表論文抄録集, 117-120，
[34] Yoshimura, O. and Ohsumi, N. (2000) Some experimental surveys on the WWW environments in Japan,Data Analysis, Classification, and Related Methods (eds. H. Kiers, etc.), 353-358, Springer, Berlin.
[35] 吉村宰・大隅昇・清水信夫(2002)インターネット調査の諸特性と今後の展開のあり方−第4次実験調 査から見えてきたもの−,日本行動計量学会第30回大会発表論文抄録集, 134-137，
第
II
部傾向スコア加重修正法によるサンプルアンバラン スの補正とその利用上の留意点
Web調査の抱える問題点としてまず指摘されるのは、回答者の偏りである。その原因は、言うまでもなく 安易な標本の抽出の仕方にある。標本抽出の方法を改善させることで対処することが、あるべきあり方に は違いないが、一方で、母集団が定義できない、標本抽出枠がない、RDDのようなこともできない、など 従来型の調査における標本抽出法の適用が非常に困難であることも事実である。
第I部で触れたように、加重修正も回答者の偏りへの対処法の一つである。特に最近は、米国のHarris Interactive社による選挙予測における成功例の報告[19][28,第I部]をきっかけに傾向スコア加重法が注目 を集めている。しかし一方で、Web調査における回答者の偏りの問題が加重修正で解決できるという主張 に対しては懐疑的な意見もある[8][21][8,第I部]。
このような現状をふまえ、第II部では、回答者の偏りへの対処の一例として、共変量調整の考え方を応 用したウェイティングの技術（傾向スコア加重法）を取り上げ、その考え方及び具体的な手続きを概説する とともに、利点と限界についても考える。
1
傾向スコア（the prepensity score
）を用いた観察研究における処遇 効果の推定ある処遇の有無によって変数Rにどのような違いが見られるか−処遇効果−に関心があるとする。ただ しRには共変量（または処遇前に得られた測定値）xがある。
各個体への処遇の割り付けを無作為に行えば、Rに影響を与え得るすべての共変量x（未知の共変量を含 む）の分布を両群で同じとみなすことができ、Rに群間の差が見られれば、それは処遇の効果であると言 える。
ところが、例えば投薬や教授方法の効果を知りたいような場合、それらの処遇は患者や児童・生徒に無作 為に割り付けることはできない。このような、何らかの処遇を伴うがその割り付けが無作為に行えない研 究を観察研究という[13]。
観察研究の場合、処遇の異なる群間で共変量xの分布が等しいとは言えず、変数Rに対する共変量の影 響を何らかの方法で除去しなければならない。その方法の１つに共変量によるマッチングがある。共変量の 値が同じ個体を各群から選び、それらの間でRの比較を行うという方法である。ところが共変量の数が多く なると、マッチングすべき共変量の取り得る値のパターンは膨大になり、この方法は現実的ではなくなる。
傾向スコアは、共変量を所与としたときの、ある個体が処遇群に割り付けられる条件付き確率であり、こ れを用いることで共変量調整は容易になる。以下にRosenbaum & Rubin[14]に基づき、傾向スコアを用い た処遇効果の推定の考え方を概説する（星野[7]による概説も参照されたい）。
1.1
実験研究における平均処遇効果の推定ある変数Rへのある処遇の効果（Rの値の処遇間の差とする）について知りたいとする。なお、Rには 共変量xがあり、観測されるものとする。i番目の個体の処遇1のもとでのRをr1i、処遇0のもとでのR をr0iとする。このときr1i−r0iが個体iにおける処遇効果である。推定すべきは母集団における平均処遇
効果E(r1)−E(r0)であり、これは表6の場合、¯r1−r¯0で得られる。
表6: 理想的なデータ
R treatment effect x
r1 r0 r1−r0 x1 · · · xm
1 r11 r01 r11−r01 x11 · · · xm1
2 r12 r02 r12−r02 x12 · · · xm2
... ... ... ... ... ... ... i r1i r0i r1i−r0i x1i · · · xmi
... ... ... ... ... ... ...
n r1n r0n r1n−r0n x1n · · · xmn
¯
r1 r¯0 r¯1−¯r0
しかし通常は、同じ個体から処遇がある場合のRとない場合のRの両方を観測することはできず、r1, r0
のどちらか一方のみ観測される。ここで、個体iに処遇があった場合をzi= 1、処遇がない場合をzi= 1と する。
表7: 処遇の割り付け方の異なる２つのデータ 割り付けA
R Z x
r1 r0 x1 · · · xm
r11 1 x11 · · · xm1
r12 1 x12 · · · xm2
r13 1 x13 · · · xm3
r14 1 x14 · · · xm4
... ... ... ... ... ... r0n−2 0 x1n−2 · · · xmn−2
r0n−1 0 x1n−1 · · · xmn−1
r0n 0 x1n · · · xmn
¯
r1 r¯0
割り付けB
R Z x
r1 r0 x1 · · · xm
r01 0 x11 · · · xm1
r12 1 x12 · · · xm2
r13 1 x13 · · · xm3
r04 0 x14 · · · xm4
... ... ... ... ... ... r0n−2 0 x1n−2 · · · xmn−2
r1n−1 1 x1n−1 · · · xmn−1
r1n 1 x11 · · · xm1
¯
r1 r¯0
xを所与としたときに、(r1, r0)の分布がZと独立であることは、処遇が無作為に割り付けられた場合に は明らかに成り立つ。したがって、
E(r1|x, Z= 1)−E(r0|x, Z= 0) =E(r1|x)−E(r0|x) (1) xについて期待値を取ると、
Ex{E(r1|x, Z = 1)−E(r0|x, Z = 0)}=Ex{E(r1|x)−E(r0|x)}=E(r1)−E(r0) (2) となり、平均処遇効果の推定値E(r1)−E(r0)が得られる。例えば表7での¯r1−r¯0は割り付けA,Bの両場
