オンライン調査による大標本データ収集：
3.11 後のデモ参加をめぐる調査を事例として
永吉 希久子（東京大学） 松谷 満（中京大学） 樋口 直人（早稲田大学） ［要約］ 本稿では，出現確率が低い対象を低コストで調査できるメリットを生かして 2017 年に 実施した大規模オンライン調査について，1）調査を行う上での検討事項とそれへの対処， 2）非公募型モニターに対する郵送調査，無作為抽出による郵送調査との結果の異同を示 す．オンライン調査は対象者の年齢，学歴の偏りや，回答の信頼性の問題が指摘されてい る．しかし，7 万人規模で実施した本調査の結果をみると，年齢，学歴の偏りがあるものの， それは無作為抽出による郵送調査でも同様であった．また，意識変数の分布は調査方法や 対象者による大きな違いはなく，変数間の関連も年齢や教育年数と意識変数の間で若干他 の調査と異なる以外は，明確な差はなかった．オンライン調査は郵送調査よりもはるかに 少ない時間的・経済的コストで大きなサンプルを得ることができ，この点は出現確率の低 い対象を調査する際に大きなメリットとなることが確認された．また，大規模なサンプル を集めることで，セレクションバイアスを弱める可能性も示唆された． ［キーワード］ オンライン調査，郵送調査，セレクションバイアス1
問題
日本では 1990 年代末からオンライン調査1）が用いられるようになり，2000 年代に急速 に利用が拡大した（長崎 2008）．この背景には，オンライン調査が従来の調査にはない様々 なメリットを持っていたことがある．本稿では特に，出現確率の低い，稀な対象へのアク セスというメリットに着目する．こうした対象に従来型の社会調査を実施しようとすると， 大きな経済的・時間的コストが必要となる（前田 2015）．分析に足るサイズで稀な対象を 集めるには，初期段階で膨大なサンプルが必要となるからである．一方，オンライン調査 は事前のスクリーニングが可能で，スクリーニングを行わなかったとしても，比較的小さ い経済的・時間的コストで大規模なサンプルを集められることから，稀な対象を一定規模 で調査できる． 今日では多くのオンライン調査が実施されているが，このメリットを生かした研究は多 くない．例外として外国籍者（石田 2019），「法的紛争・争議に発展する可能性のある問題」 の経験（前田 2009，2015），若年無業者（玄田・曲沼 2004）に対する調査等が挙げられる．他方で，オンライン調査にはデメリットもある．一般にオンライン調査は母集団の設定 が曖昧で，モニター登録者がどのような集団であるのか，そこから誰が回答者となったの かも明確でないため，代表性が問題となる（大隅 2008）．また，報酬目当てに多くの調査 に協力するモニターが，十分注意を払わず回答する傾向がある（埴淵・村中・安藤 2015; 三浦・小林 2015）．特にスマートフォン等のモバイル端末を用いた場合そうした傾向がみ られる等（三浦・小林 2018），回答の質が不十分との指摘もある． さらに，稀な対象に対する調査に固有のバイアスもありうる．たとえば前田の調査では 「法的紛争・争議に発展する可能性のある問題」の経験者が，オンライン調査では郵送調 査の約 3 倍で（前者が 55.1%，後者は 18.9%），法的紛争に発展する可能性を欠く問題が 多く含まれていた．前田はモニターの偏りや自記式調査法の影響に加え，「調査内容への 興味や自分の意見を表明できること」がオンライン調査への参加動機となっており，「自 分の「問題経験」について語りたい，あるいは報酬目的で参加する以上は何かしら報酬に 値する情報提供をしたいといった傾向」がモニターにあることが影響した可能性を挙げて いる（前田 2009: 114）．これは調査参加者のセレクションバイアスと，虚偽とはいえない ものの，調査者の意図を過度にくみ取って回答した結果，通常のオンライン調査以上のバ イアスがかかった可能性を示唆している． そこで本稿では，稀な対象の一つである社会運動（東日本大震災以降の反原発・反安保 法制デモ）参加者2） （および副次的ではあるが，「ネット右翼」3））に対する大規模オンラ イン調査を取りあげる．そして，調査結果を同時期に実施した調査会社の登録モニターに 対する郵送調査および無作為抽出による郵送調査の結果と比較し，調査方法と対象による バイアスを検証する．これを通じて，出現確率の低い対象に対するオンライン調査の有効 性を検討する． 複数の調査方法による回答傾向の比較については研究の蓄積が徐々に進んでいる（轟・ 歸山 2014; 樋口・中井・湊 2012）．ただし，2 つの方法間の比較がほとんどであり，7 万を 超える大規模データの回答傾向が検討されることもなかった．今回の分析では，この大規 模データが持つ回答の特徴を，異なる 2 つの手法と比べて明らかにする． 次節では，調査の経緯と調査設計や実査のプロセスを概観する．第 3 節では，サンプル 構成や意識の分布，意識間相関を，同時期に実施した 2 つの調査結果と比較し，偏りがあ るのかを検証する．第 4 節ではその結果をもとに，稀な対象をとらえるためのオンライン 調査の可能性について検討する．
2
調査の経緯と実践
2. 1
調査の経緯
社会運動への参加に関する量的データは，決して少ないわけではないが，それらは過 去 1 年ないし通算の参加経験を聞くものであり，一般的な参加傾向しか明らかにできない． 他方で，特定の運動への参加をめぐる量的調査は，方法論的な制約もあり必ずしも多く なかった（Walgrave, Wouters and Ketelaars 2016）．具体的なアプローチとしては，運動団 体が作成した名簿をもとにした郵送調査（栗田 1993），デモの現場での調査票配布（平林 2013）といった方法が主だった．これらは，特に量的調査が少ない日本では希少価値を持 つが，運動と接点がある者しかサンプルに含まれない，デモ終了後の調査が不可能，名簿 を持ち協力してくれる少数の団体以外調査ができないといった欠点を免れない．それゆえ，個人の運動参加に関する代表的な研究では，統制群も含めたサンプリングを 行う工夫がなされてきた．たとえば，労働組合やフリーダム・サマーへの参加登録者の名 簿等を用い，運動参加者と非参加者の比較を行う研究（Klandermans 1984; McAdam 1988） や，参加者の名簿と地域住民の無作為抽出という 2 種類のサンプルを用いた研究（Walsh and Warland 1983）等がある． これらは数百人を対象とする個別の運動の研究にとどまっていたが，過去 10 年に行わ れた 2 つの大きなプロジェクトにより，運動参加者に関する調査は一変した4）．その 1 つ はデモ参加者を対象に欧州 7 ヶ国で実施された Contextualizing Contestation（CCC）project である．もう 1 つは，経済危機後の欧州における “Living with Hard Times（LIVEWHAT）” project の一環として，反緊縮運動への参加について欧州 9 ヶ国で行われた調査である．後 者では各国 2,000 票前後，合計で 18,370 票を回収し，そのうち 11.1% が過去 1 年以内に 抗議行動に参加していた（Grasso and Giugni 2016）．この調査はネットモニターを対象と していることから非参加者を多く含み，抗議への参加／不参加を従属変数とできるメリッ トがある．本調査はこの LIVEWHAT を参考に設計した5）．
2. 2
調査の概要
本稿で取り上げる調査について，その概要を示す．本調査は「危機の時代の社会運動？ 誰がなぜ反原発／反安保法制運動に参加するのか」という研究課題にもとづいて実施され， オンライン調査と郵送調査の 2 つの方法を採用した． （1）オンライン調査 調査はサーベイリサーチセンターに委託し，提携する「楽天リサーチ」モニターを調査 対象とした．対象者の属性は，1 都 3 県（東京都，埼玉県，千葉県，神奈川県）に居住す る 20 ～ 79 歳までの男女（年齢は調査時点）である．研究課題である反原発／反安保法制 運動にかんして，その中心となった国会前・首相官邸前での抗議行動に参加しやすい地域 を対象とした．対象者は自らモニター登録を行った公募型モニターである． 本調査は LIVEWHAT 調査を参考に設計したが，サンプルサイズは同調査よりも大規模 なものとした．東日本大震災以降の日本のデモは，1970 年代半ば以降で最大規模に達し ており，ネットモニターから一定数のデモ参加者への調査が可能と考えられた．それでも 運動参加率が高い欧州とは基本的な条件が異なる．新聞報道等から，回答者のうち震災以 降にデモに参加したのは 3% 程度と見積もった（実際には，デモ参加者の割合はオンライ ン調査で 1.8% に過ぎなかった）．そのうえで，デモ参加者 2,000 名の回収票があれば，内 部の多様性を明らかにできると考えた．一方で，人口構成（性別・年齢）比から乖離しす ぎないデータを得る必要があった．これらの条件をみたす上限と予測された 70,000 を目 標回収数とし，人口構成から乖離しないよう，性別・年代別の目標回収数が設定された6）． 調査は 2017 年 12 月 1 ～ 15 日に実施され，回収数は 83,732 であった．調査会社からは 当初，目標回収数どおりの 70,000 ケースのデータが提供されたが，人口構成比からの乖 離が大きく，20 代（特に男性），60 代女性，70 代（特に女性）の回収数が目標に達しなかっ た．必要な回収数が多いため，割り付けが十分機能しない点は，大規模なデータを集める 際に生じる問題といえる．そこで，運動参加者を少しでも多く確保する方針に転換し，期 間内に回答された全データを用いることとした．このうち，調査会社および筆者らで後述 のようなデータクリーニングを実施し，最終的に 77,084 を有効回答数とした．調査票は 大問 42 問からなり，委託費用は 800 万円程度であった．（2）モニター郵送調査 調査は日本リサーチセンターに委託した．予算の制約上，この調査もモニターを用いて いる．同社の郵送モニターのうち，インターネット調査と同じく 1 都 3 県に居住する 20 ～ 79 歳までの男女（年齢は調査時点）を対象とした．ただし，対象者は「非公募型」の モニターであり，国勢調査（2015 年）における人口構成比（性別・年代）にもとづいた 設定がなされている． 目標回収数を 10,000 に設定し，回収率を約 50% と予測したうえで，人口構成（性別・年代） 比が実際の分布に近似するように調査対象者（21,256 名）を抽出した．この数は支出可能 な予算の上限である．調査は 2017 年 11 月 30 日～ 12 月 26 日まで実施された．回収数は 11,522，調査会社によるデータチェックをへて 11,508 を有効回答数とした．有効回収率は 54.1% である．調査票は大問 43 問からなり，調査費用は 1365 万円である．つまり，オン ラインではモニター郵送の 6 割程度の費用で 6.7 倍のサンプルが確保できたことになる．
2. 3
データクリーニング
オンライン調査の問題の 1 つとして，回答の正確さが十分でないことがある．これは Satisfice（回答者が「調査に際して応分の注意資源を割」かない行動）（三浦・小林 2015：1） によるところが大きい．具体的には，説明文や回答項目を読み飛ばしていい加減な回答を 行う等の行動であり，分析結果にも影響を及ぼしうる． そこで本調査では，次のような手続きにより，Satisfice や不正確な回答をみきわめ，デー タから除外した．まず，調査会社によるクリーニングとして，回答時間が極端に短いケース， 自由回答の設問で不的確な回答（質問にそぐわない内容や意味のない文字・記号の羅列等） をしたケースが除外された．回答総数 83,732 のうち，3,560（4.3%）が無効回答とされた． 次に，筆者らが基準を設けてクリーニングを行った．第 1 の基準は「感情温度」設問で， 自民党，共産党，反原発運動，アメリカ等多様な対象について，「10（好き）」から「0（嫌い）」 までの値で回答する設問を用いた．こうした多様な対象について，すべて「10」，もしく はすべて「0」と回答したケースは，Satisfice による可能性が高いとみて除外した．これ により 2,454 ケースが除外された． 第 2 の基準は「集団参加」設問である．町内会，ボランティア，宗教団体等 12 の団体 を示したのに対し，そのすべてに「加入して積極的に活動」もしくは「加入している」と 回答したケースを除外した．これにより 81 ケースが除外された． 第 3 の基準は，「反原発デモ，反安保法制デモへの参加の経緯」についての自由回答で ある．この基準は，本研究にとって最も重要な「デモ参加」にかかわる．デモ参加につい ての回答が正確さを欠くならば，研究目的を正しく果たせない．しかも，デモ参加にかか わる設問については，Satisfice だけではなく，意図的に不正回答を行う可能性も考えられ た7）．そのため，「反原発／反安保法制デモについて，（1）なぜ参加しようと思われたのか， （2）どのようなきっかけで参加されたのか，できるだけ具体的にご記入ください」との自 由回答設問に対し，無回答もしくは「特になし」「わからない」等と回答したケースにつ いては，実際のデモ参加の確証が得られないとみなし，除外することとした．これは一般 的な基準ではなく，今回の研究にそくした特殊な基準といえるだろう．これにより 553 ケー スが除外された． 筆者らの 3 つの基準で無効となったケースは 3,088（3.9%），最終的な有効回答数は 77,084 である．調査会社が無効回答としたものとの合計の無効回答率は 7.9% であり，先 行研究（埴淵・村中・安藤 2015）とほぼ一致する．サンプルを拡大しても，不正回答自体が増えるわけではないようだ． 調査会社によって無効と判断されたケースを除き，無効回答か否かと基本的属性（性別， 年代，学歴）との関連をみた（表 1）．無効回答と基本的属性は明らかに関連しているよ うにみえる．先行研究（埴淵・村中・安藤 2015）同様，無効回答は若い年代で目立って 多い．また，男性，中高卒でやや多い傾向がみられる．
3
分析：調査方法による回答傾向の違い
本節では，前節でみたデータの回答傾向を他の調査方法によるものと比較し，大規模オ ンライン調査データから得られる結果の特徴を検証する． 具体的には，（1）公募型モニターを対象とした大規模オンライン調査（以下，オンライ ン）と（2）非公募型モニターを対象とした郵送調査（以下，モニター郵送），（3）無作為 抽出による郵送調査（以下，無作為郵送）を比較する． （3）無作為抽出による郵送調査としては，ほぼ同時期に永吉・松谷がかかわって実施 した「国際化と市民の政治参加に関する世論調査」（調査代表 田辺俊介）を用いる．こ の調査は 18 ～ 79 歳を対象とした全国調査で，選挙人名簿から無作為抽出した 51 市区， 10,200 人に対して郵送で行った（有効回収率 44.5%）．この調査には先の 2 つの調査と同 じ項目が 20 項目程度含まれるため，回答傾向を比較できる．3. 1
属性の比較
まず，各調査の基本的属性について確認する．オンライン，モニター郵送，無作為郵送 のうち，モニター郵送のみ性別・年代で割当てされ，オンラインも性別・年代の偏りが大 きくなりすぎないような制限がかけられていた． 表 2 では 3 つのサンプルの性別，年代，学歴を示している．性別については割当てを行っ たモニター郵送がもっとも実際の分布に近い．オンラインは男性，無作為郵送は女性の回 答率がやや高いが，3 つの調査でそれほど大きな違いがあるわけではない． 年代についても，割当てを行ったモニター郵送がもっとも実際の分布に近く，40 代が やや少ない程度で，他は 1 ポイント前後の違いしかない．それに比べるとオンラインも無 作為郵送も大きく偏っている．オンラインの特徴は，すでに指摘されているように，高年 層（70 代）の回答が著しく少ないことである．また，20 代の回答も目立って少ない．そ のかわりに，30 ～ 50 代の回答が多くなっている．無作為郵送の特徴は，高年層が多く若 年層が少ないことである．とりわけ，20 代，30 代が実際よりも少なく，60 代，70 代が実 際よりも多い．オンライン調査の偏りばかりが注目されがちであるが，回答者の年齢分布 表 1 無効回答率（性別 年代 学歴） 男性 女性 中高卒 大卒 中高卒 大卒 20 代 8.8% 6.0% 10.2% 6.8% 30 代 8.9% 5.2% 5.6% 4.4% 40 代 6.3% 3.6% 5.4% 3.3% 50 代 4.3% 2.6% 3.1% 2.4% 60 代 1.7% 1.3% 1.1% 1.0% 70 代 2.4% 0.3% 0.8% 0.5%でいえば，無作為抽出による郵送調査も同様に偏りうる． 学歴も 3 つの調査で分布が異なる．すでに指摘されているとおり，オンラインは中高卒 が少なく，大卒が多いという特徴が顕著に表れている．モニター郵送は中卒が少なく，大 卒が多いという特徴がみられる．無作為郵送は逆方向に偏っており，高卒がやや多く，短 大・大卒がやや少ない．もちろん，こうした特徴は年齢分布の偏りの影響を受けたもので ある．オンラインは高年層が少ないために，高学歴に偏っている側面も否定できない． オンライン調査のサンプルの偏りは，性別，年代，学歴を組み合わせると顕著に現れる． 図 1 は 3 変数で類型をつくり，その分布を示したものである8）．端的にいうと，オンライ ンの特徴は，中年大卒層の割合が高く，高年の非大卒層の割合がきわめて低い．オンライ ン調査と郵送調査を比較した轟らも，年齢と学歴の関連の違いを指摘していた（轟・歸山 表 2 各調査の基本的属性 オンライン モニター郵送 無作為郵送 国勢調査 % 度数 % 度数 % 度数 % 男性 53.0 40,887 51.0 5,837 46.7 583 50.3 女性 47.0 36,197 49.0 5,613 53.3 665 49.7 合計 100 77,084 100 11,450 100 1,248 100 Cramer's V （国調との比較） 0.00 0.00 0.00 20 代 8.0 6,205 15.5 1,777 7.9 99 14.4 30 代 21.3 16,451 16.9 1,931 12.1 151 17.9 40 代 29.9 23,068 17.9 2,047 17.3 216 21.1 50 代 21.3 16,405 16.2 1,853 18.6 232 15.8 60 代 16.2 12,520 18.7 2,135 25.3 316 17.1 70 代 3.2 2,435 14.9 1,704 18.8 234 13.7 合計 100 77,084 100 11,447 100 1,248 100 Cramer's V （国調との比較） 0.02 0.00 0.00 中学校 1.9 1,468 4.5 515 10.4 129 10.6 高校 26.1 20,110 37.0 4,230 43.7 541 38.8 短大・高専 18.0 13,889 16.8 1,924 14.2 176 17.5 大学・大学院 54.0 41,617 41.7 4,776 31.7 393 33.1 合計 100 77,084 100 11,445 100 1,239 100.0 Cramer's V （国調との比較） 0.03 0.01 0.00 （注） 国勢調査データについても，一都三県の 20 代から 70 代までの分布を示している．性別，年齢の分布は 2015 年， 学歴分布については 2010 年データにもとづく． 図 1 各調査の分布（性別 年代 学歴）
2014）．オンライン調査での捕捉がとりわけ難しいのは，高年かつ非大卒の人々だといえる． もっとも，若年では学歴による偏りは小さいから，時間の経過によりこうした偏りは自然 となくなっていくのかもしれない．その場合にはむしろ，無作為郵送よりも偏りのないデー タが取れるようになる可能性もある． 続いて，雇用形態と職業の分布について確認する（表 3）．年齢の偏りを考慮し，30 ～ 50 代までの回答者に限定した9）．雇用形態については，オンラインと無作為郵送が国勢 調査の分布と近く，モニター郵送では非正規割合が高い傾向がみられた．SSM 職業分類 を用いて10），オンラインと無作為郵送の職業分布を比較した場合，顕著な違いはオンラ インで事務職の割合が高いことである．その分，専門職を除く他のカテゴリが少なくなっ ている．この違いは，日常的にインターネット接続が可能な環境にあり，また，調査に回 答する時間的な余裕が影響しているものと考えられる．
3. 2
回答傾向の違い
次に，属性以外の項目について回答傾向の違いを確認する．従来の研究では，公募型ウェ ブ調査は他の方法による調査と比べて，回答分布が大きく異なることが示されている（石 田ほか 2009; 轟・歸山 2014）．今回のデータではどのような結果が得られるだろうか． まず，オンラインとモニター郵送で，焦点となっていた 2 つの対象（反原発・反安保法 制デモ参加者，「ネット右翼」11））の分布は異なるのか．デモ参加については二つの調査 でほぼ一致しており，モニター郵送で 2.2%，オンライン調査で 1.8% となっていた．これ に対し，ネット右翼はオンラインの割合がモニター郵送の倍以上となっている（それぞれ 1.5%，0.6%）． 人数でみると，郵送ではデモ参加者は 250 人，ネット右翼は 72 人にとど まるが，オンラインではサンプルサイズが大きいため，前者は1412人，後者は1167人だった． 次に，3 つの調査で共通する 15 の意識項目の分布を比較した（図 2）12）．モニター郵送， 無作為郵送で分布にほとんど差がないが，オンラインは分布が異なる．全体として大きく 異なっているのは，「どちらともいえない」という回答の割合である．この選択肢が含ま れるすべての項目で，オンラインがもっとも選択率が高かった．一方，「どちらともいえ ない」という選択肢のない，生活満足度と経済的自由主義にかんする 3 項目は 3 つの調査 でほとんど違いがみられない． 表 3 各調査の雇用形態・職業（30-50 代） オンライン モニター郵送 無作為郵送 国勢調査（2015） % 度数 % 度数 % 度数 % 正規 51.8 28,976 46.4 2,702 49.2 291 50.0 非正規 19.6 10,951 27.3 1,587 22.7 134 20.6 経営者・自営業・家族従業者 9.2 5,146 12.2 712 13.5 80 9.6 無職 19.4 10,851 14.1 819 14.6 86 19.8 合計 100.0 55,924 100.0 5,820 100.0 591 100.0 Cramer's V （国調との比較） 0.00 0.00 0.00 専門 22.4 9,885 22.6 109 管理 8.7 3,837 12.0 58 事務 35.9 15,859 25.9 125 販売サービス 16.5 7,299 14.1 68 熟練 6.8 2,989 8.7 42 半熟練 5.8 2,570 9.3 45 非熟練 3.7 1,626 6.0 29 農林 0.2 106 1.4 7 合計 100.0 44,171 100.0 483あいまいな中間回答が多く選ばれる以外は目立った違いがないという結果は，先行研究 の知見や，先にみた年齢，学歴の偏りから考えて，意外なものである．しかも，こうした 回答傾向は，重みづけにより属性の差を調整した場合にも，大きく変わるものではなかっ た13）． ただし，いくつかの項目では顕著な回答傾向の違いがあった．もっとも明確な違いは，「国 旗・国歌」「日本人としての誇り」というナショナリズムに関する項目の分布である．こ の 2 項目は無作為郵送でもっとも肯定回答が多く，オンラインでもっとも少ない．これは， 属性の影響を差し引いても確認できる．「ネット右翼」に注目されがちなインターネット 世論であるが，少なくとも本調査のネットモニターに関しては，通常調査の回答者よりも ナショナリズムが弱い点は興味深い． （注）オンライン：実線 □，モニター郵送：点線 △，無作為郵送：破線 ●． 図 2 回答分布の比較
3. 3
変数間の関連の違い
次に，変数間の関連について比較する．先行研究では，公募モニター型インターネット 調査と無作為抽出による調査では，変数間の関連はかなり類似するとの知見が示されてい る（轟・歸山 2014）．この知見は今回の大規模データでも確認されるのであろうか． まず，15 項目の意識変数間の相関について，すべての組み合わせを比較した14）．各調 査は属性の違いが大きく，回答分布にも一定の違いがみられたものの，相関係数の差は先 行研究と同じく大きなものではない． 相関係数 0.1 以上という基準でみた場合，どの調査間でもそれを上回る違いがみられた のは 1 割未満であった．ただ，相関係数 0.05 以上の差でみた場合，3 ～ 4 割程度の違いが あることも確認された．相関の符号まで異なるものは多くても 1 割程度であり，その多く は一方が統計的に有意でない場合であるが，一部に一定の強さの関連がそれぞれにみられ るものもあった．たとえば，オンラインと無作為郵送では，政治不信とナショナリズムに 関する項目で相関の正負が反転する例がみられた． 他方で，相関係数の信頼区間の重なりをみれば，無作為郵送とオンライン，モニター郵 送ではその多くが重なっており，誤差といえる範囲におさまっている．したがって，厳密 には相関係数は同じとはいえないものの，関連の強さはおおむね近似値を得られていると みなせるだろう． とりわけ，オンラインとモニター郵送の間では，相関係数はかなりの一致をみている． ケース数の少ない無作為郵送のほうが実際値とは乖離しており，むしろ，無作為抽出によ らない 2 つの調査のほうが実際値に近い可能性も考えられる． 表 4 意識変数間の相関係数の差 オンライン／モニター郵送 オンライン／無作為郵送 モニター郵送／無作為郵送 a: 相関係数の差が 0.1 以上 0 5 2 b: 相関係数の差が 0.05 以上 0.1 未満 18 33 30 合計（a+b） 18 （17.1%） 38 （36.2%） 32 （30.5%） c: 係数の符号が逆 5 （4.8%） 12（11.4%） 10 （9.5%） d: 相関係数の信頼区間が重なる 56 （53.3%） 80 （76.2%） 90 （85.7%） （注）欠損値はペアワイズで除外している．信頼区間は 95% 信頼区間を用いた． 表 5 年齢と意識変数の相関係数の差 オンライン／モニター郵送 オンライン／無作為郵送 モニター郵送／無作為郵送 a: 相関係数の差が 0.1 以上 1 4 2 b: 相関係数の差が 0.05 以上 0.1 未満 6 6 4 合計（a+b） 7 （46.7%） 10 （66.7%） 6 （40.0%） c: 係数の符号が逆 2 （13.3%） 4 （26.7%） 3 （20.0%） d: 相関係数の信頼区間が重なる 5 （33.3%） 6 （40.0%） 10 （66.7%） （注）欠損値はペアワイズで除外している．信頼区間は 95% 信頼区間を用いた． 表 6 教育年数と意識変数の相関係数の差 オンライン／モニター郵送 オンライン／無作為郵送 モニター郵送／無作為郵送 a: 相関係数の差が 0.1 以上 0 1 1 b: 相関係数の差が 0.05 以上 0.1 未満 3 5 5 合計（a+b） 3 （20.0%） 6 （40.0%） 6 （40.0%） c: 係数の符号が逆 2 （13.3%） 1 （6.7%） 1 （6.7%） d: 相関係数の信頼区間が重なる 4 （26.7%） 10 （66.7%） 13 （86.7%） （注）欠損値はペアワイズで除外している．信頼区間は 95% 信頼区間を用いた．では，年齢や学歴と意識変数との相関係数にはどの程度の違いがみられるだろうか．轟・ 歸山（2014）では，意識変数間の相関よりも，属性と意識変数の相関関係において同等で ない組み合わせが多いとの結果が示されている．今回の大規模データで特に偏りの大き かった年齢と教育年数と意識変数との相関係数を比較した． 表 5，6 をみると，相関係数の差が 0.1 以上の組み合わせは少ない．オンラインに注目 した場合，年齢と生活満足度の相関のみモニター郵送との差が 0.1 以上であった（それぞ れ 0.112，0.216）．一方，無作為郵送との差をみると，年齢で 4 つ，教育年数で 1 つが 0.1 以上であった．もっとも差が大きいのは，年齢と階層帰属意識の相関である（オンライン 0.107，無作為郵送－ 0.076）．今回の比較では，明確な傾向とまではいえないものの，価 値観よりも生活満足度や階層帰属意識で大きく差が出ていた． 相関係数の差が 0.05 以上という基準でみた場合も，信頼係数の重なりでみた場合も， 意識変数間の相関（表 4）よりも年齢・教育年数と意識変数の相関の違いが大きく，先行 研究と同様の結果となった．特に年齢は相関の正負が逆となる割合も高い．年齢と教育年 数の分布の違い（図 1）等が影響していると考えられる．
4
まとめ
本稿では 7 万人規模の対象者を集めたオンライン調査の例を通じて，出現確率の低い対 象者に対し調査をするうえでの，オンライン調査の有効性を検討した．非公募型モニター に対する郵送調査，無作為抽出による郵送調査との結果の比較から，以下のことが明らか になった． 第 1 に，確かにオンライン調査は，2 つの郵送調査と比べて，1）30 ～ 50 代が多く 20 代と 70 代が実際の構成比よりもかなり低い，2）高学歴層と 3）事務職が多いという偏り がみられた．公募型オンライン調査の多くは，実施段階で割当て等を行い年齢の偏りを調 整しているが，それを行わない場合は 30 ～ 50 代に偏る傾向がある．また，年齢を統制し ても学歴が偏る点は，先行研究と一致する（萩原 2009; 轟・歸山 2014）．ただし，その偏 りは高年層で大きく，若年層では小さい．したがって，オンライン調査を行う際には年齢 や（可能であれば）学歴による割付けが必要となる． 事務職が多いという結果は，先行研究の専門技術職が多いという結果と異なる（本多 2006; 萩原 2009）．これは調査の規模ではなく，この 10 年間のネット環境の変化によるも のだろう．ウェブ調査への回答がパソコン以外でも容易となったことの影響と考えられる． その場合でも，従前のようにブルーカラーの回答率は低いままである． 一方，無作為抽出による郵送調査でも高齢層や非大卒層に対象者が偏る傾向がみられた． 無作為抽出であってもセレクションバイアスを避けられず，それぞれの調査法に伴うバイ アスを考慮した分析が求められる． 第 2 に，上記のような偏りにもかかわらず，意識変数の分布に大きな偏りはみられなかっ た．このような「偏りのなさ」には，調査の規模が影響している可能性がある．7 万人の 対象者を確保するため，対象者の募集は長期間，積極的に行われた．結果として調査への 回答意欲の高い層以外も対象者に含まれることになり，回答の分布がより一般的な，他の 調査と近似した値となった可能性がある．Satisfice が，小さな労力で見返りを得ようと多 くの調査に参加する人で顕著なのであれば，こうした人が回答を終えた後でも継続して募 集を行うことで，その影響を弱められるのかもしれない．ただし，Satisfice は調査経験の少ない人にみられやすいとの知見もあるため（埴淵・村中・安藤 2015），この解釈の妥当 性について，調査日と Satisfice の関連の分析等を通じた検証が必要となる．
また，オンライン調査の意識変数には，中間回答が選ばれやすい傾向がみられた．これ には 2 つの理由が考えられる．第 1 に，中間に置かれた選択肢は「普通の」，「基準となる」 選択肢と認識されやすい（Tourangeau, Conrad and Couper 2013 ＝ 2019）．また，ウェブ調 査の画面と質問紙上では，選択肢間の間隔や位置がやや異なる．こうした視覚的情報の違 いが，回答傾向に影響を与えた可能性がある．第 2 に，オンライン調査ではいくつかの質 問で「わからない」を用意しなかった．そのため，「わからない」があればそのように選 択した人が中間回答を選択した可能性がある． 第 3 に，無作為抽出による郵送調査でナショナリズム関連の意識が顕著に強い傾向がみ られ，オンライン調査ではそうした傾向がもっとも弱かった．これはインターネットとナ ショナリズムの親和性についてのイメージを覆す．今回，オンライン調査は「市民の政治 参加に関する調査」，無作為抽出による郵送調査は「国際化と市民の政治参加に関する世 論調査」というタイトルで実施された．「国際化」という語が調査タイトルに入ることに より，それに対して意見をもつ対象者の回答を促した可能性もある．この場合，前田（2009） が指摘した「いいたいことがある人が答える」というバイアスは，オンライン調査に特有 のものではなく，郵送調査でもタイトルによってはセレクションバイアスが生じる可能性 がある． 第 4 に，変数間の関連も，3 つの調査で大きな違いはなかったものの，年齢や教育年数 というサンプルの偏りが顕著にみられる属性については，オンライン調査を用いることで 推定がゆがむ可能性も示された．年齢や教育年数の効果は社会学の主要な関心となるため， この点はオンライン調査のデメリットとなりうる．ただし，サンプルの偏りがインターネッ ト利用の偏りによって生じているのであれば，インターネットの普及が進むことで，バイ アスは弱まっていく可能性もある． 本調査の結果からは，時間的・経済的コストを考慮すると，稀な対象への調査の方法と してオンライン調査を行うメリットは十分にあるといえる．他方で研究関心によっては無 視できないゆがみを結果に生じさせる可能性もあり，オンライン調査の手法やサンプルの 規模による，回答分布や回答間の関連に対する影響について検証を積み重ね，改善策を発 展させることが求められている． ［付記・謝辞］ 本研究は JSPS 科研費 JP17H01005，JP16H03702 の助成を受けた．職業情報のコーディングに当たり， 東京大学社会科学研究所附属社会調査・データアーカイブ研究センターが提供する自動コーディングシス テムを利用した．また，JISCO 社への委託も合わせて行った．本稿の執筆にあたり，谷岡謙氏（中京大学） から有益なコメントをいただいた．ここに謝意を表したい． ［注］ 1） ここでは「オンライン調査」という語を，コンピュータ端末をツールとして自記式で実施する調査 （CASI, Computer Assisted Self-administered Interview）の中でも，インターネット調査会社のモニター
に対して実施する調査という意味で用いる． 2） 2014 年に実施された調査では対象者でデモ参加経験がある割合は 7% にとどまり（小林 2015），通常 の調査でのサンプルの確保が困難な対象である． 3） 「ネット右翼」は辻の研究では 2% 未満であった（辻 2017）． 4） これまで運動組織や政治構造の国際比較はあったが，これらのプロジェクトは運動参加者に対する初 めての本格的な国際比較調査である．前者について詳しくは，CCC project（http://www.protestsurvey.
eu/index.php?page=index）を参照．後者については LIVEWHAT project（http://www.unige.ch/livewhat/） を参照． 5） 筆者らがプロジェクトを企画したのは 2016 年であり，すでにデモのピークは過ぎていたため，CCC project のような手法はとれなかった． 6） 運動参加者を確保するために，震災後の運動参加を問うスクリーニング質問を入れる案もあったが， より多くの調査に答えてポイントを獲得する目的で，運動に参加したと虚偽の回答をする可能性を考 慮し，スクリーニングは行わなかった． 7） 具体的には，「デモ参加経験」を有する場合に，より多くの設問に回答し，より多くのポイントを得 られると考え，参加経験がなくても「あり」と回答するケースが想定される． 8） ここでは，20 ～ 30 代を若年，40 ～ 50 代を中年，60 ～ 70 代を高年としている．また，学歴は中高卒， 短大・大卒の 2 区分としている． 9） モニター郵送は職業コーディングを行っていないため，職業の分布からは除外している．また，国勢 調査の集計では休業中の場合も就業者に含め，「通学のかたわら仕事」は無職に分類した．分類不能 の雇用形態の人は分析から除外している． 10） 職業コーディングは，東京大学社会科学研究所の自動コーディングシステムを利用しておおまかな コードをつけたうえで，JISCO 社に委託して行った． 11） ネット右翼の定義については永吉（2019）を参照． 12） サンプルサイズが大きいため，カイ二乗検定では，すべての項目で有意差が確認される．しかし，そ のほとんどは 10 ポイント未満の差であった．調査種類と各変数の関連性について Cramerʼs V をみた ところ，0.1 を超えるのは国への誇りのみであり，次いで「国旗・国歌」への態度が 0.09 であった． 13） オンラインの性別，年代，学歴の構成をモニター郵送に合わせる形で重み付けをした場合でも，意識 項目の回答分布は 1 ポイント程度の違いしか生じない． 14） 先行研究では相関係数の同等性についての検定が行われている（轟・歸山 2014）．しかし，大規模デー タの場合，検定力が極めて高くなるため，ほとんどの関連において有意差がみられる．そこで本稿で は，便宜的に相関係数の差と信頼区間の重なりの有無という二つの基準を用いた．より厳密な比較は 今後の課題となる． ［文献］ 玄田有史・曲沼美恵，2004，『ニート：フリーターでもなく失業者でもなく』幻冬舎．
Grasso, M. T. and M. Giugni, 2016, “Protest Participation and Economic Crisis: The Conditioning Role of Political Opportunities,” European Journal of Political Research, 55: 66-80.
埴淵知哉・村中亮夫・安藤雅登，2015，「インターネット調査によるデータ収集の課題：不良回答，回答時間， および地理的特性に注目した分析」『E-journal GEO』10(1): 81-98． 樋口耕一・中井美紀・湊邦生，2012，「Web 調査における公募型モニターと非公募型モニターの回答傾向： 変数間の関連に注目して」『立命館産業社会論集』48(3): 95-103． 平林祐子，2013，「何が『デモのある社会』をつくるのか：ポスト 3.11 のアクティヴィズムとメディア」 田中重好・舩橋晴俊・正村俊之編『東日本大震災と社会学：大災害を生み出した社会』ミネルヴァ書 房 , 163-95． 本多則惠，2006，「インターネット調査・モニター調査の特質：モニター型インターネット調査を活用す るための課題」『日本労働研究雑誌』551: 32-41． 石田浩・佐藤香・佐藤博樹・豊田義博・荻原牧子・荻原雅之・本多則惠・前田幸男・三輪哲，2009，『信 頼できるインターネット調査法の確立に向けて（SSJ データアーカイブ Research Paper Series 42）』東 京大学社会科学研究所．
石田賢示，2019，「日本における移民の地位達成構造：第一・第二世代移民と日本国籍者との比較分析」 是川夕編『人口問題と移民：日本の人口・階層構造はどう変わるのか』明石書店，92-113．
Klandermans, B., 1984, “Mobilization and Participation: Social-Psychological Expansions of Resource Mobilization Theory,” American Sociological Review, 49: 583-600.
小林利行，2015，「低下する日本人の政治的・社会的活動意欲とその背景：ISSP 国際比較調査「市民意識」・ 日本の結果から」『放送研究と調査』65(1): 22-41．
栗田宣義，1993，『社会運動の計量社会学的分析：なぜ抗議するのか』日本評論社． McAdam, D., 1988, Freedom Summer, Oxford University Press.
前田智彦，2009，「法律問題と専門家相談：インターネット調査の可能性」太田勝造・ダニエル・H・フッ ト・濱野亮・村山眞維編『法社会学の新世代』有斐閣 , 98-122．
三浦麻子・小林哲郎，2015，「オンライン調査モニタの Satisfice に関する実験的研究」『社会心理学研究』 31(1): 1-12． 三浦麻子・小林哲郎，2018，「オンライン調査における努力の最小限化が回答傾向に及ぼす影響」『行動計 量学』45(1): 1-11． 長崎貴裕，2008，「インターネット調査の歴史とその活用」『情報の科学と技術』58(6): 295-300． 永吉希久子，2019，「ネット右翼とは誰か：ネット右翼の規定要因」樋口直人・永吉希久子・松谷満・倉橋耕平・ ファビアン・シェーファー・山口智美『ネット右翼とは何か』青弓社 , 13-43． 萩原牧子，2009，「インターネットモニター調査はどのように偏っているのか：従来型調査手法に代替す る調査手法の模索」『Works review』4: 8-19． 大隅昇，2008，「これからの社会調査：インターネット調査の可能性と課題」『日本健康教育学雑誌』16 (4): 196-205． 轟亮・歸山亜紀，2014，「予備調査としてのインターネット調査の可能性：変数間の関連に注目して」『社 会と調査』12: 46-61．
Tourangeau, R., F. G. Conrad and M. P. Couper, 2013, The Science of Web Surveys, Oxford University Press.（大隅昇・ 鳰真紀子・井田潤治・小野裕亮訳，2019，『ウェブ調査の科学』朝倉書店．）
辻大介，2017，「計量調査から見る「ネット右翼」のプロファイル：2007 年／ 2014 年ウェブ調査の分析結 果をもとに」『年報人間科学』38: 211-24．
Walsh, E. J. and R. H. Warland, 1983, “Social Movement Involvement in the Wake of a Nuclear Accident: Activists and Free Riders in the TMI Area,” American Sociological Review, 48(6): 764-80.
Walgrave, S., R. Wouters and P. Ketelaars, 2016, “Response Problems in the Protest Survey Design: Evidence from Fifty-One Protest Events in Seven Countries,” Mobilization, 21(1): 83-104.
Special Issue Article
An Online Survey with a Large Sample-Size:
A case of the survey for demonstrators after the Great East Japan Earthquake
Kikuko Nagayoshi（The University of Tokyo）Mitsuru Matsutani（Chukyo University） Naoto Higuchi（Waseda University）
Abstract
This research examines the validity of an online survey that focuses on respondents with the rare experience. We use the case of the survey for demonstrators against Japanʼs nuclear and security policies. An online survey is a simple and inexpensive method to gain access to a large group of potential respondents. However, studies have found that samples can be biased regarding age and education and thus provide inaccurate results. In this research, we illustrate how we address these issues and whether the results of our online survey are different from those of two mail surveys (one using a random sampling method and the other using a probability sampled panel). Results show that while the respondents in the online survey are biased regarding age and education, the same is true for respondents to the mail survey using the random sampling method. The three types of surveys do not largely differ in the distributions of attitudes and their correlations. A larger sample size might weaken its selection bias. These results mitigate negative views of online surveys.
Keywords
online survey, mail survey, selection bias 永吉 希久子（ながよし きくこ）．東京大学社会科学研究所 准教授．〒 113-0033 東京都文京区本郷 7-3-1． [email protected]．研究関心：社会意識，民族関係，移民． 松谷 満（まつたに みつる）．中京大学現代社会学部 准教授．〒 470-0393 愛知県豊田市貝津町床立 101．mitsurum@ sass.chukyo-u.ac.jp．研究関心：社会意識，ポピュリズム，社会運動． 樋口 直人（ひぐち なおと）．早稲田大学人間科学学術院 教授．〒 359-1192 所沢市三ヶ島 2-579-15．higuchinaoto@ waseda.jp．研究関心：移民，社会運動，排外主義．
