• 検索結果がありません。

情報開示と調査対象への配慮

第5章 どういう調査が「よい調査」なのか <調査の質についての分析枠組>

5.3 情報開示と調査対象への配慮

調査内容が正確であることは最も重要な点であるが、それと同時に、利用者が調査結果の 正確さを判断できる情報を提供すること、及び、調査対象者への配慮も重要である。

5.3.1

利用者に必要な情報を提供する

調査結果を一般利用者に示す場合は、利用者自身が調査の正確さについて判断できるよう に、最低限次の情報を提供すべきである 23

① 調査の実施時期

② 枠母集団

③ 計画標本の抽出方法

④ 計画標本数及び回収標本数(層化抽出の場合は層ごとの数値)

⑤ 調査票

⑥ 調査方法

⑦ 単純な平均や合計以外の集計(ウエイト付け、比推定など)を行った場合はその方法 また、調査の一部を外部の調査会社等に委託する場合は、次の点がブラックボックスにな りやすいので、内容の開示を求めるか、または、手法を明確に指示しその履行確保の手段を 講じるべきである。逆に、これらに対応できない会社への委託は、慎重にするのが望ましい。

① 枠母集団の作成方法及び管理方法(とくにモニター調査の場合に重要)

② 計画標本の抽出方法(名簿の最初だけ抽出することがあるか)

③ 回収打ち切りのタイミング(回収数が一定に達した段階で打ち切ることがあるか)

④ データ入力のチェック方法(二重入力など)

⑤ データ・クリーニングの方法及び自動修正の件数

23 調査の情報開示の行き届いた例として、内閣府国民生活局物価政策課「介護サービス市場の一層の効率化のた めに」(平成148月、介護サービス価格に関する研究会報告書)を紹介しておきたい。この報告書では、調 査結果を示すに当たり、調査対象者数、有効回答数、調査票のほか、以下のような説明を付している。

“対象サンプルは、社会調査会社の全国モニター対象136,349サンプルに対して要介護者の有無を尋ねるス クリーニングを行い、回答の複雑さを避けるために要介護者が1人の世帯の中から、ランダムに抽出しました。

社会調査会社のモニター自体は、住民基本台帳からランダムに対象を抽出してモニター契約を依頼しているた め、国勢調査に極めて近いサンプル構成となっていますが、モニター契約を受託する段階でバイアスが入るこ とは否定できません。しかしながら、こうした公的介護保険後の要介護世帯の実態調査は極めて希少ですので、

現在のところBest Available Dataとして十分に価値があります。”

5.3.2 個人情報の保護

調査を実施する機関は、調査によって得られた個人情報の保護を図るための規定を置き、

その履行確保の手段を講じるべきである。また、調査の一部を外部の調査会社等に委託する 場合は、こうした措置がとられている会社を選ぶべきである。

5.3.3

記入者負担の軽減

調査票の設計及び調査方法の選択にあたっては、記入者負担の軽減に配慮すべきである。

これは、無回答誤差の抑制にも効果がある。

また、個人情報を保護しつつ既存調査を共有化して、個票の再集計が行いやすい環境を整 えることも望まれる。

5.4 (補足)無回答誤差の測定

ここでは、調査結果の誤差に重大な影響を与えていると思われるにもかかわらず、分析・

測定、取扱いの方法論が確立していない「無回答誤差」に対象をしぼり、海外の先行研究を 参照していくつかのアプローチの方法を紹介する。

5.4.1

「無回答誤差」の分解

調査の回答率の高低は、一般的に調査の質を測る重要な尺度として認識されている。しか し、「無回答誤差」の大きさは、回答率のみによって決まるわけではなく、「回答者と無回答 者の間の等質性・異質性」にも影響を受ける。

R. M. Groves

は、無回答誤差の内訳を、「無回答率」と「回答者と無回答者の値の差異」

に分解し、次のように数式化している(

Groves

1989

))。

回答者の値=計画標本全体の値+無回答率×(回答者の値-無回答者の値)

r n

( y

r

y

nr

)

n y nr

y ⎟ −

⎜ ⎞

⎝ + ⎛

=

・・・・

(1)

無回答誤差 = 無回答率 × (回答者の値と無回答者の値の差)

(例)年収を質問し、回答者の回答平均が

100

万円、無回答者の年収平均が

200

万円、回答者

90

人、無回答者

10

人だったとすると、

100

万円 = 計画標本全体の年収平均 +

10

100

× (

100

万円-

200

万円)

したがって計画標本全体の年収平均は

110

万円となる。

無回答には不在、回答不能、回答拒否などいくつかの理由があるが、無回答である理由に よって、回答者と比較した場合の回答内容の差の度合いも異なることが考えられる。

この考え方に従えば、上記の式

(1)

は、「無回答」の理由によって次のように細かく分ける ことができる。

y

r

= y

n

+ nc n ( y

r

y

nc

) + ni n ( y

r

y

ni

) + rf n ( y

r

y

rf

)

・・・・

(2)

  無回答者数   

査対象者数)

計画標本のサイズ(調  

     

拒否した者の値 無回答者のうち回答を

能だった者の値 無回答者のうち回答不

 

きなかった者の値 無回答者のうち接触で

無回答者の値  

答者+無回答者)の値   サンプル全体(回

回答者の値  

nr n y y y y y y

rf ni nc nr n r

5.4.2

「無回答誤差」の大きさを試算する

無回答者の存在は調査結果にどのような誤差を生じさせ、それは無回答率と「回答者集団

-無回答者集団間の格差」によってどう変化するのだろうか。ここで、「無回答率」を任意に 数段階想定し、各ケースでの無回答誤差がどれくらいの大きさになる可能性があるかを試算 してみよう。

ここでは、単純化のため、無回答理由の違い(不在、拒否など)による「回答者-無回答 者間格差の相違は無視し、

(1)

式を用いて試算を行う。問に対して○か×かで答えて「○」な ら1、「×」なら0とカウントする質問形式を想定する。

調査対象者全体(回答者+無回答者)の値(

Yn

)の範囲

調査の結果(r) (回答者の中の「○」と答えた人の割合)

0.25 0.5 0.75

0% 0 0.25 0.5 0.75 1

25% 0~0.25 0.1875~0.4375 0.375~0.625 0.5625~0.8125 0.75~1 50% 0~0.5 0.125~0.625 0.25~0.75 0.375~0.875 0.5~1

nr/n 75% 0~0.75 0.0625~0.8125 0.125~0.875 0.1875~0.9375 0.25~1

*「無回答者の回答の平均値(Ynr)=1」のとき、Ynは、各セルに示された範囲の中の最大値をとり、Ynr

=0」のときYnは最小値をとる。

調査結果(=回答者の平均値

y

r)が

0.5(○と×を選んだ者が半々)で、回答率 75%(無

回答率

nr/n= 0.25

)であった場合を考えてみよう(網掛けしたセルのケース)。

このとき、無回答者集団の回答の平均値(

y

nr)がとりうる値は「

0

1

」である。

y

nr

0

のとき、回答者と無回答者をあわせた全体の値(

y

n)は、

n r

( y

r

y

nr

)

n y nr

y ⎟ −

⎜ ⎞

− ⎛

=

より

y

n

0.5

0.25

×

(0.5

0)

0.375 y

nr

1

のとき、

y

n

0.5

0.25

×

(0.5

1)

0.625

調査結果(

0.5

)と全体の値の差、すなわち「無回答誤差」はそれぞれ-

0.125

+0.125

と なる。

つまり、調査の結果の平均値(=回収標本の平均値)が「

50

%」(○と回答した人の比率 が

50

%)であるときに、回答者と無回答者の間の差についての情報が何もないのであれば、

「計画標本全体の平均値(=全調査対象者のうちの「○」と回答する人の比率)は

37.5

%か ら

62.5

%の間である」としか結果づけることができないことになる。

ここでは回答率

75

%と想定して誤差を算定してみたが、実際には回答率が

50

%を下回る 調査も多く、そのような調査結果でも実際にいろいろな場面で利用されている。これは「回 答者と無回答者の間の差はそれほど大きくないだろう」と暗黙のうちに想定しているからで あると考えられる。

しかし、特に回答率の低い調査の結果を利用する場合には、質問内容、調査方法、実査の 状況をよく検討して回答者集団と無回答者集団の等質性・異質性を推し測ることが必要だろ う。

極端な例をあげてみよう(井上ほか(

1995

))。

「社会調査をどう思うか」について

1,000

人の人に意見を聞く調査を行った結果、回収率

30%、うち好意的で協力しようという人が 80%、非好意的で協力したくないという人が

20

%であったと仮定する。そこから「社会調査に協力しようという人が

80

%いる」と結論づ けられるだろうか。逆にいえば、調査に協力してもらえなかった未回収の

700

人の中で、調 査に協力的な人が

80

%いると考えることが妥当だろうか。この場合、回収された

300

票は 調査に好意的なほうに偏っていると考えるべきだろう。

このように調査の回答内容と調査無回答者の関係を推定しやすいケースでは、調査結果の 利用にあたって落とし穴に気がつきやすいが、そうした関係が見えにくくとも、回答者と無 回答者の間の等質性・異質性を推定する努力は必要だろう。

5.4.3

「回答者-無回答者」間の差の分析

無回答誤差の大きさを決める二つの要因「無回答率」と「回答者と無回答者の差」のうち、

無回答率は調査の実施状況から把握することができるが、後者については、原理的に把握で きない(無回答者を含む調査対象者の「値」(質問に対する回答内容)が先験的にわからない からこそ調査を行うのであるから)ものである。

しかし、無回答者に対して追跡調査を行うことにより、無回答者集団の全貌とまではいか なくとも、その特徴の把握を試みた例があるので、以下紹介する。

<研究例

1

:NHK「日本人の日本観」調査(

1973

年)での追跡調査>

林・山岡(2002)より標記の追跡調査の解説を引用する。

「この調査は、通常の調査を第

1

回目の調査とし、

1

ヵ月後に追跡調査・再調査(第

2

次 調査)を実施したものである。第

1

次調査での回収率は

74.4

%、・・・追跡調査で

11.6

%が 回収され、あわせて

86.0

%の回収率となっている。第

1

次調査と追跡調査の回収標本の違い は、第

1

次調査だけの回答選択率と調査不能標本の回答選択率の差をある程度表していると 考えた実験調査である。追跡調査でも調査不能となった

14%の人々の回答については、どう

してもわからないので、これで推測するしかない。

まず、計画標本についても構成比のわかる属性についてつかんでおく。性別の年齢層別で は、第

1

次調査で不能率の高かった男

20

35

歳、女

20

24

歳の層が、追跡調査で回収され る。

70

歳以上も第

1

次調査の不能率が高いが、この層では追跡調査でも回収率は低いままで ある。追跡調査だけみると、年齢の若い層が多い。全体的には追跡調査により計画標本にお ける性別・年齢別の構成比に近づく。地域別では第

1

次調査での偏りが追跡調査で補正され ることがない。いずれも、計画標本における属性構成比と比べ、第

1

次調査における回収標 本の属性構成比は有意差がみられ、それに追加調査の回収を加えた最終回収標本でもやはり 有意差がみられるが、やや改善されている。

次に、質問項目への回答の違いをみるため、第

1

次調査に追跡調査を加えた最終回収標本 の回答と、追跡調査だけの回収標本の回答を比較する。全

250

選択肢について、それぞれ選 択比率の差をカイ

2

乗検定したところ、

250

選択肢中

39

選択肢(

16

%)において有意差が みられた。その回答の傾向をみると、追跡調査の回収標本は最終回収標本よりも、より否定 的で暗いマイナス志向の選択肢を回答している傾向がみられる。・・・・これは、年齢構成比 の差によることも考えられるので、その補正を行って比較しているが、それでも修正されな い。

すなわち、年齢構成比の差を越えて、第1次調査で調査できた人々と、追跡によって調査 が可能となった人々の間に、意識の差がみられるということである。しかし、第1次調査の 回収標本と、追跡調査を加えた最終回収標本とで比較すると、有意差はみられなくなる。追