学校評価の IRT スケールに基づく CS 分析法の開発

学校評価の IRT スケールに基づく CS 分析法の開

発

著者

三品 祐輔

学位授与機関

Tohoku University

2020 年度 修士論文

学校評価の IRT スケールに基づく

CS 分析法の開発

三品 祐輔

東北大学大学院教育学研究科 教育情報アセスメントコース 教育評価測定論領域 2021 年 1 月 12 日

1

要旨

学校評価は 2007 年から実施と学校設置者への報告が義務化され，実施率，報 告率も極めて高い。しかしながら，学校運営の改善に活用するという点では課 題が山積している。その課題の一つとして，統計の専門知識が豊富ではない現 場の教員が多忙な中，各学校の独自裁量で分析しており，単純集計に留まって いることが挙げられる。

本研究では，IRT（Item Response Theory；項目反応理論）スケールに基づく CS 分析（Customer Satisfaction Analysis；顧客満足度分析）の考え方に基づい た，具体的な学校評価アンケートの分析手法を開発する。CS 分析とは，主にマ ーケティングの分野で使われてきた ，顧客の総合評価を高めるために 何を改善 すればよいかを明白にする分析である。また，IRT とは，受検者の回答から質問 項目への反応確率が規定されるモデル化を行うことで，異なる機会，場所，内容 で実施された回答結果を比較可能とする理論である。 この２つの考え方を融合 することで，学校評価アンケートから，①何を改善すれば良いか，また，②年度 間比較や学校間比較によ る他集団と比べての良否が明確になる 分析手法を新た に提案する。 第 1 研究として，学校評価に CS 分析が適用できるかを検証した。第 2 研究 として，学校評価に IRT が適用できるかを検証し，採用する IRT モデルや等化 法を定め，IRT スケールに基づく CS 分析法を開発，検証した。これらの研究か ら，学校評価に CS 分析を活用することで，どの項目から着手すれば効率的に 改善できるかを可視化できること，IRT スケールに基づく CS 分析によって，集 団間比較が一定程度可能になることが示された。以上を踏まえて，様々な角度 から学校評価アンケートの分析が可能な Excel ツールを開発した。 本研究の提案手法によって，単純集計では可視化できない集団の意見を把握， 比較できるようになり，EBPM（Evidence-Based Policy Making；エビデンスに 基づく政策立案）の方向性に合致した学校運営の一助と なる分析資料を提供で きることが実証された。

2

目次

1 学校評価の歴史と現状 ... 9

1.1 学校評価の歴史 ... 9 1.2 学校評価の現状 ...11 1.3 学校評価の先行研究 ...15

2 CS 分析 ... 16

2.1 CS 分析の概要 ...16 2.１.1 CS 分析の用語の整理... 16 2.１.2 CS 分析の有用性 ... 20

３ 項目反応理論 ... 21

3.１ 項目反応理論の概要 ...21 3.２ 項目反応理論（IRT）と CS 分析 ...23

4 研究の目的 ... 24

5 分析対象データ... 25

6 第 1 研究 学校評価への CS 分析の適用可能性の検討 ... 28

6.1 第 1 研究の目的 ...28 6.2 第 1 研究の方法 ...28 6.2.1 学校評価アンケートにおけるＣＳ分析 ... 28 6.2.2 学校評価アンケートにおけるＣＳ分析の考え方の導入 ... 28 6.2.3 CS 分析グラフの象限比較 ... 29 6.2.4 CS 分析の考え方に対する現場の意見の収集 ... 30 6.3 第 1 研究の結果 ...30 6.3.1 学校評価アンケートにおける CS 分析の結果 ... 30

3 6.3.2 学校評価アンケートにおける回答重要度と解析重要度 ... 32 6.3.3 学校評価アンケートにおける解析重要度 ... 34 6.3.4 CS 分析グラフの象限比較結果 ... 36 6.3.5 CS 分析の考え方に対する現場の意見 ... 37 6.4 第 1 研究の考察 ...38 6.4.1 学校評価アンケートにおける CS 分析の用語の定義の検討 ... 38 6.4.2 CS 分析グラフの象限比較について ... 43 6.4.3 CS 分析の考え方に対する現場の意見についての考察 ... 44 6.4.4 第 1 研究で見えた成果と課題 ... 44

7 第 2 研究 学 校 評 価 の CS 分 析 へ の IRT の 適 用 可 能 性 の 検 討 . 46

7.1 第 2 研究の目的 ...46 7.2 第 2 研究の方法 ...46 7.2.1 IRT 適用の前提条件の確認 ... 47 7.2.2 採用する IRT モデルの検討 ... 50 7.2.4 等化法の検討 ... 56 7.2.5 CS 分析グラフでの表現の検討 ... 60 7.2.6 等化後の特性値 θ ヒストグラムでの表現の検討 ... 60 7.2.7 項目パラメタの変動についての検討 ... 60 7.3 第 2 研究の結果 ...63 7.3.1 IRT 適用の前提条件の結果 ... 63 7.3.2 IRT モデルの比較 ... 66 7.3.3 特性値 θ の推定方法の比較 ... 78 7.3.4 等化法の比較 ... 80 7.3.5 CS 分析グラフでの表現 ... 81 7.3.6 等化後の特性値 θ ヒストグラムでの表現 ... 83 7.4 第 2 研究の考察 ...92 7.4.1 IRT 適用の前提条件についての考察 ... 92 7.4.2 採用する IRT モデルについての考察 ... 93 7.4.3 特性値 θ の推定方法についての考察... 94

4 7.4.4 採用する等化法につていの考察 ... 94 7.4.5 CS 分析グラフでの表現についての考察 ... 94 7.4.6 等化後の特性値 θ ヒストグラムでの表現についての考察 ... 100 7.4.7 項目パラメタの変動についての考察 ... 101

8 学校評価分析ツール ... 108

8.1 学校評価分析ツールの概要 ... 108 8.2 単純集計ツール ... 109 8.3 IRT-CS 分析ツール ... 113 8.4 IRT-CS 比較ツール ... 116

9 本研究の総括 ... 121

9.1 本研究の成果 ... 121 9.2 本研究の課題 ... 122 9.3 今後の展望 ... 123

参考⽂献 ... 125

付録 A 第 1 研究 現場アンケ―ト原稿 ... 129

付録 B 各集団の項目パラメタ一覧 ... 130

付録 C 等化係数算出の R コード ... 140

付録 D lordif による DIF 検出の R コード ... 142

付録 E 各集団の IRT-CS 比較グラフ ... 143

付録 F 各集団の等化後 θ ヒストグラム ... 147

5

付録 G 学校評価分析ツールの免責事項 ... 151

謝辞 ... 152

6

図リスト

図 1.1 日本における学校評価実施率の変遷 ... 11 図 1.2 日本における学校評価実施校の報告率の変遷 ... 12 図 1.3 学校評価の効果についてのアンケート調査結果 ... 13 図 1.4 学校評価の課題についてのアンケート調査結果 ... 14 図 2.1 一般的な CS 分析のデータ構造 ... 17 図 2.2 一般的な CS 分析のグラフのイメージ ... 19 図 3.1 2PLM の ICC の例 ... 22 図 6.1 学校評価アンケートデータによる CS 分析グラフ ... 31 図 6.2 各項目の回答重要度と解析重要度の散布図 ... 32 図 6.3 CS 分析グラフのうち各象限の典型的な項目 ... 34 図 6.4 各象限の典型項目における個人総合満足度と 4 件法の回答の散布図 ... 35 図 6.5 従前の学校評価アンケートの分析についての現場の意見 ... 37 図 6.6 CS 分析の考え方に基づいた学校評価の分析ついての現場の意見 ... 38 図 6.7 本研究で提案する CS 分析グラフの軸および象限の名称 ... 40 図 6.8 本研究で提案する CS 分析グラフ ... 42 図 7.1 本研究の調査対象データの共通項目のイメージ ... 58 図 7.2 等化係数から等化後項目パラメタの算出 ... 59 図 7.3 項目パラメタ固定法による等化後項目パラメタの算出 ... 59 図 7.4 各等化法での項目パラメタによる特性値 θ の推定 ... 60 図 7.5 各集団のスクリープロット ... 64 図 7.6 CS 分析の「個人総合満足度との関連度」と２PLM および GRM の識別力𝑎𝑗 との相関係数 ... 67 図 7.7 集団ごとの CS 分析の「項目満足度」と２PLM の困難度の反数−𝑏𝑗，GRM の境界 値パラメタの平均の反数 −𝑏𝑗，および，GRM の３つの境界値パラメタのうちの 𝑏𝑗2の反数 −𝑏_𝑗2との相関係数 ... 69 図 7.8 学校評価アンケート合計得点と２PLMθおよび GRMθ との散布図 ... 71 図 7.9 ２PLMθと GRMθ との散布図 ... 73 図 7.10 ２PLMθの標準誤差（SE）と GRMθ の標準誤差（SE）との散布図 ... 75

7 図 7.11 ２PLM と GRM のテスト情報量 ... 77 図 7.12 MAP 推定法および EAP 推定法での適合割合 ... 79 図 7.13 CS 分析グラフ ... 81 図 7.14 識別力と境界値パラメタの平均による CS 分析グラフ ... 81 図 7.15 識別力と境界値パラメタの平均の反数による CS 分析グラフ ... 81 図 7.16 IRT-CS 比較グラフ ... 82 図 7.17 等化後 θ ヒストグラム ... 83 図 7.18 集団間の共通項目パラメタの散布図による DIF 項目の簡易的表現の見方 .. 85 図 7.19 集団間の共通項目パラメタの散布図と DIF ... 88-91 図 7.20 困難度と項目特性曲線の解釈 ... 95 図 7.21 識別力と項目特性曲線の解釈 ... 96 図 7.22 IRT-CS 分析グラフの４つの象限 ... 97 図 7.23 IRT-CS 分析グラフの絶対象限，相対象限の区切り ... 98 図 7.24 IRT-CS 分析グラフ ... 99 図 7.25 IRT-CS 比較グラフにおける集団間の変動 ... 100 図 7.26 集団間の共通項目パラメタの散布図と仮基準による DIF ... 104-107 図 8.1 学校評価分析ツールの概要 ... 108 図 8.2 単純集計ツールのアンケートデータ貼付けシート ... 110 図 8.3 単純集計ツールのアンケート質問項目シート ... 110 図 8.4 単純集計ツールで出力されるグラフ ... 112 図 8.5 IRT-CS 分析ツールの「操作マニュアル」シート ... 114 図 8.6 「IRT-CS グラフ」シート ... 115 図 8.7 IRT-CS 分析ツールの「ヒストグラム」シート ... 115 図 8.8 「Q3 統計量」シート ... 116 図 8.9 IRT-CS 比較ツールの「操作マニュアル」シート ... 117 図 8.10 「IRT-CS 比較グラフ」シート ... 118 図 8.11 「共通項目変動」シート ... 119 図 8.12 IRT-CS 比較ツールの「ヒストグラム」シート ... 120

8

表リスト

表 1.1 日本における学校評価の変遷についての年表 ... 10 表 1.2 日本における学校評価実施率の変遷 ... 11 表 1.3 日本における学校評価実施校の報告率の変遷 ... 12 表 5.1 本研究における分析対象データ ... 27 表 6.1 B 高等学校における各項目の回答重要度と解析重要度 ... 33 表 6.2 H30 A 高等学校の CS 分析グラフ象限比較結果（抜粋） ... 36 表 6.3 一般的な CS 分析と本研究における CS 分析の用語の対応 ... 39 表 7.1 項目分析 ... 63-64 表 7.2 Q3統計量が基準値以上の項目ペア数... 65 表 7.3 CS 分析の「個人総合満足度との関連度」と２PLM および GRM の識別力𝑎𝑗と の相関係数 ... 67 表 7.4 CS 分析の「項目満足度」と２PLM の困難度の反数 −𝑏𝑗，GRM の境界値パラメタ の平均の反数 −𝑏𝑗，および，GRM の３つの境界値パラメタのうちの 𝑏𝑗2の反数−𝑏𝑗2との相 関係数 ... 69 表 7.5 MAP 推定法および EAP 推定法での適合割合 ... 79 表 7.6 各集団の各等化法の RMSE と順位 ... 80

表 7.7 lordif および EasyDIF による DIF 結果... 86-87 表 7.8 IRT での呼称と本研究で提案する呼称の対応 ... 96

9

1 学校評価の歴史と現状

初めに，学校評価の歴史について述べる。次に，学校評価の現状に着目し， 課題について述べる。最後に，学校評価に関する先行研究について述べる。

1.1 学校評価の歴史

学校評価は，学校が学校運営について行う自己評価である。2007 年改正の学 校教育法 42 条において，「学校は、文部科学大臣の定めるところにより当該学 校の教育活動その他の学校運営の状況について評価を行い ，その結果に基づき 学校運営の改善を図るため必要な措置を講ずること」とすると規定されている。 同年改正の学校教育法施行規則第 66 条において，「教育活動その他の学校運営 の状況について、自ら評価を行い、その結果を公表するもの」とし，同施行規則 67 条で「その結果を公表するよう努める」ものとし，「自己評価の結果及び学校 関係者評価を行った場合はその結果を（中略）設置者に報告するもの」とした。 （文部科学省，2007）。 学校評価の変遷については，奥村（2013）によれば，大きく３つのフェーズ に分かれるとされている。①戦後初期の学校評価（1950 年～），②学校評価の停 滞期（1950 年代後半～）③学校評価再興期（2000 年前後～）の３つである。詳 細は表 1.1 の年表に示す。1950 年代前半に学校評価への関心が持たれたものの， 1950 年代後半以降一時的に停滞し，2000 年前後から再び関心が集められるよ うになり，様々な議論を重ねて法整備がなされ，学校評価結果の実施・報告義務 化に至っている。ただし，学校評価停滞期にも，学校ごと，自治体ごとに工夫し て独自の学校評価を実施していたところもある（勝野，1993）。

10 表 1.1 日本における学校評価の変遷についての年表 フ ェ ー ズ 年 概要 戦 後 初 期 の 学 校 評 価 1950 「 教 育 の 協 同 評 価 ― 農 業 教 育 への適応」（第 4 回教育長等講 習（IFEL）農業班） 学校による自己評価と校 外評価委 員会による評価の組み合 わせ。自 己評価を訪問委員が評価 。自己評 価重視。 1951 「中学校・高等学校 学校評価 の基準と手引き（試案）」（文部 科学省） 上記の手法を中等教育研 究集会で 紹介し，全国的に広まる。そこで文 部省内に学校評価基準作 成協議会 を設置して基準を作成。 学校評価の停滞期 自治体ごと，学校ごとに 独自の学_{校評価の実施} 学 校 評 価 再 興 期 1998 「 今 後 の 地 方 教 育 行 政 の 在 り 方に つ いて」（中央教育審議会 答申） 学校の自主性・自律性を確立し，学 校が家庭や地域と連携協 力して教 育活動を展開するために ，学校の 自己評価の実施や学校評 議員の設 置をすることが提言。 2000 「教育を変える 17 の提案」（教 育改革国民会議） 「 外 部 評 価 を 含 む 学 校 の 評 価 制 度」という文言が初めて提案。 2002 学 校 の 自 己 評 価 と そ の 結 果 の 公表が努力義務化（小学校設置 基準等） 自己点検・自己評価と結 果の公表 の努力義務化に留めた。 2005 「 新 し い 時 代 の 義 務 教 育 を 創 造する」（中央教育審議会答申） 学校関係者評価の実施， 学校評価 ガイドラインの策定，自 己評価の 実施と公表の義務化を提案。 2006 「 義 務 教 育 諸 学 校 に お け る 学 校評価ガイドライン」 大枠の完成，第三者評価の研究。 2007 「学校教育法」，「学校教育法施 行規則」改正 自己評価の実施・公表の義務化， 学校関係者評価の実施・ 公表の努 力義務化，評価結果の設 置者への 報告の義務化。 2008 「学校評価ガイドライン」改訂 学校関係者評価について 再定義， 第三者評価について検討。 2010 「学校評価ガイドライン」改訂 第三者評価について再定義。 2016 「学校評価ガイドライン」改訂 小中一貫型小学校・小中 一貫型中 学校について追加。 奥村（2013）を基に筆者作成。

11

1.2 学校評価の現状

前節の通り，2007 年より学校評価の実施と報告は義務化され，2014 年の調査 では公立学校ではほぼ 100％の実施であった（文部科学省，2014）。実施と報告 の義務化以前からも，勝野（1993）に見られるように，学校ごと，または自治 体ごとに学校評価が実施されていた流れがあることや，2002 年に小学校設置基 準などにおいて学校評価の実施とその公表についての努力義務規定があったこ とも高い実施率につながっているとみられる。歴史的な流れも手伝って ，実施 と報告の義務化以降は規定通り実施されているという現状である（表 1.2，1.3， 図 1.1，1.2）。 表 1.2 日本における学校評価実施率の変遷 実施率 2006 年 2008 年 2011 年 2014 年 国公私立合計 89.5 % 92.4 % 96.7 % 96.7 % 国立 98.0 % 96.9 % 99.2 % 100 % 公立 96.5 % 99.1 % 99.9 % 99.9 % 私立 54.7 % 64.7 % 84.1 % 83.8 % 回答学校数 53,211 52,246 50,055 48,042 幼稚園・小学校・中学校・高等学校・特別支援学校 についてのデータ。 文部科学省（2006，2008，2011，2014）をもとに筆者作成。 図 1.1 日本における学校評価実施率の変遷 。幼稚園・小学校・中学校・高等学校・特別 支援学校についてのデータ。文部科学省（2006，2008，2011，2014）をもとに筆者作成。 50% 60% 70% 80% 90% 100% 2006年 2008年 2011年 2014年 学校評価実施率 国公私立合計 国立 公立 私立

12 表 1.3 日本における学校評価実施校の報告率の変遷 報告率 2006 年 2008 年 2011 年 2014 年 国公私立合計 77.2 % 90.5 % 96.7 % 99.0% 国立 73.7 % 66.8 % 89.1 % 95.7 % 公立 80.8 % 93.2 % 99.4 % 99.8 % 私立 51.1 % 74.7 % 84.1 % 95.8 % 実施学校数 47,631 48,252 48,429 46,436 幼稚園・小学校・中学校・高等学校・特別支援学校 についてのデータ。 文部科学省（2006，2008，2011，2014）をもとに筆者作成。 図 1.2 日本における学校評価実施校の報告率の変遷（幼稚園・小学校・中学校高等学校・ 特別支援学校）。文部科学省（2006，2008，2011，2014）をもとに筆者作成。 しかし，文部科学省（2014）のアンケート調査結果から，学校現場では学校 評価を「大いに効果があった」とまでは感じておらず，課題も多いことが文部科 学省の調査から読み取ることができる（図 1.3，図 1.4）。もし，学校運営の改善 に学校評価の有効性を感じていたら，図 1.3 の国公私立合計で 20.3 %しかない 「大いに効果があった」の割合がさらに高くなっていて然るべきである。図 1.4 に関しては，「特に課題や困難はなかった」と回答している学校はわずか 15.9 % に留まり，裏を返せば 84.1%の学校（幼稚園・小学校・中学校・高等学校・特別 支援学校）は学校評価に関して何かしらの課題や困難を抱えていると 指摘でき 50% 60% 70% 80% 90% 100% 2006年 2008年 2011年 2014年 学校評価報告率 国公私立合計 国立 公立 私立

13 る。 また，学校評価の分析については，各学校に委ねられており，時間と専門性の 兼ね合いから単純集計にならざるを得ない。「教員の多忙感」も多く，「実施と回 収」だけでも課題に感じている学校がある上に，「評価結果の分析・活用」を課 題に感じている学校もある（図 1.4）。おそらく，統計的な分析に明るい教員が 各学校に必ずしも存在するとは限らず，各項目の n 件法での回答人数表，およ びその回答人数割合の棒グラフ （または円グラフ）を提示するところまでが各 学校の限度であると推察する。このことから，実施と報告が義務である学校評 価を，さらに有効活用していくための何らかの具体的な方策が必要とされてい ることが指摘できる。 図 1.3 学校評価の効果についてのアンケート調査結果。「自己評価は教育活動その 他の学校運営の組織的・継続的な改善にどの程度効果があったと考えるか」に対する 回答結果（学校数 N＝46,436）。文部科学省（2014）より抜粋。

14

図 1.4 学校評価の課題についてのアンケート調査結果。「自己評価に関して、課題

あるいは困難があったと感じられた点（国公私立合計）」に対する回答結果（学校数 N ＝46,436）。文部科学省（2014）より抜粋。

15

1.3 学校評価の先行研究

学校評価の分析・活用に焦点を当てて学校評価に関する先行研究を見てみる と，学校評価システムの展開についてまとめられている 福本他（2013）にある ように，学校評価システムの政策動向・展開や運用，第三者評価，諸外国との比 較などの研究は多い。具体的には，学校評価の政策動向については，歴史的な流 れや今後の展望について述べられており ，学校評価の展開や運用については ， 各学校または自治体において学校評価の仕組みを上手く循環させるための手立 てなどについて述べられている。また，第三者評価についても，その定義や成功 事例の検討などが述べられており，学校評価の諸外国との比較研究では ，諸外 国と日本の学校評価制度を比較して様々な部分での日本への導入可能性を模索 するような内容が述べられている。 一方で，学校評価アンケートそれ自体を量的に分析する手法についての研究 例は数少ない。たとえば，久保・玉村・木幡・金子（2005）では，回答者に満足 度と合わせて重要度の回答も求め２軸で分析する「 満足度実現度調査」の手法 が述べられている。また，高橋（2013）では，回答者に満足度と合わせて重要 度の回答も求め改善要求のニーズ度を算出する「ニーズ調査型アンケート」の 手法が紹介されている。管見の限り，学校評価アンケートの量的分析に言及し ているのは，この２つのみである。 ここまで，学校評価の実施と報告が義務化されたこと，学校現場では学校評 価の実施に何らかの課題を抱えていること，学校評価システムの，政策動向・展 開や運用・第三者評価・諸外国との比較 などの研究は多いが学校評価アンケー トの分析についての研究は少ないこと について述べた。これらのことを 踏まえ て，CS 分析と項目反応理論（IRT）をもとに学校評価アンケートデータを分析 する手法を検討する。

16

2 CS 分析

初めに，一般的なCS分析（Customer Satisfaction分析，CSポートフォリオ分 析）について述べ，その用語の整理を行う。次に，CS分析を活用した先行研究 について述べ，学校評価アンケート分析への導入の有用性を述べる。

2.1 CS 分析の概要

ＣＳ分析（Customer Satisfaction Analysis；顧客満足度分析）は，もともと顧 客のニーズを認識し、サービスの質を向上させることを目的に，マーケティン グの分野で発展してきたものである。たとえば，菅（2018）は，「ＣＳ分析とは， 顧客満足度調査で得た詳細評価や総合評価のデータを解析し ，顧客満足度を上 げるためにはどの要素を改善すべきかを把握する方法である」としている。 ま た，松本・塚本（2003）は，「ＣＳ分析は主にマーケティングの分野で用いられ ている手法の一つで顧客のニーズを反映した商品開発や経営戦略を練るための 分析手法の総称で，特定の分析手法を指すものではない」とも説明している。こ れらのことから，ＣＳ分析の手法の詳細は多岐に渡ることが分かる。菅（2018） によると，その数多ある手法において，ＣＳ分析の基本的な考え方は「顧客の総 合評価を高めるために重要な要素で評価が低い要素を改善するというもの」で あると説明している。 2.１.1 CS 分析の用語の整理 一般的な CS 分析のデータ構造は，図 2.1 に示すとおりである。ここでは，回 答者数を𝑁，回答者に関する添え字を𝑖（=1，2，…，𝑁）とし，同様に質問項目 数を𝐽，添え字を𝑗（=1，2，…，𝐽）とし，n 件法での回答を𝑥（=1，2，3，4，…， 𝑛）で表記し，菅（2018）を参考にして，以下に一般的な CS 分析の用語と数式 を整理する。

17 図 2.1 一般的な CS 分析のデータ構造 a.満足度 各質問項目への回答をもとに算出する集団の満足の度合で，例としては以下 の 2 つが挙げられる。 （１）項目平均値 各質問項目の 4 件法の回答平均値： (項目平均値) = 𝑥̅ = １ 𝑁 ∑ 𝑥𝑖𝑗 𝑁 𝑖=1 . (2.1) （２）２トップ割合 各質問項目の 4 件法の回答のうち，高評価側二つの回答割合の合計： (2 トップ割合) =𝑁𝑥𝑖=3+ 𝑁𝑥𝑖=4 𝑁 × 100 . (2.2) 質問項目 回 答 者

18 b.個人総合満足度 総合評価に該当する概念で，例としては以下の 2 つが挙げられる。 （１）回答合計 各回答者の 4 件法の回答の総計： (回答合計) = 𝑦𝑖 = ∑ 𝑥𝑖𝑗 𝐽 𝑗=1 . (2.3) （２）単一項目 総合満足度を問うていると定義した１つの質問項目の回答データ。 c.重要度 総合評価を高めるための重要さの度合いで，例としては以下が挙げられる。 （１）回答重要度 回答者にアンケートで直接その項目の重要性を問うた回答の平均値。 （２）解析重要度 ①解析重要度（相関係数） 各質問項目の回答と個人総合満足度との積率相関係数： (相関係数) = 𝑟𝑗 = ∑𝑁_𝑖=1(𝑥_𝑖𝑗− 𝑥̅)(𝑦_𝑖− 𝑦̅) √∑𝑁_𝑖=1(𝑥_𝑖𝑗− 𝑥̅)2√∑𝑁𝑖=1(𝑦𝑖− 𝑦̅)2 . (2.4) ②解析重要度（クラメールの連関係数） 各項目の満足度と総合満足度（単一項目）とのクラメールの連関係数： (クラメールの連関係数) = √ 𝜒 2 𝑁(𝑘 − 1) . (2.5) 𝜒2は項目ごとに作成した個人総合満足度（単一項目）とのクロス集計表 から得られるカイ二乗値であり，𝑁は回答者数，𝑘は個人総合満足度（単一 項目）と該当項目の回答のカテゴリ数のうち小さい方である。

19 一般的な CS 分析は，以上のいずれかの「満足度」，「重要度」をもとに，縦軸 に満足度，横軸に重要度をとった散布図を ，満足度および重要度の平均値で区 切ることで，図 2.2 のように 4 つの象限に分類して分析する。一般的な CS 分析 で得られるグラフのイメージを図 2.2 に示す。 図 2.2 一般的な CS 分析のグラフのイメージ 菅（2018）は，評価を「満足度」，重要さを「重要度」と定義している。「満足 度」は各項目の平均値や，各項目の２トップ割合などが ある。また，「重要度」 は，回答者に直接その項目の重要性を問うた「回答重要度」を用いたり，各項目 の満足度を合計した総合満足度とその項目の積率相関係数や ，各項目の満足度 と総合満足度を問うていると定義した１つの項目との連関係数を 用いた「解析 重要度」を用いたりする。いずれにしても共通しているのは，縦軸に満足度，横 軸に重要度をとった散布図を，満足度および重要度の平均値で区切ることで，4 つの象限に分類している点である。 南（2007）によると，この 4 つの象限の分類は一般に，重要度も満足度も高 い第１象限を強みである「重点維持項目」，重要度は高いにもかかわらず満足度

20 の低い第４象限を最優先で改善にあたるべき「重点改善項目」，重要度は低いが 満足度は高い第２象限をそのまま維持することが求められる「維持項目」，重要 度も満足度も低い第３象限を改善すべきだが総合満足度への貢献は低い「 改善 項目」としている（図 2.1）。 2.１.2 CS 分析の有用性 この一般的な CS 分析の考え方に基づくと，図 2.2 のグラフの「重点改善項 目」に入った項目に注力することが，最も効率的に総合満足度を上昇させられ るということになる。もちろん ，全ての項目の満足度を高めることが理想では あるが，そのために費やす時間や作業量などには限りがある。CS 分析は，どの 項目から重点的な改善努力をすべきかが明瞭になるという利点があるといえる。 この利点は，学校評価アンケートの分析にも十分活用できるはずである。 なお，学校評価の分析ではないが，松本他（2003），南（2007）は，大学の授 業評価の分析に CS 分析の導入を提案しており，どちらも，授業者への分かりや すい評価情報のフィードバック が可能になったことと，単純な分析では見えな かった改善点の把握ができるようになったと述べている。これらの点は現状の 学校評価の課題で解決したい点と共通する。 松本他（2003）は，大学の授業評価において，CS 分析の考え方を導入してい る。学生の総合的な満足度を高めるために，改善すべき項目と改善の必要性を 反映した値を算出し，授業改善のための具体的な方向を示すことができる ，と 述べている。 南（2007）も，大学の授業評価において，CS 分析の考え方を導入している。 改善努力を効率よく配分するために，重要度と満足度の点から分析している｡最 優先で改善すべきは重要度が高く，かつ満足度が低い領域の項目であると して いる｡従来の方法と比べ，担当者の負担が軽減されるだけでなく，各教員も改善 度の意味が理解しやすいものとなり ，授業改善につながることが期待される ， と述べている｡ ここまで，一般的な CS 分析の概要と有用性を述べた。これを踏まえて，本論 文では，学校評価アンケートの分析に対しての CS 分析の有用性を検討する。

21

３ 項目反応理論

初めに，項目反応理論について述べ，その用語の整理を行う。次に，項目反 応理論とCS分析を活用した先行研究について述べ，学校評価アンケート分析へ の導入の有用性を述べる。

3.１ 項目反応理論の概要

項目反応理論（Item Response Theory；IRT）は従来の CTT（Classical Test Theory; 古典的テスト理論）における標本依存性や項目依存性などの問題を克 服し，かつ柔軟な学力測定を可能にする理論である。IRT では，受検者（回答 者）の項目への反応確率を，受検者の潜在特 性と項目についてのパラメタ でモ デル化して表現する。このモデル化に基づき，特性値と項目パラメタのどちら も，異なった機会，場所，内容や回答者によって回答された結果の比較を可能と する理論である。IRT は，例えば PISA，TOEFL，日本語能力試験といった学力 測定の場面で広く利用されているほか，川端（2017）でも報告されているよう に，学力テストのみならず，心理尺度構成，テスト開発支援，パフォーマンス評 価まで幅広い場面で利用されている。 IRT の基本的な考え方は，Lord（1952）によって正規累積モデルとして与え られた。後に，数学的により扱いやすいロジスティック関数を利用したロジス ティック IRT モデルが提案された（Birnbaum, 1968）。 IRT モデルも様々なものが提案されており，二値反応データを扱う二値型 IRT モデルと多値反応データを扱う多値型 IRT に分類される。二値型 IRT モデルと して 1 母数ロジスティックモデル（1-Parameter Logistic Model：1PLM），2 母 数ロジスティックモデル（2-Parameter Logistic Model：2PLM），3 母数ロジス ティックモデル（3-Parameter Logistic Model：3PLM）などがある。多値型 IRT モデルとしては，段階反応モデル（Graded Response Model：GRM；Samejima， 1969），部分得点モデル（Partial Credit Model：PCM；Masters，1982），評定 尺度モデル（Rating Scale Model；Andrich，1978），名義反応モデル（Nominal Response Model；Bock，1972），多肢選択モデル（Multiple-choice model；Thissen & Steinberg，1984）などがある。

22

２PLM を例に IRT の用語を整理する。受検者𝑖が項目𝑗に反応する確率𝑃𝑗をグ

ラフ化したものを項目特性曲線（Item Characteristic Curve：ICC）と呼ぶ。関

数のパラメタ（母数）として，特性値パラメタ𝜃𝑖と項目の識別力パラメタ𝑎𝑗，困 難度パラメタ𝑏_𝑗を用いると，2PLM の ICC は，以下の式で表される： 特性値パラメタ𝜃_𝑖は，テストであれば受検者の能力，アンケートであれば回答者 の総合満足度を示すパラメタである。識別力パラメタ𝑎𝑗は，２PLM であれば反 応確率𝑃𝑗(𝜃𝑖) = 0.5のときのロジスティック曲線の接線の傾きであり，能力や総合 満足度と項目への反応との関連の強さを示すパラメタである。また， 困難度パ ラメタ𝑏𝑗は，２PLM であれば反応確率𝑃𝑗(𝜃𝑖) = 0.5のときの特性値パラメタ𝜃𝑖の値 に等しく，テストであれば項目の難しさ，アンケートであれば項目の満足度の 低さを示すパラメタである。図 3.1 に２PLM の ICC の例を示す。 図 3.1 2PLM の ICC の例 また，モデル化に基づき，等化という手続きが可能になる。等化とは，「２つ の尺度について，どちらか一方の尺度に，他方の尺度の 0 点の位置やメモリの 幅を揃える」（加藤ら，2014）ことである。この手続きによって，異なった機会， 場所，内容や回答者によって回答された結果の比較 が可能となる。この等化を 行うためには，「等化すべきテスト間に共通する情報が必要であり，その情報を 0 0.5 1 -4 -3 -2 -1 0 1 2 3 4 正答確率 Pj (θ i ) 特性値θ 項目1(a=1.0,b=1.0) 項目2(a=0.5,b=-1.0) 項目3(a=1.0,b=1.5) 𝑃_𝑗(𝜃𝑖) = 1 1 + 𝑒𝑥𝑝{−𝐷𝑎_𝑗(𝜃_𝑖− 𝑏_𝑗)} . (3.1)

23 含んだ具体的なデータを集める必要がある」（柴山・佐藤，2008）。この「共通 する情報」として，テスト間に共通の受験者を設定する共通受験者デザインや， テスト間に共通する質問項目を 設定する共通項目デザインなどがある。より詳 細な等化のためのデータ収集デザインについては，柴山他（2008）に詳しい。

3.２ 項目反応理論（IRT）と CS 分析

IRT と CS 分析は親和性が高い。IRT における困難度は，各項目の満足度（の 低さ）であるから CS 分析における項目満足度に対応する。また，IRT における 識別力は各項目の満足度と潜在的な総合満足度との関連の強さであるから， CS 分析における解析重要度（相関係数）に対応する。したがって，IRT スケールに 基づいて CS 分析を行うことは可能であると考えられる。 岩間・木村・石田・須子・末松（2012）も，大学生の情報環境利用に関する満 足度データについて，IRT モデル（2PLM）を適用し，CS 分析を行う手法を提 案している。岩間他（2012）でも，「困難度は各項目の満足度（の低さ），識別力 は各項目における潜在的な満足度と満足率との関連の強さを意味しているから， 困難度や識別力を利用して IRT の文脈から CS 分析を行うことが可能であると 考えられる。」と，している。 IRT モデルを適用して CS 分析を行えば，年度間および集団間の単純比較が 難しいという，いわゆる標本依存の問題も解決できる。とくに年度間比較が 可 能になれば，単純集計の年度間比較だけでは見えなかった情報が洗い出され， 各学校での学校評価の分析に有益な知見をもたらすことが期待される。

24

4 研究の目的

本研究の最終目的は，現状よりもさらに学校運営改善の 議論につながる分析 資料を提供することにある。実施と報告が義務化された学校評価の形骸化を抑 止するために，可能な限り分析判断までの作業の効率化をはかり ，学校評価ア ンケートの分析により良い可視化の手法を提案する。その手法が，CS 分析と IRT の考え方を組み合わせた手法である。 本研究では，まず第 1 研究として，CS 分析の考え方に基づいた学校評価アン ケートの分析手法を検討する。CS 分析に基づいた分析手法によって，単純集計 だけでは見えなかった集団の意見が可視化することを示し，CS 分析の考え方を 学校評価アンケートに導入する際の留意点を検討する 。次に，学校評価アンケ ートへの CS 分析の適用可能性を検討した上で，教職員・生徒・保護者それぞれ の CS 分析グラフを比較する分析手法を提案する。そして，学校評価アンケート への CS 分析の導入について，現場の教員からの意見を報告する。 次に，第 2 研究として，IRT スケールでの CS 分析の考え方に基づいた学校評 価アンケートを分析する手法を検討する。IRT スケールでの CS 分析に基づい た分析手法によって，集団間比較，年度間比較が可能かどうかを検討する。その ために，IRT 適用の前提条件の確認し，採用する IRT モデルを検証し，特性値 θの推定方法を検討する。次に，等化法を検討し，IRT スケールに基づく CS グ ラフでの表現を検討して，項目パラメタの変動の解釈について検討する。 以上のように，第 1 研究で学校評価アンケートの分析に CS 分析の適用可能 性を検証して，学校評価アンケートデータのより良い可視化を提案し，第 2 研 究で IRT を適用しての CS 分析の集団間比較が可能かどうかを検証して，可視 化された学校評価アンケートデータの集団間比較を提案する。

25

5 分析対象データ

A 高等学校，の平成 29（2017）年度，平成 30（2018）年度，および令和元 （2020）年度の学校評価アンケートデータ，B 高等学校と C 高等学校の平成 30 （2018）年度の学校評価アンケートの結果を対象に分析 手法を検討する。本研 究における分析対象データの概要は表 5.1 に示す。 A 高等学校では，教職員・生徒・保護者を対象に年 1 回の学校評価アンケー トを 12 月に実施している。平成 29（2017）年度および平成 30（2018）年度の 項目数は，県共通の 13 項目を含んで，教職員が 26 項目，生徒が 24 項目，保護 者が 24 項目であり，令和元（2020）年度の項目数は，県共通の 13 項目を含ん で，教職員が 15 項目，生徒が 16 項目，保護者が 16 項目であり, それ以外にそ れぞれ自由記述欄も設けられている。回収数と回収率については，対象；回収数 （回収率）で示すと，平成 29（2017）年度は，教職員；61（100%），生徒；795 （98.1％），保護者；723（89.3%）であり，平成 30（2018）年度は，教職員； 56（96.6 %），生徒；775（95.7 %），保護者；669（82.6 %）であり，令和元（2020） 年度は，教職員；61（100%），生徒；802（98.9 %），保護者；693（85.5%）で あった。A 高等学校の質問項目は，質問の主語が変わることで若干質問文が変 わる項目はあるが，質問内容は三者でほぼ同様である。平成 29（2017）年度お よび平成 30（2018）年度は，教職員と生徒だけに問うている項目は 3 項目，教 職員と保護者のみに問うている項目は 3 項目である。教員のみに問うている項 目は無く，生徒のみに問うている項目が 1 項目，保護者のみに問うている項目 が 1 項目である。令和元（2020）年度は，教員のみに問うている項目は無く， 生徒のみに問うている項目が 1 項目，保護者のみに問うている項目が 1 項目で ある。また，A 高等学校では，令和元年度の学校評価アンケートにおいて，質問 項目の見直しをはかったため，令和元年度のみ 項目数に大きな違いが生じてい る。 B 高等学校では，教職員・生徒・保護者を対象に年 1 回の学校評価アンケー トを 12 月に実施している。項目数は，県共通の 13 項目を含んで，教職員が 22 項目，生徒が 22 項目，保護者が 22 項目であり，それ以外にそれぞれ自由記述 欄も設けられている。回収数については，対象；回収数で示すと，教職員；33，

26 生徒；324，保護者；287 であった。なお，B 高等学校においては，回答対象者 数が不明であったため回収率は算出していない。B 高等学校の質問項目は，質 問の主語が変わることで若干質問文が変わる項目はあるが ，質問内容は三者で ほぼ同様である。教員のみに問うている項目が 1 項目，生徒と保護者のみに問 うている項目が 1 項目である。B 高等学校では学校評価アンケートにおいてニ ーズ調査型アンケートを採用し ており，全ての質問項目で満足度と重要度を問 うている。 C 高等学校では，教職員・生徒・保護者を対象に年 1 回の学校評価アンケー トを 12 月に実施している。項目数は，県共通の 13 項目を含んで，教職員が 32 項目，生徒が 31 項目，保護者が 29 項目であり，それ以外にそれぞれ自由記述 欄も設けられている。回収数については，対象；回収数で示すと，教職員；59， 生徒；916，保護者；752 であった。なお，C 高等学校においても，回答対象者 数が不明であったため回収率は算出していない。C 高等学校の質問項目は，質 問の主語が変わることで若干質問文が変わる項目はあるが，質問内容は三者で ほぼ同様である。教員と生徒に問うている項目が 4 項目，教員と保護者に問う ている項目が２項目，生徒と保護者に問うている項目が 1 項目，教員のみに問 うている項目が 1 項目，生徒のみに問うている項目が 1 項目，保護者のみに問 うている項目が 1 項目である。 本研究では，数値データのみを分析対象として扱う。回答の選択枝は，A 高等 学校，B 高等学校および C 高等学校とも実施した際には「4 当てはまらない」， 「3 あまり当てはまらない」，「2 だいたい当てはまる」，「1 よく当てはまる」の 4 件法の選択枝であったが，本研究における分析の都合上，すべて逆転処理した データを分析に用いている。つまり「1 当てはまらない」「2 あまり当てはまら ない」「3 だいたい当てはまる」「4 当てはまる」に逆転した 4 件法として扱っ た。また，欠測値については，欠測のまま扱っており，欠測値の補充は行ってい ないデータを用いて分析した。各集団における 1 項目以上欠測のあった回答者 数は表 5.1 に示すとおりである。 質問項目の主なものとしては，A 高等学校，B 高等学校および C 高等学校と も授業，生活指導，部活動，生徒会活動，いじめ対策，進路指導，教育相談，学 校行事，学校生活の充実，特色ある学校づくり，施設設備，開かれた学校づくり，

27 避難方法などがある。 表 5.1 本研究における分析対象データ H30 B 高校 教職員 H30 B 高校 生徒 H30 B 高校 保護者 人数 33 324 287 1 項目以上 欠測のあっ た回答者数 13 103 100 項目数 22 22 22 H30 C 高校 教職員 H30 C 高校 生徒 H30 C 高校 保護者 人数 59 916 752 1 項目以上 欠測のあっ た回答者数 1 10 27 項目数 32 31 29 H29 A 高校 教職員 H29 A 高校 生徒 H29 A 高校 保護者 H30 A 高校 教職員 H30 A 高校 生徒 H30 A 高校 保護者 R1 A 高校 教職員 R1 A 高校 生徒 R1 A 高校 保護者 人数 61 795 723 56 775 669 61 803 642 1 項目以上 欠測のあっ た回答者数 4 23 54 3 14 38 3 22 31 項目数 26 24 24 26 24 24 15 16 16

28

6 第 1 研究 学校評価への CS 分析の適用可能性の検討

第 1 研究では，CS 分析に基づいた分析手法によって，単純集計だけでは見え なかった集団の意見が可視化することを検証する。まず，学校評価アンケート への CS 分析の適用可能性を検討した上で，教職員・生徒・保護者それぞれの CS 分析グラフを比較する分析手法を提案する。そして，学校評価アンケートへの CS 分析の導入について現場の教員からの意見を報告する。

6.1 第 1 研究の目的

第 1 研究では，学校評価アンケートの分析により良い可視化の手法を提案する ことが目的である。具体的には，CS 分析の考え方に基づいた学校評価アンケー トの分析手法を提案する。そのために，学校評価アンケートデータに CS 分析を 適用可能かどうか検証し，その際の留意点や分析の工夫などを検討する。

6.2 第 1 研究の方法

まず，学校評価アンケートデータで CS 分析が可能であることを確認し，CS 分 析の考え方を学校評価アンケートに導入する際の留意点を検討する。次に，教 職員・生徒・保護者それぞれの CS 分析グラフを象限で比較する分析手法を提案 する。そして，学校評価アンケートへの CS 分析の導入について，現場の教員を 対象に行ったアンケートの結果を報告する。 6.2.1 学校評価アンケートにおけるＣＳ分析 学校評価アンケートデータを用いて，「満足度」に項目平均値を適用し，「総合 満足度」には回答合計を適用し，「重要度」には解析重要度（相関係数）を適用 して CS 分析グラフを作成する。この時点では，学校評価アンケートデータで CS 分析グラフが描けるかどうかの確認に留める。学校評価アンケートにおける CS 分析の用語の定義は，6.4.1 で述べる。 6.2.2 学校評価アンケートにおけるＣＳ分析の考え方の導入 学校評価アンケートと CS 分析の考え方は親和性が高い。なぜならば ，学校評

29 価アンケートも教職員・生徒・保護者に満足度を問うているアンケートであり， 各項目の回答を合計することで総合満足度も算出でき ，各項目の回答と総合満 足度との積率相関係数も容易に算出することができる。しかし，そのまま CS 分 析の考え方を流用するだけでは，不都合が生じることが想定される。 １つめは，「重要度」という用語の誤解がありえるという点である。本来，CS 分析における「重要度」は“回答者にとってその項目がどれくらい重要か”または “総合満足度を高めるためにどれくらい重要か”という意味で，簡潔な表現では あるが，含みのある用語である。この本来の意味をしっかりと理解できていな かった場合に重大な誤解が生まれてしまうことが懸念される。たとえば ，学校 全体の雰囲気が良くいじめ問題が存在しないなどの原因で，“いじめ対策の項目 の「重要度」が低い”という結果が得られた場合に，いじめ対策を軽んじてもい いというような誤解が生じることが懸念される。 ２つめは，上述の話題と重なる部分であるが，第３象限「改善項目」と第４象 限「重点改善項目」の誤解があり得る。この一般的な表現のままだと，第４象限 の方が力を入れるべき項目であり，第３象限の改善の方が軽く扱って良いよう な印象がある。これは費用対効果から効率を最優先に考えた場合には適切な表 現だが，こと教育においては費用対効果だけで判断するのは危険である。簡単 に改善しないことでも，児童・生徒のために改善努力を要するものは数多くあ る。 この 2 点を踏まえて，学校評価アンケートで重要度も問うている B 高等学校 のデータを用いて，学校評価アンケートにおける CS 分析の「重要度」という用 語の定義について検討する。 6.2.3 CS 分析グラフの象限比較 出来上がった教職員・生徒・保護者の CS 分析グラフを見比べて，同じ項目が 4 つの象限のどの象限に入ったのかを比較 できるか検討する。学校評価アンケ ートは，教職員・生徒・保護者にアンケートを実施しており，CS 分析グラフも 教職員・生徒・保護者それぞれ１つのグラフが出来上がる。同じ項目が入った象 限を比較することで，各集団の意識の違いを識別できるかを検討する。

30 6.2.4 CS 分析の考え方に対する現場の意見の収集 CS 分析を学校評価アンケートの分析に用いることに対する現場の評価を得 た。CS 分析の考え方を，A 高等学校に紹介し，「今までの学校評価アンケート の分析（人数，割合での分析）に満足しているか。」ということと，「今回提案し た『CS 分析の考え方に基づいた学校評価アンケートの分析 』の仕方について， どのように感じたか。」について 5 件法でアンケートを実施した。加えてそれぞ れの理由を自由記述の形で記載を求めた。

6.3 第 1 研究の結果

6.3.1 学校評価アンケートにおける CS 分析の結果 A 高等学校平成 30（2018）年度学校評価アンケートの CS 分析グラフの試作 を図 6.1 に示す。まだ，用語の定義が定まっていないが，議論のため一般的な用 語の定義による CS 分析グラフを示している。また，データを提供した学校が特 定されないよう配慮した関係で，あえて質問番号のみで表示しているが，()なし の同じ質問番号は教職員・生徒・保護者の三者それぞれで同じ内容を問うてい る質問項目であり，()ありの質問番号は教職員・生徒・保護者で独自の内容を問 うている質問項目である。 同じ質問項目でも，回答者集団が異なると CS 分析グラフ上の象限が異なっ ていることも，同じ象限に入っていることもある。この CS 分析グラフの意味す るところを把握するために，後の節で用語の定義やグラフの解釈について検討 した結果を 6.4.1 で示す。

31 図 6.1 学校評価アンケートデータによる CS 分析グラフ。A 高等学校 平成 30 （2018）年度データを使用した場合。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 ₂₅ 26 2.3 2.5 2.7 2.9 3.1 3.3 0.32 0.42 0.52 0.62 0.72 項目平均値 総合満足度との相関係数

H30 A高校 教職員

1 2 3 4 5 7 8 9 ₁₀ 11 12 13 15 16 17 18 19 20 21 22 23 24 25 (1) 2.4 2.6 2.8 3 3.2 0.52 0.57 0.62 0.67 0.72 0.77 項目平均値 総合満足度との相関係数

H30 A高校 生徒

1 3 4 6 7 8 9 10 11 12 14 15 16 17 18 19 20 21 22 23 24 25 26 (1) 2.6 2.8 3 3.2 0.47 0.52 0.57 0.62 0.67 0.72 0.77 項目平均値

H30 A高校 保護者

32 6.3.2 学校評価アンケートにおける回答重要度と解析重要度 B 高等学校においては，質問紙の全ての項目で，満足度だけでなく重要度も 問う形式でアンケートを取っている。つまり，「回答重要度」も問うている。そ こで，B 高等学校の学校評価アンケートにおいて ，回答者に直接重要度を聞い ていた「回答重要度」と個人総合満足度との相関係数による「解析重要度」の散 布図を作成して比較した。結果は以下の図 6.2 と表 6.1 に示すとおりである。 図 6.2 各項目の回答重要度と解析重要度の散布図 。B 高等学校におけ る教職員，生徒，保護者のデータ。 0 0.2 0.4 0.6 0.8 1 2.9 3 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 4 解析重要度（相関係数） 回答重要度

B高等学校 教職員

0 0.2 0.4 0.6 0.8 1 2.9 3 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 4 解析重要度（相関係数） 回答重要度

B高等学校

生徒

0 0.2 0.4 0.6 0.8 1 2.9 3 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 4 解析重要度（相関係数） 回答重要度

B高等学校

保護者

33 表 6.1 B 高等学校における各項目の回答重要度と 解析重要度（総合満足度との相関係数） 回答 重要 度と 解析 重要 度の 相関 係数は 教職 員で -.277，生徒 で .357，保護 者 で.182 であった。 教職員 回答 重要度 解析 重要度 生徒 回答 重要度 解析 重要度 保護者 回答 重要度 解析 重要度 問 1 3.656 0.792 問 1 3.612 0.620 問 1 3.723 0.653 問 2 3.758 0.520 問 2 3.529 0.713 問 2 3.681 0.634 問 3 3.303 0.348 問 3 3.165 0.457 問 3 3.554 0.440 問 4 2.968 0.658 問 4 3.218 0.427 問 4 3.101 0.562 問 5 3.633 0.536 問 5 3.299 0.740 問 5 3.467 0.683 問 6 3.710 0.450 問 6 3.492 0.647 問 6 3.735 0.616 問 7 3.688 0.708 問 7 3.520 0.732 問 7 3.763 0.724 問 8 3.758 0.414 問 8 3.539 0.672 問 8 3.759 0.771 問 9 3.194 0.760 問 9 3.214 0.566 問 9 3.525 0.691 問 10 3.613 0.596 問 10 3.441 0.671 問 10 3.590 0.698 問 11 3.625 0.782 問 11 3.432 0.587 問 11 3.455 0.574 問 12 3.515 0.044 問 12 3.596 0.472 問 12 3.619 0.622 問 13 3.355 0.647 問 13 3.379 0.677 問 13 3.351 0.683 問 14 3.375 0.783 問 14 3.604 0.670 問 14 3.504 0.720 問 15 3.379 0.766 問 15 3.294 0.697 問 15 3.361 0.692 問 16 3.719 0.532 問 16 3.607 0.603 問 16 3.842 0.578 問 17 3.516 0.475 問 17 3.365 0.674 問 17 3.540 0.680 問 18 3.200 0.673 問 18 3.457 0.581 問 18 3.500 0.517 問 19 3.667 0.675 問 19 3.508 0.691 問 19 3.616 0.642 問 20 3.613 0.413 問 20 3.508 0.708 問 20 3.614 0.630 問 21 3.690 0.283 問 21 3.574 0.701 問 21 3.788 0.670 問 22 3.645 0.317 問 22 3.437 0.614 問 22 3.739 0.638 相関係数 -0.277 相関係数 0.357 相関係数 0.182

34 6.3.3 学校評価アンケートにおける解析重要度 学校評価アンケートにおける CS 分析において，解析重要度が意味している ものを把握するために，平成 30（2018）年度 A 高等学校生徒の学校評価アンケ ートデータの CS 分析グラフのうち，各象限の最も典型的な項目（図 6.3 の赤色 のプロット）について横軸に個人総合満足度，縦軸に 4 件法の回答をとった散 布図を作成した（図 6.4）。ここで言う各象限の最も典型的な項目とは，第 1 象 限ではその象限の中でも項目平均値と個人総合満足度と各項目の相関係数がと もに高い項目であり，第 2 象限ではその象限の中でも項目平均値が高く個人総 合満足度と各項目の相関係数が低い項目である。また，第 3 象限では項目平均 値と個人総合満足度と各項目の相関係数がともに低い項目であり，第 4 象限で は項目平均値が低く個人総合満足度と各項目の相関係数が高い項目である。 図 6.3 CS 分析グラフのうち各象限の典型的な項目。グラフのデータは平成 30 （2018）年度 A 高等学校生徒のデータ。図中の赤いプロットが各象限の典型項目のプロ ットである。 1 2 3 4 5 7 8 9 ₁₀ 11 12 13 15 16 17 18 19 20 21 22 23 24 25 (1) 2.4 2.5 2.6 2.7 2.8 2.9 3 3.1 3.2 0.52 0.57 0.62 0.67 0.72 0.77 項目平均値 総合満足度との相関係数

H30 A高校 生徒

35 図 6.4 では，4 件法のアンケートであるため，プロットは 4 列に並んでいる形 だが，相関係数が比較的高い第１象限と第 4 象限の典型項目は個人総合満足度 が高い人ほど「4 当てはまる」を回答する人が多い傾向にあり，個人総合満足度 が低い人ほど「1 当てはまらない」を回答する人が多い傾向にある。そのため， 散布図が平行四辺形のような形になっている。 一方，相関係数が全体から見れば相対的に低 い第２象限と第３象限の典型項 目は個人総合満足度の高低と回答に第 1，第 4 象限ほどの傾向は見られない。そ のため，散布図が長方形や台形のような形になっている。 図 6.4 各象限の典型項目における個人総合満足度と 4 件法の回答の散布図。グラフの データは平成 30（2018）年度 A 高等学校生徒のデータ。 0 1 2 3 4 5 0 50 100 150 ４ 件 法 の 回 答 個人総合満足度

第2象限の典型項目

問11

0 1 2 3 4 5 0 50 100 150 ４ 件 法 の 回 答 総合満足度（総合得点）

第1象限の典型項目

問13

0 1 2 3 4 5 0 50 100 150 ４ 件 法 の 回 答 総合満足度（総合得点）

第3象限の典型項目

問21

0 1 2 3 4 5 0 50 100 150 ４ 件 法 の 回 答 総合満足度（総合得点）

第4象限の典型項目

問20

36 6.3.4 CS 分析グラフの象限比較結果 三者それぞれの各項目が４つの象限のうちどの象限に入ったのかを一覧表の 形で表したものが表 6.2 である。A 高等学校の平成 30（2018）年度の教職員・ 生徒・保護者それぞれの学校評価アンケートデータを CS 分析グラフにしたも のを図 6.1 で示した。このグラフだけでは，どの項目がどの象限に入ったかを一 目で比較することが難しいので ，象限比較のための一覧表を作成した。 実際は 全ての項目を含めてこの一覧表を作成するが，データを提供した学校が特定さ れないよう配慮した関係で，抜粋項目で作成した一覧表を掲載した。 三者で異なる象限に入った項目は「授業」，「部活動」，「生徒会活動」，「学校行 事」，「いじめ対策」，「進路指導」，「教育相談」であった。三者で同じ象限に入っ た項目は「生活指導」，「施設設備」，「避難方法」，「安全教育」であった。 特に，異なる象限に入った項目については三者で意識に相違があると考えら れるので，6.4.2 でこの点について考察を加える。 表 6.2 H30 A 高等学校の CS 分析グラフ象限比較結果（抜粋） 略称 教職員 生徒 保護者 授業 3 4 3 生活指導 2 2 2 部活動 4 2 2 生徒会活動 4 2 2 学校行事 1 3 2 いじめ対策 1 4 3 進路指導 4 1 4 教育相談 1 1 4 環境美化 2 4 4 施設設備 3 3 3 朝学習 4 4 4 避難方法 2 2 2 安全教育 1 1 1

37 6.3.5 CS 分析の考え方に対する現場の意見 学校評価アンケートの分析に CS 分析の考え方を導入することについて，A 高 等学校において紹介した際にアンケートを実施し，従来の学校評価アンケート の分析と本研究で提案する CS 分析の手法について意見をもらった。アンケー トの具体は付録 A に示す。まず，本研究の紹介を聞く前に，「今までの学校評価 アンケートの分析に満足していますか」という質問項目に回答 してもらった。 結果は，図 6.5 のとおりであり，「普通」との回答が最も多く，「あまり満足して いない」や「満足していない」との回答も若干名存在する。付随した自由記述欄 を見てみると普通と答えた人は「学校評価はこんなものだと思っている。」とい う回答もあった。 図 6.5 従前の学校評価アンケートの分析に ついての現場の意見 次に，学校評価アンケートの分析に CS 分析の考え方を導入することについ ての紹介を聞いた後，「今回提案した『CS 分析の考え方に基づいた学校評価ア ンケートの分析』の仕方について，どのように感じましたか」という質問項目に 回答してもらった。結果は，図 6.6 のとおりであり，「参考にならない」，「あま り参考にならない」との回答はなく，若干名「普通」との回答があったが，ほと んどの教員が「まぁまぁ参考になる」，「参考になる」との回答であった。自由記 述欄にも「ぜひ使ってみたい」という意見が複数あった。

38 図 6.6 CS 分析の考え方に基づいた学校評 価の分析ついての現場の意見

6.4 第 1 研究の考察

6.4.1 学校評価アンケートにおける CS 分析の用語の定義の検討 6.3.1 で示した通り，学校評価アンケートのデータに対して CS 分析を行って も，明確に 4 象限に項目が分かれており，適用可能性は見いだせた。しかし， 6.2.2 や 6.3.1 で示した通り，特に「重要度」という用語については検討が必要 である。 先述した通り，B 高等学校の学校評価アンケートにおける回答重要度（直接 回答者に重要度を問うたもの） と解析重要度（総合満足度と項目回答の相関係 数）の相関係数は教職員で-.277，生徒で.357，保護者で.182 であり，いずれも 強い相関があるとは言い難い結果であった。 つまり，回答重要度と解析重要度 は別物として捉える必要があるということと，作業量は増えるが回答重要度を 回答者に問うことで回答者集団が重要だと思っている項目を洗い出すことがで きるということが明らかになった。もし，学校として改善のニーズ度（高橋， 2013）や改善の優先度を知りたいとなれば，回答重要度を聞く必要があるとい うことである。 しかし，実際に回答重要度まで回答者に求めるとなると ，単純に質問項目数

39 は 2 倍となり，回答者およびアンケート回収・集計業務担当者の作業量が増え てしまう。 本研究では，作業の効率化を目的としているので CS 分析グラフの横軸に解 析重要度（個人総合満足度との相関係数）を採用し，「個人総合満足度との関連 度」と呼称することを提案する。理由は，先にも出てきた通り，「重要度」とい う表現では誤解を生じうることと ，B 高等学校の学校評価アンケートの分析か ら回答重要度とは別物であるということが明らかになったからである。また ， 現場で活用してもらうためには ，あまり専門用語を用いずに直感的に理解でき る用語の方が適切だと判断したことも理由である。(6.1)式に示す相関係数の数 式の意味合いからも「個人総合満足度との関連度」という表現が可不足なく，か つ分かりやすい表現であると判断した。 (個人総合満足度との関連度) = 𝑟_𝑗 = ∑ (𝑥𝑖𝑗− 𝑥̅) 𝑁 𝑖=1 (𝑦𝑖− 𝑦̅) √∑𝑁 (𝑥_𝑖𝑗− 𝑥̅)2 𝑖=1 √∑𝑁𝑖=1(𝑦𝑖− 𝑦̅)2 (6.1) なお，個人総満足度は𝑦𝑖 = ∑𝐽𝑗=1𝑥𝑖𝑗 なお，CS 分析グラフの縦軸は各項目の回答平均値であり，一般的な CS 分析で の満足度という呼称に分かりやすさを与えるべく「項目満足度」という表現を 採用した。 また，一般的な CS 分析では横軸が「重要度」であったため，第 4 象限も「重 点改善項目」であったが，横軸を「個人総合満足度との関連度」としたので第 4 象限の呼称も個人総合満足度に関連している傾向が高いという意味で 「関連改 善項目」とすることを提案する。以上の検討をまとめると次の表 6.3 と図 6.7 の ようになる。 表 6.3 一般的な CS 分析と本研究における CS 分析の用語の対応 一般的な CS 分析での呼称 本論文第 1 研究で提案する呼称 満足度（項目平均値） 項目満足度 解析重要度（積率相関係数） 個人総合満足度との関連度 重点改善項目 関連改善項目

40 図 6.7 本研究で提案する CS 分析グラフの軸および象限の名称 さらに各象限の典型的な項目を詳細に見ていくと，各象限の意味合いをつか むことができる。図 6.4 に示した，平成 30（2018）年度 A 高等学校生徒の典型 項目のデータを個人総合満足度と 4 件法の回答からなる散布図グラフから考察 する。 第 1 象限は，第 1 象限の典型項目に見られるように，個人総合満足度と 4 件 法の回答の相関係数が高く（個人総合満足度との関連度が高く ）項目満足度が 高いので，個人総合満足度が高い人ほど「4 当てはまる」や「3 だいたい当ては まる」の回答を選ぶ人が多く，個人総合満足度が低い人ほど「2 あまり当てはま らない」や「1 当てはまらない」の回答を選ぶ人が多い傾向にあり，3 や 4 など の高評価な回答の方が多い傾向にある。 つまり，相対的に個人総合満足度との 関連度が高く，高評価が多いものの一定数低評価者が居るので「重点維持項目」 と位置づけられる。 第 2 象限は，第 2 象限の典型項目に見られるように，個人総合満足度と 4 件 法の回答の相関係数が低く（個人総合満足度との関連度が 低く）項目満足度が 高いので，個人総合満足度に関わらず全体的に「4 当てはまる」や「3 だいたい

41 当てはまる」やの回答を選ぶ人が多く，「2 あまり当てはまらない」や「1 当て はまらない」の回答を選ぶ人が少ない傾向にある。つまり，相対的に個人総合満 足度との関連度が低く，全体的に高評価が多い「維持項目」と位置づけられる。 第 3 象限は，第 3 象限の典型項目に見られるように，個人総合満足度と 4 件 法の回答の相関係数が低 く（個人総合満足度との関連度が低く）項目満足度も 低いので，個人総合満足度に関わらず全体的に 「2 あまり当てはまらない」や 「1 当てはまらない」の回答を選ぶ人が多く，「4 当てはまる」や「3 だいたい 当てはまる」の回答を選ぶ人が少ない傾向にある。つまり，相対的に個人総合満 足度との関連度が低く，全体的に低評価者が多い「改善項目」と位置づけられ る。 第 4 象限は，第 4 象限の典型項目に見られるように，個人総合満足度と 4 件法 の回答の相関係数が高く （個人総合満足度との関連度が高く）項目満足度が低 いので，個人総合満足度が高い人ほど「4 当てはまる」や「3 だいたい当てはま る」の回答を選ぶ人が多く，個人総合満足度が低い人ほど 2 番や 1 番の回答を 選ぶ人が多い傾向にあり，「2 あまり当てはまらない」や「1 当てはまらない」 などの低評価な回答の方が多い傾向にある。 つまり，相対的に個人総合満足度 との関連度が高く，低評価者が多いので「関連改善項目」と位置づけられる。 大まかにまとめれば，第１象限の「重点維持項目」に入った質問項目は，相対 的に評価は高いが重点的に維持に努めたい項目であり，第 2 象限の「維持項目」 に入った質問項目は，相対的に評価が高い項目であり，第 3 象限の「改善項目」 に入った項目は相対的に評価が低い根深い課題のある項目であり，第 4 象限の 「関連改善項目」に入った項目は，相対的に評価は低いが個人総合満足度への 関連が高い項目である傾向があると言える。 ここまでの検討を踏まえて，本研究での定義による平成 30（2018）年度 A 高 等学校の学校評価アンケートの CS 分析グラフを図 6.8 に示す。