効果測定の方法として、GTEC for STUDENTSの第26回、第27回を比較した。デ ータ化した生徒の作品を、青山学院大学のWord Level Checker (染谷, 2006)を用い て、総使用単語数、異語数、文数を計測した。次に、GTECでそれぞれ8点満点で採 点される、語彙点、構成・展開点の他、構成・展開を補う要素として、理由が書けた か、意見が明確か、に関するデータも分析した。この2項目については、「書けている」、
「書けていない」の 2 段階での評価であるので、「書けている」を 100%、「書けてい
ない」を 0%と置き換え、達成率で表した。事前指導の違いによるグループ分け、研
究計画は、前章と同じである。
75 表6-1 各グループの事前指導内容
図6-1 研究計画
実験前のグループ毎の平均点を比較すると、前章での総合点、文法点と同じくグル ープCの平均点が、他群に比べて低い。これが、意味のある差かどうか、総使用単語 数をクラシスカル・ワリス検定によって各グループを比較した。その結果、総使用単 語数H(3)=6.483, p=0.09、異語数H(3)=5.88, p =.117、文数H(3)=5.90, p =.116、1文当た りに使用した単語数H(3)=2.026, p =.567となり、グループ間に有意な差はないと考え られた。異語数、文数、1 文当たりに使用する単語数は全て、総使用単語数と関わり が強い項目であるので、総使用単語数を比較した時の効果量をマン・ホイットニーの 検定で調べた。その結果、グループCの成績に起因すると考えられる効果量の大きさ が小程度あることが分かった。また、CD間の p値は.008であり、検定が6回繰り返 されたので、ボンフェローニの修正を行ったが、差は有意なものであった。
n 指導内容 グループA 80 10 minute writing
グループB 80 教科書の復文練習 (教科書の和訳を再生英訳する)
グループC 40 10 minute writingと復文練習
グループD 80 文法練習など、従来のカリキュラム(対照群)
9月 pre-test GTEC for Students 26回
Group A Group B Group C Group D
10 minute writing 11回
復文練習 12回
10 minute writing 5回
+ 復文練習 6 回
対照群
2月 共通課題 10-minute writing “What do you want to be when you grow up?”
Writing Assignment “Which season is the best?"
3月 post-test GTEC for Students 27回
76 表6-2 指導前のグループ平均点
グループ A B C D 学年平均
n 80 80 40 80 280
M(総単語数) 60.60 59.70 47.48 63.45 59.28
SD 35.86 32.94 30.73 31.50 33.32
M(異語数) 32.48 33.21 27.38 34.50 32.54
SD 15.38 14.34 13.77 12.89 14.28
M(文数) 7.80 8.18 6.38 8.56 7.92
SD 4.60 4.67 4.41 4.99 4.73
M(単語数/文数) 7.60 7.13 7.54 7.88 7.54
SD 2.65 2.18 3.19 3.25 2.80
M(語彙点) 2.71 2.69 2.51 2.96 2.74
SD 1.06 1.00 1.02 .76 .97
M(構成・展開) 2.28 2.39 2.05 2.61 2.37
SD 1.23 1.18 1.16 1.01 1.16
M(意見) .81 .84 .85 .91 .85
SD .39 .37 .36 .29 .35
M(理由) .85 .85 .85 .91 .87
SD .36 .36 .36 .28 .34
*語彙点、構成・展開点は8点満点、意見、理由は達成率 表6-3 総使用単語数の指導前グループ間の差
群 p Z 効果量 r
(A,B) .843 .198 .016 無
(A,C) .063 1.857 .170 小
(A,D) .700 -.386 .031 無
(B,C) .046 1.999 .183 小
(B,D) .542 -.609 .049 無
(C,D) .008* -2.639 .241 小
そこで、前章の抽出サンプルを使用し、クラスカル・ワリス検定で多重比較したと ころ、総語数では、H(3)=1.80, p = .616 語彙点では H(3)=.178, p= .981、構成点では
H(3)=.226, p =.973であった。マン・ホイットニー検定で総使用単語数のグループ間の
差の効果量を求めたところ、グループB とグループD 間、グループCとグループD
77
間にそれぞれ効果量の大きさ小程度の差が依然残ったが、実験参加者全員のデータを 使用した時よりも改善されたため、グループ間の比較については抽出サンプルのデー タを用いた。これにより、グループ間に有意な差はなくなった。
表6-4 指導前のグループ平均点(抽出サンプル)
グループ A B C D 学年平均
n 38 38 38 38 152
M(総単語数) 54.66 57.34 49.97 56.05 54.51
SD 29.67 26.42 29.45 31.07 29.05
M(異語数) 30.71 31.87 28.82 30.39 30.45
SD 12.28 10.75 12.54 12.90 12.08
M(文数) 7.32 7.82 6.71 7.47 7.33
SD 4.03 3.59 4.26 4.99 4.22
M(単語数/文数) 7.83 7.49 7.93 8.27 7.88
SD 2.48 1.74 2.74 4.22 2.92
M(語彙点) 2.70 2.67 2.64 2.69 2.68
SD .76 .79 .86 .72 .78
M(構成・展開) 2.28 2.23 2.16 2.22 2.22
SD 1.00 .94 1.08 1.06 1.01
M(意見) .82 .87 .89 .89 .87
SD .39 .34 .31 .31 .34
M(理由) .92 .89 .89 .87 .89
SD .27 .31 .31 .34 .31
*語彙点、構成・展開点は8点満点、意見、理由は達成率
表6-5 総使用単語数の指導前グループ間の差 (抽出サンプル)
群 p Z 効果量r
(A,B) .509 -.660 .076 無
(A,C) .533 .623 .072 無
(A,D) .884 -.145 .017 無
(B,C) .199 1.283 .148 小
(B,D) .682 .410 .048 無
(C,D) .336 -.961 .111 小
78
また、語彙点と構成・展開点についても、抽出サンプルを用いて、指導前のグルー プ間比較を行ったが、どちらの項目にも、各群の間に統計的有意な差はなく、効果量 も無であった。
表6-6 語彙点の指導前のグループ間比較 (抽出サンプル)(n =38)
群 p Z 効果量r
(A,B) .729 .361 .042 無
(A,C) .852 .186 .022 無
(A,D) .926 .093 .011 無
(B,C) .775 .286 .033 無
(B,D) .763 .302 .035 無
(C,D) .912 .110 .013 無
表6-7 構成・展開点の指導前のグループ間の差 (抽出サンプル)(n =38)
群 p Z 効果量 r
(A,B) .811 .239 .028 無
(A,C) .649 .456 .053 無
(A,D) .811 .239 .028 無
(B,C) .792 .264 .031 無
(B,D) .962 .048 .006 無
(C,D) .812 .238 .028 無