─ 自己評価結果の学習者へのフィードバック

(1)

(3) 指導において，アンケートを用いて，学習者に

英語力を自己評価させることがある。この自己評価を通して，学習者は自分の学習を内省することができる。しかし，アンケートに回答するだけでは，全ての学習者が適切に自己評価できるとは限らない。特に，アンケートの項目数が多い場合，

自己評価はより困難になる。

そこで本稿では，アンケートへの回答結果を学習者にわかりやすくフィードバックする方法として，「学生自己評価アンケート」（投野編，2013）の結果を，潜在プロファイル分析を用いて整理した筆者の研究を紹介する。

アンケートに回答させる＝自己評価，ではない 本学生自己評価アンケートは，学習者の英語力に対する自己評価を，読む，聞く，書く，話す

（発表，やりとり）の5 領域別に測定する尺度である。尺度項目は

Pre-A1

^から

C2

^までの12段階に分かれており，このアンケートに回答することで，学習者は自分の英語力が，どの

CEFR-J

^レ

ベルに該当するか自己評価することができると考えられる。「ゆっくりと話されれば，日常の身近な単語を聞きとることができる。」のように

CAN-DO

形式で記述されている（投野編，2013 の付録CD-ROM）。

しかし，このアンケートは，各領域22項目，計 110個もの項目から構成されている。そのため，学習者にただ回答させただけでは，自分の英語力がどれくらいなのか，学習者が適切に自己評価し，把握するのは難しい。また，教員が110項目もあるアンケートを確認し，学習者 1 人 1 人に回答結

果をフィードバックするのも効率的だとはいえない。よってこのアンケートから得られた自己評価結果を学習者にわかりやすくフィードバックするためには，統計分析の力を借りる必要がある。

その分析手法，本当にベストな選択肢ですか？

ここで筆者が直面した課題は，110項目のアンケートデータをどうやって分析するかであった。

まず筆者が思いついたのは，因子分析とクラスター分析だが，これらの分析手法は本当にベストな選択肢だといえるだろうか。

例えば，因子分析を使えば，

A

^レベル因子，

B

レベル因子，

C

^レベル因子のようなものがあるか検討することができる。しかし，

CEFR

^レベ

ルは，あくまで言語コミュニケーション能力を

A

，

B

，

C

^という便宜的なレベルに分けたものであり，

A

，

B

，

C

レベルという因子があることを想定したものではない。そのため，因子分析は学生自己評価アンケートを分析する最適な統計手法だとはいえない。

また，クラスター分析を使えば，

A

^レベルク

ラスター，

B

レベルクラスターなどのように，変数群に類似した値を示す観測変数からなるクラスターを特定することができる。しかし，クラスター数の選択プロセスが恣意的であり（Lubke &

Muthén，2005），分析結果の再現可能性が低いこと

が指摘されている（Pastor et al., 2007）。そのため，クラスター分析も最適な分析法とは言いがたい。

そこで筆者が思いついたのは，筆者が修士課程の時に，自己決定理論（

self-determination the- ory

）という動機づけ理論の専門書（Ryan & Deci，

自己評価結果の学習者へのフィードバック

─潜在プロファイル分析を用いた自己評価アンケート分析

Baba Shotaro

馬場正太郎

（東京外国語大学大学院博士後期課程）

第 35 回英語教育研究

最前線

(2)

(5) (4)

2017）を読んだ時に知った，潜在プロファイル分析という統計手法の活用であった。

潜在プロファイル分析とは

潜在プロファイル分析（

latent proﬁle analysis

）とは，潜在混合分布モデル（

latent mixture mod- el

）の一種であり，量的な観測変数群の背後に想定される複数の母集団をプロファイルという潜在変数として位置づけ，標本がどのプロファイル

（i.e.，母集団）に所属するのかを確率的に表すための分析法である（竹林，2014）。

学生自己評価アンケートの分析に置き換えれば，この学習者は

A1

^{プロファイル}，あの学習者は

B1

^{プロファイル}，などのように目には見えない

（i.e.，潜在的な）母集団（i.e.，プロファイル）に，学習者（i.e.，標本）がどれくらいの確率で所属するのか検討する多変量解析だといえる。

潜在プロファイル分析の利点は，

AIC

^や

BIC

などの情報量規準や，プロファイルの分類の正確さの指標である

Entropy

を算出したり，異なるプロファイル数の比較について検定をおこなったりすることで，クラスター分析よりも客観的にプロファイル数を判断できるところにある（Marsh et al.，2009; Morin et al.，2016; Pastor et al.，2007）。潜在プロファイル分析を使用した先行研究を調べたところ，外国語学習動機づけプロファイル（e.g.， Oga-Baldwin & Fryer，2018）など，筆者が関心を寄せる領域で広く使用されており，学生自己評価アンケートの分析にも使用できると感じた。

そこで，筆者は，潜在プロファイル分析を使い，学生自己評価アンケートデータから，学習者の

CEFR-J

レベルを推定できるか検討することにした。具体的には，読む，聞く，書く，話す（発表，

やりとり）の5 領域のいずれか1 領域の回答全てが無回答だったデータを除いた，高校生2

,

525名分のデータを分析に使用し，2020年11月におこなわれた

CEFR-J

^{シンポジウム}2020（以下「CEFR- Jシンポ」とする）では， 5 領域のうち，やりとりデータの分析結果を（馬場，2020b），同年12月の関東甲信越英語教育学会第44回オンライン研究大会（以下「KATE大会」とする）では残りの4 領域の分析結果を報告した（馬場，2020a）。

潜在プロファイル分析の手順

本稿では統計ソフトウェア

Mplus

（Muthén &

Muthén, 1998 2017）を用いた潜在プロファイル分析の手順をごく簡単に説明する。心理尺度の場合，

尺度によって最大値や最小値，単位が揃っていないことがある。この場合，因子得点や尺度得点を，

平均値が0 ，標準偏差が1になるように標準化する必要がある。学生自己評価アンケートの場合，

全ての項目が4 件法で測定され，単位は揃っていたことから，得点は標準化せず，投野編^（2013）

付録の

CD-ROM

内のファイルの数値（i.e., 生データ）をそのまま使用した。

適切なプロファイル数を判断する指標として，先行研究では主に以下の3 種類が報告されている。 1つ目は，ブートストラップ法による尤度比の差の検定^（Bootstrap loglikelihood ratio test, BLRT）の結果である。

BLRT

^では，プロファイル数が

k

− 1 個のモデルと

k

個のモデルの尤度比の差の検定結果が出力され，検定結果が有意であった場合，

プロファイル数が

k

− 1 個のモデルを棄却し，

k

個のモデルを採択すると判断する。

2つ目は，

AIC

^（Akaikeʼs Information Criterion），

BIC

^（Bayesian Information Criterion），

SSA-BIC

（sample size adjusted Bayesian Information Crite- rion）という情報量規準である。これらの値が小さいモデルほど，いいモデルだと判断する。 3つ目の指標は，分析対象者が当該のプロファイルに適切に分類されている度合を示す

Entropy

である。

Entropy

^は0から1までの値を取り，値が1に近いモデルほどいいモデルだと判断する。これらの指標を算出するために，推定法，ランダムスタートの初期値，出力する最適解の数，ブートストラップのサンプリング回数，反復回数をそれぞれ設定する。分析設定の詳細については，

マニュアル（Asparouhov & Muthén，2012; Geiser， 2010; 竹林，2014），潜在プロファイル分析を使用した先行研究（e.g.， Morin & Marsh，2015），

Col- lins and Lanza

^（2010）^の解説などを参考にして欲しい。

筆者の研究では，まず

BLRT

を使って適切なプロファイル数の範囲を特定し，その後，情報量規準を使い，最適なプロファイル数を判断した。

(3)

CUTTING-EDGE RESEARCH 英語教育研究最前線［ 1 ］

(5) また，

Entropy

^{もプロファイル}数を判断する際の

参考にした。

CEFR-J シンポと KATE 大会で発表した成果 潜在プロファイル分析の結果，読む，聞く，書く，話す（発表，やりとり）の5 領域について，それぞれ異なるプロファイル数に分かれることが明らかにされた。例えば，やりとりの分析結果から，高校生の英語力に対する自己評価は，10個のプロファイルに分けることができることが明らかにされた（馬場，2020b; 図 1 ）。この図 1のような形に潜在プロファイル分析の結果をまとめてから学習者にフィードバックすることで，どれくらい英語を使えるプロファイルに自分が所属しているかが視覚化的にわかりやすくなり，自分の英語力をより正確に把握しやすくなると考えられる。

なお，やりとりの分析結果については，

CEFR- J

^{のリソースページ}^（http://www.cefr-j.org/down load.html）に筆者の発表動画がアップされている。本稿を読んで潜在プロファイル分析に興味を持たれた方は，そちらも是非ご覧いただきたい。

慣れない分析手法にチャレンジする意義と注意点 慣れない分析手法にチャレンジする意義があるとすれば，今までの統計学習の仕方や研究で使用してきた分析手法が適切だったのか内省できる点と，今後データ分析する際に使える統計手法のレパートリーが増え，自分の研究計画がより洗練される点にあると思う。

国内でまだ十分知られていない分析手法を実践するのには，かなりの勇気が必要である。なぜなら，生半可な気持ちで取り組めば，その分析手法を誤った形で世間に広めてしまう恐れがあるから

である。少なくとも潜在プロファイル分析は，ほとんどの英語教育関係者が知らないと思われたため，この分析手法を使う際は，関連の研究をかなり読みこんだ。その過程で，今まで学習した統計分析の手法を内省し，理解が不十分だった点を見つめ直すことができた。

また，今まで知らなかったジャーナルを知ることもできた。それは，本稿でも引用している

Structural Equation Modeling: A Multidisci- plinary Journal

^である。このジャーナルでは，潜在プロファイル分析など，分析モデルに潜在変数を組み込んだ統計手法を広く扱った論文が多数掲載されている。元々は潜在プロファイル分析の勉強のために読み始めたジャーナルであったが，博士論文でも，潜在プロファイル分析や構造方程式モデリングを使用するため，このジャーナルを購読することにした。このように，慣れない分析法の勉強をする過程で，自分の研究を遂行する上で有用なジャーナルの存在を知ることができたのは大きな収穫であった。

一方，慣れない分析手法に手を出すときには，いくつか注意が必要である。第 1に，分析手法に慣れるのに想定以上の時間がかかってしまう場合があるという点である。筆者の研究では，シンタックスの設定を誤ると， 8 分程度で完了する分析が2 時間以上かかってしまうということがわかった。 1つの領域につき2 時間なので， 5 領域合わせると，10時間も浪費する計算になる。統計分析のテキストにこうした失敗事例が書かれていることは決して多くはない。まだ広く普及していない分析手法を使うときは，少しでも分析にかかる時間を短縮して，分析結果の考察や学習者へのフィードバック活動により多くの時間を割けるよう，成功事例だけでなく失敗事例も積極的に公表することが大切である。

また，統計分析によっては，コンピュータの知識が一定程度必要になることも注意点として挙げられる。本稿で取り上げた研究を行った際，シンタックスの設定を試行錯誤したり，

Mplus

開発者のウェブサイトを調べたりした結果，分析の際に使用する

CPU

^{のプロセッサ}数を指定することで，分析時間を短縮できることを知った。パソコンを図１　やりとりに関する潜在プロファイル分析の結果

注）紙幅の都合により，Pre-A1^レベルは省略している。

(4)

CUTTING-EDGE RESEARCH 英語教育研究最前線［ 1 ］

(6)

自作した経験があった筆者は，ちょうど所有していたパソコンが事故で壊れてしまったこともあり，

CPU

のプロセッサ数が32個あるパソコンを新たに自作した。英語教育関係者が読む統計分析の解説書に，分析に必要なパソコンのスペックが書かれていることは必ずしも多くはない。プロセッサ数を増やしたからといって全ての分析が速くなるわけではないが，少なくとも潜在プロファイル分析を使おうとしている場合は，プロセッサ数にも気を配りながらパソコンを選ぶ必要があるだろう。 今後やってみたいこと

本稿で取り上げた研究では，高校生のデータの分析結果しか発表できなかったため，中学生や大学生でも同じ

CEFR-J

^{プロファイルが}見られるかについても今後研究成果にまとめたい。その際，サンプルサイズやシンタックスの設定を変えることで，分析の所要時間がどれくらい変わるのか，シミュレーション研究もしてみたい。幸運なことに，口頭発表後，

Ryzen Threadripper 3990X

^という，コア数が64個，プロセッサ数は128 個もある

CPU

^を搭載したコンピュータを使う機会に恵まれたので，口頭発表の時に使用した

CPU

と分析所要時間を比較し，どのくらいのデータサイズだとどのくらいのスペックのパソコンであれば効率的に分析ができるのか検証してみたい。

その上で，本稿ではできなかった潜在プロファイル分析の理論的な解説や分析事例の体系的なレビューを行い，分析法のチュートリアルを論文にまとめたい。

◆引用文献

Asparouhov, T., & Muthén, B. （2012）. Using Mp- lus TECH11 and TECH14 to test the number of latent classes. Mplus Web Notes, 14, 1 17.

馬場正太郎（2020a）．「潜在プロファイル分析と潜在クラスを用いたCEFR-Jレベルの推定─読む，聞く，書く，発表の4 領域分析と分析結果の統合」

関東甲信越英語教育学会第44回オンライン研究大会

馬場正太郎（2020b）．「潜在プロファイル分析を用いたCEFR-Jレベルの推定」CEFR-J 2020シンポジウム

Collins, L. M., & Lanza, S. T. （2010）. Latent class

and latent transition analysis: With applications in the social, behavioral, and health sciences.

John Wiley & Sons.

Geiser, C. （2010）. Data analysis with Mplus. Guil- ford Press.

Lubke, G. H., & Muthén, B. （2005）. Investigating population heterogeneity with factor mixture models. Psychological Methods, 10 ^（1）, 21 39.

Marsh, H. W., Lüdtke, O., Trautwein, U., & Morin, A. J. S. （2009）. Classical latent proﬁle analysis of academic self-concept dimensions: Synergy of person- and variable-centered approaches to theoretical models of self-concept. Structural Equation Modeling, 16 ^（2）, 191 225.

Morin, A. J. S., & Marsh, H. W. （2015）. Disentan- gling shape from level effects in person-centered analyses: An illustration based on university teachersʼ multidimensional proﬁles of effective- ness. Structural Equation Modeling: A Multidis- ciplinary Journal, 22 （1）, 39 59.

Morin, A. J. S., Meyer, J. P., Creusier, J., & Biétry, F. （2016）. Multiple-group analysis of similarity in latent proﬁle solutions. Organizational Research Methods, 19^（2）, 231 254.

Muthén, L. K., & Muthén, B. O. （1998 2017）. Mplus user’s guide （8th ed.）.

Oga-Baldwin, W. L. Q., & Fryer, L. K. （2018）. Schools can improve motivational quality: Pro- ﬁle transitions across early foreign language learning experiences. Motivation and Emotion, 42 （4）, 527 545.

Pastor, D. A., Barron, K. E., Miller, B. J., & Davis, S. L. （2007）. A latent proﬁle analysis of college students achievement goal orientation. Contem- porary Educational Psychology, 32 （1）, 8 47.

Ryan, R. M., & Deci, E. L. （2017）. Self-determi- nation theory: Basic psychological needs in moti- vation, development, and wellness. Guilford Press.

竹林由武（2014）．「潜在混合分布モデル」小杉考司・

清水裕士（編）『M-plusとRによる構造方程式モデリング入門』（pp. 228 244）北大路書房

投野由紀夫（編）（2013）．『CAN-DOリスト作成・

活用─英語到達度指標CEFR-Jガイドブック』大修館書店