桜美林大学学術機関リポジトリ

(1)

47

キーワード：program evaluation, assessment, utilization-focused

本書は，2005 年にこの本の筆頭編者であるJohn M. Norrisが代表を務め，ハワイ大学のスタッフがホストしたプロジェクト「大学外国語プログラムのエヴァリュエーション・ニーズの特定と対応」を契機としている。そのプロジェクトの後の様々な段階を経て積み重ねられた研究・実践活動の成果をまとめたものである。本書は，プロジェクト全体の概要とその第 1 期の成果である，エヴァリュエーションのニーズ分析の結果とデータ収集の手法をまとめた第 1 章（Identifying and responding to evaluation needs in college foreign language programs）と，米国のあちこちで展開されたエヴァリュエーションの事例報告 7 編，および，それらの実践の特徴と価値を総括し今後の課題をまとめた最終章の 9 章から成る。日本で「評価」というと，学習者本人に返す，個人の到達度の指標としての成績を指すことが多い。そうした学習者アセスメント（student assessment）に対して，言語教育プログラム自体の効果検証活動をさす（program） evaluationの訳語として，「評価」以外に特別な用語がないので，ここではカタカナ表記で「エヴァリュエーション」と記しておく。プログラム・エヴァリュエーションの定義については，本書 12 ページに，2005 ∼ 6 年のニーズ分析調査の構造化インタビューの参加者に，Patton（1997）の次の定義を示したとあるので，それが編者らの一応の説明であると受け止めることが可能である。つまり，「プログラム・エヴァリュエーションとは，プログラムの活動，特徴，成果について組織的に情報を収集することによって，プログラム自体やその効果について判断し，それに加えて（もしくは），今後のプログラムの行方について決定を下す資料とすることである」。第 1 期の研究では，フォーカス・グループによる情報収集，小規模調査，構造化面接，全国調査の 4 つの段階を経て，大学の外国語教育のエヴァリュエーションについて，次の 7 つのリサーチ・クエスチョンを問う研究がなされた。その 7 つとは，「エヴァリュエーションを迫られる根拠」，「評価対象」，「エヴァリュエーションの目的」，「方法」，「エヴァリュエーション実施のための能力」，「必要なリソース」，「エヴァリュエーションを実施するための障害」であった。第 4 段階である全国調査（回収率 19%，336 名）から読み取れたことのうち，主なものをひろうと次のような点が挙げられる。プログラム実践者は，外的，内的両方からエヴァリュエーションを実施せねばな書評

Toward useful program evaluation in college

foreign language education

Edited by John M. Norris, John McE. Davis, Castle Sinicrope, Yukiko Watanabe.

National Foreign Language Resource Center, University of Hawai’i at Manoa (2009).

湯川笑子

*

『言語教育評価研究』第2号（2011） pp.47-50

＊_{立命館大学文学部，}

(2)

48 『言語教育評価研究』（2011）2，47-50／湯川笑子らないという圧力を感じており，すでに必要な項目のいくらかは焦点化されているが，調査参加者は，教師教育など今よりももっとより広範囲な項目をとりあげる必要性を感じている。また，エヴァリュエーション結果を，外部に対する説明責任を果たすためだけでなく，プログラム自体の質の向上や大学のプログラムに対する認知度の向上などに使用すべきだという意見が強い。エヴァリュエーションの方法としては，それぞれのプログラムに合致したツール，つまり妥当性が高い独自ツールを使用したいという意見が多いこと，実際のエヴァリュエーションの実行には，具体的ノウハウに関する知識など，能力やリソースが足りないと感じられていることが分かったとする。 2005 年度に第 1 期が始まり，その後このプロジェクトでは，リソースの構築（第 2 期）や試行（第 3 期），および同時進行で行われた，ワークショップなどを通じた公開・広報活動が展開される。本書の第 2 章から第 8 章までは，こうしたワークショップをはじめ，このプロジェクトチームから援助をうけて実践された，様々なタイプのエヴァリュエーション研究の報告である。

第 2 章（The role of evaluation in curriculum development and growth of the UNM Portuguese program）は，ニューメキシコ大学のポルトガル語プログラムの科目変更とその効果についてのエヴァリュエーション実践である。このケースでは，本書のプロジェクトに先んじてすでに，最初のニーズ分析が行われ，それにもとづいてポルトガル語の入門期に，目標言語と体系が似ているスペイン語を知っている学生用とそうでない学生用の 2 種類の科目を設置することが決まっていた。そこで，2007 年秋学期より，（1）学生は適切な科目に登録するために必要な情報を得ていたかどうか，（2）学生の科目に対する期待とその満足度，（3）どのような授業内活動とアセスメントが最も学生にとって有効だったかの，計 3 つの問いに答えるべくエヴァリュエーション研究が実施された。方法としては，学期初めと終わりの学生へのサーベイ，およびフォーカス・グループへの面接が採用された。エヴァリュエーション実践の結果，科目構築だけでなく正しい登録のための広報の重要性や，スペイン語話者の言語干渉現象への対応など新たな問題も見られたものの，究極の目的であったプログラムの質の向上と科目履修者の大幅な増加が得られ，エヴァリュエーション実践がポルトガル語プログラムの教授陣と学生の間に，「エネルギー」と「興奮」をもたらした（p. 75）と結論づけている。

第 3 章（Coming to our senses: the realities of pro-gram evaluation）は，先にまとめたニューメキシコの例と違い，新たなプログラム内容の評価ではなくて，これから実施する可能性のある変更（ここでは学部のプログラムの名称変更）の妥当性を実施に先んじて判断するために行われた。カリフォルニア州立大学Monterey Bayでは，学生確保のために，それまでの「スペイン語重視の世界言語文化」という名前の学士号から，「スペイン語」という名前の学士号への変更を計画しており，このエヴァリュエーションは，そのプログラムと名称変更を大学当局に許可してもらうために十分な根拠を提供できるものでなければならなかった。調査は専攻分野名がどの程度検索エンジンで検索可能なのか（どの程度目につき易くなっているのか）を調べる資料分析（document analysis）と学生へのサーベイの手法をとった。最終的に，新たな学部の名称は当初の予定とは異なるものにならざるを得なかったが，エヴァリュエーションで得た情報がプログラムに関する重大な決定に大いに貢献しこうした方法が将来への手本になったとする。第 9 章で編者らがまとめているように，エヴァリュエーションがプログラム内部の者にとって「有用性があり実際運用（‘utility and actual use’，p.

210）」されるものである，つまり「実際運用を目的としたエヴァリュエーション・アプローチ（ utiliza-tion-focused evaluation approach，p. 210）」によるエヴァリュエーション実践であることが，この 2 つのケースですでによく示されている。

第 4 章（Using evaluation to design foreign lan-guage teacher training in a literature program）は，文学で博士号を取得しようとする大学院生が，その履修プログラムの一部として，在学中もしくは将来の仕事として教える可能性の高い専攻言語の外国語の教員としての力量を形成するために，外国語習得理論，応用言語学，外国語教授法関連の科目を設け

(3)

『言語教育評価研究』（2011）2，47-50／湯川笑子 49 るべきか否かの判断を下す資料を取得しようとしたエヴァリュエーション研究の報告である。これから設置しようとするプログラム設立の可否の根拠を発見するための実践という意味で，第 3 章と同じ目的をもった事例である。このケースでは，当該の大学院のプログラムの責任者，外国語プログラムのコーディネーター，TAを務める大学院生への質問紙調査をデータとした。エヴァリュエーション・チームは最終判断として，TAへの現在以上のトレーニングの必要性があるとし，柔軟性のある，定期的な短いワークショップの開催を提案した。

第 5 章（Developing and implementing an evalu-ation of the foreign language requirement at Duke University）は，ノース・キャロライナ州のDuke大学での外国語プログラムの成果について，4 つの領域において評価するためのプロジェクトの最初の段階についてまとめたものである。その 4 つの領域とは，学生の言語達成度，文化面における学び，海外研修，継承語としての背景，他の外国語学習歴などの学習への影響，この大学の必修外国語履修の制度が学生の学びに与える影響である。プロジェクトは，本章執筆時には，チームを作りエヴァリュエーションのための適切な方法やツールを構築し，パイロット調査をした段階なので，エヴァリュエーションの結果そのものについては報告はない。しかし，すでに，このエヴァリュエーションは，大学の認定の資料とするという目的を達成するだけの効用ではなく，エヴァリュエーション・チームを形成して作業を進めることで 4 人の外国語プログラムのディレクター間のコミュニケーションを促進するという大きなインパクトを生んだとする。おそらく，第 5 章とこの次の第 6 章で紹介されているエヴァリュエーションの用途や内容は，日本の通常の外国語プログラムのエヴァリュエーション・ニーズに最も似ているのではないかと思われる。その意味で，開発され資料として添付されている多岐にわたる質問紙は，サンプルとして大いに役立つのではないだろうか。

第 6 章（Improving educational effectiveness and promoting internal and external information-sharing through student learning outcomes assess-ment）も，第 5 章と同様，大学の外国語プログラム全体に関わる研究が実施された。インディアナ州のEvansville大学の外国語学部のチームは，学部の教育の質の向上，大学への要求のために根拠となるデータを収集すること，学生の成果の把握，教員や学生への情報提供に，エヴァリュエーション活動の高いニーズがあるととらえ，次のようなステップでエヴァリュエーションを行った。まず，外国語プログラムにおける，学習の到達目標を述べたリストを作成し，次に，それと現存のカリキュラムとの整合性があるかどうかをチェックした。この時点ですでに足りない部分，過剰な部分を見出せたとする。次に，到達目標の達成度を測るために，学生のアセスメント，プログラムのリソースの検討，他大学の学生との比較を目指したが，この段階ではまず学生のアセスメントに焦点を絞り，そのアセスメントの方法（面接，ウェブ上でのサーベイ，ポートフォリオ等）を決定してパイロット調査を実施し，その結果を生かして方法を改善した。この事例におけるエヴァリュエーションは，第 9 章で強調されている，継続的なエヴァリュエーション，持続的に向上するサイクルを形成しているエヴァリュエーションのあり様をよく示している。初期のこの段階で，すでにカリキュラムの見直しを行ったり，ポートフォリオに入れるべきエッセイの数の統一化など具体的な成果があり，それと同時に，次の段階でのエヴァリュエーションで収集を予定されているデータがさらに妥当なものへと改編されているからである。また，ここでも第 5 章と同じく，エヴァリュエーションを通して関与した当事者間のコミュニケーションが密になったことが大きなメリットの一つとして挙げられている。

第 7 章（Study abroad and evaluation: Critical changes to enhance linguistic and cultural growth）は，オレゴン州Linfield大学のスペイン語プログラムのうちでも，特に海外研修プログラムを検証した。ラテンアメリカでの研修成果に対してスペインに研修にでかけたグループが目立ってスペイン語力の伸びが乏しいことをきっかけに，海外研修プログラムの中身を評価し，特にスペインでのプログラムの有効性を探った。採用した方法はプログラムの責任者との懇談，授業観察，プログラム受講者の面接，教材や学生の成果物などの資料の閲覧である。その結果，有効性の乏しい，スペインでの委託契約研修プ

(4)

50 『言語教育評価研究』（2011）2，47-50／湯川笑子ログラムの停止を含む大きな決定が下された。このエヴァリュエーションを通じてチームは自らが提供しているプログラムへの質の高さを再確認するとともに海外研修プログラムを成功させるためには想像以上に多くの要因が関与していることを認識したとする。

第 8 章（Curriculum, learning and the identity of majors: A case study of program outcomes evalua-tion）は，ワシントンDCのGeorgetown大学におけるドイツ語の履修者（主専攻，副専攻，その他の履修者，および同窓生）からのフィードバックを収集することで，主として，プログラム全体の評価，主専攻者のアイデンティティ，必要な変更箇所，今後のカリキュラム他の改革の根拠について情報を得た。調査の結果は，どのタイプの履修者に対しても大いにプログラムの有効性を示すものであったが，エヴァリュエーション・チームは，海外研修の有効性から，全ての学生にこうした海外経験が可能なように配慮すること，事前事後の指導との統合，難易度が最も高いText in Contextという名称の科目の重要性に鑑みた科目のさらなる充実，授業へのテクノロジー使用の可能性の模索という，具体的な 4 つの改善案を提案した。

第 9 章（College foreign language program evalu-ation: Current practice, future directions）は，7 つの事例をふり返って望ましいエヴァリュエーション実践の要素をまとめている。すでに事例の報告で明らかなように，本来エヴァリュエーションは，（1）プログラムの内部から求められ，自身で決定した目的のために実行されることが望ましく，（2）エヴァリュエーション実践が継続的に，変更を加えつつ，新たなサイクルを生み出しながらなされるとよいとする。また，（3）エヴァリュエーションを経験する過程で体得したエヴァリュエーション参加者の考え方や態度の変化のゆえに，こうした活動が外国語教育分野の文化として根付いていくことが重要であるとする。日本の外国語教育においては，この本で指摘されている以上にエヴァリュエーションを行うという伝統が乏しい。それは，各学校の教育においても文部科学省が主導する各種のプロジェクトや新しい教育行政についても同じである。高校や大学の英語教育ではかろうじてTOEFLやTOEICなどよく知られた標準テストの利用がトップダウン的に課せられ，年度の前後での点数の伸びを英語教育プログラムの成果検証とするケースが多々ある。しかし，担当教員は，（特に伸びが少ない場合に）そのアセスメントスコアのみでエヴァリュエーションとするには不十分であると感じつつも，この本の事例で挙げられているような複数の関係者（stakeholders）からのサーベイ，面接，フォーカス・グループからの資料収集等の多岐にわたるデータを収集するエヴァリュエーションを実践するケースは非常にまれである。第 1 章のニーズ分析に参加したインフォーマントと同様，日本の外国語プログラムの企画・運営担当者にとっても，おそらくエヴァリュエーションをする際の具体的な質問紙，面接項目，その他の情報のタイプの事例など，研究のリソース，および，実際のサンプル事例が入手できないことが，本格的なプログラム・エヴァリュエーションの実施に踏み出せない理由のひとつだったのではないだろうか。その点，本書はそうしたリソースの提供，タイプの異なる判断の根拠としてエヴァリュエーションが活用された 7 つの事例を通して豊富なサンプルを提供している。本書は，データに基づいた外国語教育プログラムの向上，見直し，開始，廃止などを考えている責任者には特に大変有用な本であると言えよう。文献

Patton, M. Q. (1997). Utilization-focused evaluation (4th ed.). Thousand Oaks, CA: Sage.