自己評価と客観評価の変化にもとづく実践的人材育成コースにおける質的教育効果の測定

全文

(1)52 特集●実践的 IT 教育. 自己評価と客観評価の変化にもとづく実践的人材育成コースにおける質的教育効果の測定佐伯幸郎福安直樹神田哲也市川昊平吉田真一中村匡秀楠本真二 PBL では受講生の社会人基礎力向上に対する質的評価の困難さがしばしば指摘されている．本研究では，PBL の質的評価に対する一つの取り組みとして，受講生の自己評価と第三者による客観評価を用いることで，受講生の成長を評価するとともに，授業改善に活かす手法について提案している．提案手法では受講生が PBL 受講前後に行った主観評価による自己把握の妥当性を客観評価にもとづき評価，検討することで，PBL における質的評価の実現を目指す．本稿では 2017 年度，2018 年度に行った PBL に対し，受講の前後に行った社会人基礎力に関する自己評価および PROG コンピテンシーテストによる客観評価を用いて，提案手法による評価を行った結果について報告する． In PBL, it is often pointed out that it is diﬃcult to qualitatively evaluate the improvement of students’ fundamental competencies for working persons. In this study, we propose a method to evaluate students’ growth and to improve classes through self-evaluation by students and objective evaluation by a third party as an approach to qualitative evaluation of PBL courses. In the proposed method, we aim to evaluate the validity of the subjective self-evaluation by the students before and after taking the PBL course, based on the objective evaluation. In this paper, we report on the evaluation results of the PBL course in 2017 and 2018 by the proposed method using the self-evaluation of fundamental competencies for working persons before and after taking the PBL course and the objective evaluation through PROG competency test.. 1 はじめに近年，社会的な要請の増加に伴い，大学などの教 Measuring the Eﬀectiveness of Qualitative Education in a Practical Human Resource Development Course Based on Changes in Self-Evaluation and Objective Evaluation. Sachio Saiki, Masahide Nakamura, 神戸大学大学院システム情報学研究科, Graduate School of System Informatics, Kobe University. Naoki Fukuyasu, 和歌山大学システム工学部, Faculty of Systems Engineering, Wakayama University. Tetsuya Kanda, Shinji Kusumoto, 大阪大学大学院情報科学研究科, Graduate School of Information Science and Technology, Osaka University. Kohei Ichikawa, 奈良先端科学技術大学院大学先端科学技術研究科, Graduate School of Science and Technology, Nara Institute of Science and Technology. Shinichi Yoshida, 高知工科大学情報学群, School of Information, Kochi University of Technology. コンピュータソフトウェア, Vol.38, No.1 (2021), pp.52–64. [研究論文] 2020 年 11 月 20 日受付.. 育機関において実践的な高度 IT 人材の育成を目的とした PBL による教育プログラムが広く実施されている．例えば enPiT [2] [3] はそのような取り組みの 1 つであり，PBL を中心としたカリキュラムを通じて高度な IT 人材の育成を目指している．PBL は，受講生の主体的な活動により，自己組織化したチーム活動や試行錯誤を経験することで，通常の座学・演習では身に付けることが難しい，個々の要素技術とは独立した IT 技術者として必要な力の向上に適していると言われている [8] [10]．このような力の 1 つとして，2006 年に経済産業省が提唱した，社会人基礎力がある．社会人基礎力は職場や地域社会で多様な人々と仕事をしていくために必要な基礎的な力のことであり [6]，同様の概念に河合.

(2) Vol. 38 No. 1 Feb. 2021. 53. 塾とリアセックが共同開発した PROG におけるコン. 受講生側から見た場合，受講生が自信を持って社会で. ピテンシー [9] や IPA が提供する i コンピテンシディ. 活躍するためには，受講生自身がそのような能力を身. クショナリ (iCD) における IT ヒューマンスキル [4]. に付けたことを実感できることも重要であるが，それ. などが存在する．以降本稿ではこれらを総称し，社会. を把握することは容易ではない．. 人基礎力と呼ぶ．経済産業省が 2010 年に行った，大. そこで本研究では，PBL の質的評価に対する 1 つ. 学生の「社会人観」の把握と「社会人基礎力」の認知. の取り組みとして，受講生の自己評価と第三者による. 度向上実証に関する調査 [7] では，企業が学生に求め. 客観評価を用いることで，受講生の成長を評価すると. る能力要素と，学生が企業で求められていると考える. ともに，授業改善に活かす手法について提案する．提. 能力要素には大きな差異が見られたと報告している．. 案手法では受講生の主観評価による自己把握の妥当. 特に「主体性」「粘り強さ」「コミュニケーション能. 性を客観評価にもとづき評価，検討することで，受講. 力」といった能力について企業は能力要素の不足を感. 生自身による申告を元とした簡単な質的評価の実現. じる一方で，学生はそれらの能力要素への意識は低. を目指す．具体的には，教育プログラムが受講生の社. く，自分は既に身に付けていると考える傾向が見られ. 会人基礎力に対する自信に結びついているか，得意な. るとまとめられている．. 能力・不得意な能力について受講生自身が適切に認識. 教育としての PBL に一定の評価がある一方，PBL では受講生の社会人基礎力向上に対する質的評価の. できているか，という点に着目し評価を行う．本稿ではまず 2017 年度に実施した PBL において，. 困難さがしばしば指摘されている．まず教育の観点. 社会人基礎力に関して受講前後の PROG コンピテン. では，PBL 終了後にいかに受講生の社会人基礎力が. シーテストによる客観評価と受講後の自己評価を用い. 伸びたかを定量的に評価することが困難である点が. 受講生の成長を評価した結果を報告する．次に，2018. 教育活動として問題となる．技術力については，成果. 年度に実施した PBL において，自己評価の実施を受. 物や試験などの評価を通して達成目標への到達度を. 講前後に拡張することで，受講前後の変化を客観評価. 客観的に評価することができ，受講生も自身の成果物. の変化と比較した結果について報告する．また，提案. に対する評価を容易に確認することができる．一方. 手法にもとづいた授業改善への活用方法について考. で社会人基礎力については，直接的に評価することは. 察する．. 難しい．社会人基礎力の客観的な評価手法は存在するものの，成果物を直接評価するものではないために. 2 社会人基礎力にもとづく教育効果の測定. 受講生自身がどのように考えているかを把握するこ. 社会人基礎力を定量的に測定する手法の 1 つに. とは容易ではなく，最終的に受講生の講義目標に対. PROG [9] がある．PROG では，大学の専攻・専門. する達成度を評価することが難しい．直接的な社会. にかかわらず，大卒者として社会から求められる汎用. 人基礎力向上の把握困難性は，実施者側から見た場. 的な能力・態度・志向をジェネリックスキルと呼び，. 合，PBL の改善活動の困難性につながる．PBL で行. リテラシーとコンピテンシーの 2 つの側面からジェ. う様々な活動が具体的にどのような活動を要因として. ネリックスキルの測定を試みる．コンピテンシーと. 向上したか把握できないため，PBL の質向上に対す. は，周囲の状況に対応するための意思決定・行動指針. る改善は実施者の感覚に委ねられてしまう．例えば，. などの特性と定義されており，実社会で活躍する若手. PBL 実施中に起きた受講生の活動の失敗に対し，失. リーダー層の行動特性と比較することで，能力の定量. 敗が起きないように準備をしておく，失敗後のフォ. 化が行われる．このような社会に普遍的に求められ. ローを円滑に進められる準備をする，受講生の自発的. る能力を客観的に測定する際には，ある程度社会性の. な修正を期待する，など実施者は検討可能であるが，. ある者なら，自分にその発揮能力があるかどうかと. 技術以外の向上を目的とした場合，どの方策を取るべ. は関係なく，(社会的な価値観にもとづいて) 解答を. きかは教育者として解決が難しい課題である．また，. コントロールすることができるという問題があるが，.

(3) コンピュータソフトウェア. 54. 表 1 PROG コンピテンシーコンピテンシー対課題基礎力課題発見力計画立案力実践力対人基礎力親和力協働力統率力対自己基礎力感情制御力自信創出力行動持続力. 内容問題の所在を明らかにし，必要な情報分析を行う問題解決のための効果的な計画を立てる効果的な計画に沿った実践行動をとる円滑な人間関係を築く協力的に仕事を進める場をよみ，目標に向かって組織を動かす気持ちの揺れをコントロールするポジティブな考え方やモチベーションを維持する主体的に動き，良い行動を習慣づける (学習行動を含む). PROG コンピテンシーテストでは質問項目の工夫に. PBL を中心とした実践的人材育成の教育プログラム. よりこのような問題を排除するように対処している．. において，PROG コンピテンシーテストなどのよう. 具体的には，A, B それぞれに価値を感じるような両. な客観評価に加えて，受講生自身による自己評価を組. 義性の項目を配置し，どちらにより近いかを強制選. み合わせることで，授業改善に向けた分析を行う手法. 択させる「両側選択形式」，誰でも経験しそうな葛藤. を提案する．本提案では，受講生自身による自己評価. シーンに対して，一般的に肯定的と感じられる解答を. は，客観評価において評価項目に挙げられた能力に関. 用意し，受験者がどの程度実践してきたかその頻度. して行われるものとする．これらの能力について，プ. を尋ねる「場面想定形式 (短文)」，仕事場面で起こり. ログラム終了時に各自に自己評価を行わせることで，. うる葛藤シーンに対して，一般的に肯定的と感じら. 受講生自身の認識を把握できるとともに，客観評価の. れる解答を用意し，受験者の経験に照らしてどんな. 結果と組み合わせることで，以下に挙げる分析が可能. 行動を取りそうか強制選択させる「場面想定形式 (長. となる．. 文)」のような質問項目を用いている．具体的な設問例は [5] を参照されたい．回答からの定量化については非公開であるが，これまでもアセスメントテストとして多くの採用実績がある．そのため，我々も客観. A1 教育プログラムが受講生の社会人基礎力に対する自信に結びついているか. A2 得意な能力・不得意な能力について受講生自身が適切に認識できているか. 評価として PROG コンピテンシーを利用している．. PBL を中心とした教育プログラムでは，受講生は. PROG におけるコンピテンシーは，「対課題」「対人」. 主に本人の主体的な活動を通じて学びが得られる．そ. 「対自己」の大きく 3 つに分けられ，それぞれはさら. こで得られた学びは，受講生の自信に結びつくこと. に細かく 3 つの力から構成される (表 1)．以下，この. で，より実践的な能力として活用できる．A1 では，. 9 つの能力を PROG コンピテンシーと呼ぶ．PROG. 客観評価の結果が教育プログラムの受講前後におい. コンピテンシーは実践的人材育成の取り組みにおけ. て向上した受講生を対象に，自己評価の結果を分析す. る教育効果の測定にも活用されており，大学院生を対. ることで，教育プログラムにより身に付けた社会人基. 象とした第 1 期の enPiT およびその取り組みを学部. 礎力が，本人の自信に結びついているかどうかを確認. 学生に展開した第 2 期 enPiT において，受講前と受. することができる．. 講後の受検結果を比較してその教育効果を測定している [3] [11] [12]．. PROG コンピテンシーテストでは社会人基礎力を. PROG コンピテンシーが 9 つの能力に分けて評価されるように，社会人基礎力は単一の能力ではなく，複数の能力が組み合わさったものと考えられるため，. 客観的に評価できる一方で，受講生が自信を持って社. 得意な能力・不得意な能力を受講生自身が認識し，そ. 会で活躍するためには，社会人基礎力を身に付けたと. の特性に応じて活動することが重要である．A2 では，. いう実感，すなわち受講生自身の主観的な認識につい. 複数の能力のうち，得意・不得意を受講生自身が適切. て把握することも重要である．そこで，本研究では. に認識できているかどうかを，客観評価の結果と比較.

(4) Vol. 38 No. 1 Feb. 2021 表 2 AiBiC Spiral 2017 年度スケジュール日程 5 月 27 日 6 月 10 日 7月1日 8月5日 9 月 4 日∼8 日 10 月 14 日 11 月 11 日 12 月 9 日. 授業内容クラウド技術ビッグデータ処理技術 AI 技術総合演習 PBL 基礎 PBL 発展 PBL 発展最終成果発表会. 55. 後に実施した．自己評価は，PROG コンピテンシーの 9 つの能力の評価に合わせて，下記の設問に対し，それぞれ 1 (低い) ∼ 7 (高い) の 7 段階で回答してもらった．. • 課題発見力: 問題の所在を明らかにし，必要な情報分析を行う力. • 計画立案力: 問題解決のための効果的な計画を立てる力. • 実践力: 効果的な計画に沿った実践行動をとる力することで分析することができる．. • 親和力: 円滑な人間関係を築く力 • 協働力: 協力的に仕事を進める力. 3 提案手法による分析本節では，提案手法による分析事例として，AiBiC. • 統率力: 場を読み，目標に向かって組織を動かす力. 関西が実施している教育コース，AiBiC Spiral [1] に. • 感情制御力: 気持ちの揺れをコントロールする力. おいて，PROG コンピテンシーテストを用いた客観. • 自信創出力: ポジティブな考え方やモチベーショ. 評価と受講生の自己評価とを組み合わせて，PBL にもとづく実践的人材育成の教育プログラムを分析した結果を報告する．. ンを維持する力. • 行動持続力: 主体的に動き，良い行動を習慣づける (学習行動を含む) 力. PROG コンピテンシーテストでは社会人基礎力に 3. 1 分析対象. ついて，総合力という評価項目が存在するが，総合力. AiBiC Spiral は enPiT におけるビッグデータ・AI. という言葉が示す具体的な指標が受講生に対し明確. 分野の教育プログラムの 1 つであり，ビッグデータ処. ではないため，正しく自己評価を行えないと考えた．. 理，人工知能，クラウド技術を融合した現実的な課題. そのため，今回の自己評価はより詳細化されている 9. として，スーパーマーケットにおける購買履歴にもと. 項目を採用している．. づく売上予測と自動発注問題を題材とした PBL を実施している．2017 年度は，表 2 のスケジュールにもとづいて，7 大学・1 高専の計 52 名の受講生を対象. 3. 2 PROG コンピテンシーテストによる客観評価結果. に実施された．5 月 27 日∼8 月 5 日の各回は，PBL. enPiT の取り組み全体の調査 [12] では，受講前後に. に必要な基礎知識の学習を目的とした講義および演. おける PROG コンピテンシーテストの受検結果の比. 習を実施し，9 月 4 日∼8 日は，データにもとづいた. 較により，対課題基礎力，対人基礎力，対自己基礎力. 自動発注システムをチームにより構築する PBL を集. のいずれにおいても，有意水準 1% で有意差が確認さ. 中講義形式で実施した．さらに発展的な課題として，. れている．そこで，AiBiC Spiral においても，受講. 売れ方の異なる複数の商品を対象に自動発注システ. 前後における PROG コンピテンシーテストの結果を. ムを構築する PBL を 10 月∼12 月の期間に実施し，. 比較した．. 12 月 9 日に最終成果発表会として各チームの活動を報告してもらった．. 受講前後 2 回のテストを共に受検した受講生のスコアを対象として，各回における 9 つの能力ごとの平. 教育プログラムの効果を客観的に測定するため，初. 均点と標準偏差を表 3 に示す．符号付き順位検定の. 回の授業前と最終成果発表会前に PROG コンピテン. 結果，自信創出力 (p < 0.01) と行動持続力 (p < 0.05). シーテストを実施した．また，受講生による自己評. の 2 つの項目について受講前後で有意な差を確認す. 価および授業評価アンケートは最終成果発表会終了. ることができた (図 1)．.

(5) コンピュータソフトウェア. 56 表3. 表 4 受講後自己評価の平均と標準偏差 (2017 年度，N=47). 受講前後の客観評価の平均と標準偏差 (2017 年度，N=51). 課題発見力計画立案力実践力親和力協働力統率力感情制御力自信創出力行動持続力. 平均 4.37 3.47 4.14 3.63 4.06 3.73 4.22 3.45 3.76. 受講前標準偏差 1.78 1.97 1.57 1.93 1.92 1.73 1.66 1.54 1.32. 平均 4.73 3.49 4.10 3.90 3.94 4.16 4.37 4.08 4.33. 受講後標準偏差 1.75 2.04 1.92 2.17 2.04 1.93 1.79 1.75 1.70. 課題発見力計画立案力実践力親和力協働力統率力感情制御力自信創出力行動持続力. 平均 5.15 4.96 5.26 5.55 5.36 5.19 4.97 5.15 4.70. 標準偏差 1.37 1.43 1.18 1.35 1.36 1.44 1.63 1.24 1.47. し，スコアの上昇幅が大きかった受講生 (上昇群) の ** p < 0.01 * p < 0.05. 7 6 5 4 3 2 1 0. **. *. 自己評価結果をその他の受講生 (全体群) と比較した. (分析 1)．受講前後における差の合計の平均は 2.19 であり，標準偏差は 7.28 であった．上昇群を抽出する手法としては，四分位数を用いる方法や，平均値から標準偏差以上離れた標本を抽出する方法などが考えられる．今回は全体の標本数が 47 と比較的小規模であるため，平均値から標準偏差以上離れた標本を抽出する方法では，上昇群の標本数が小さくなりすぎるため，四分位数を用い，スコアの上昇. 図 1 受講前後の客観評価の比較 (2017 年度，N=51). 以降の項では，受講生自身の認識と，客観的な評価結果との関係について詳細に分析する．. 幅が大きかった上位 25% の受講生を上昇群 (11 名) とし，その補集合である 75% の受講生を全体群 (36 名) とした．この分割を行ったとき，上昇群の平均は. 12.27，全体群の平均は −0.89 であった．なお，上昇群の分割においては 25% を超えない範囲とし，同順. 3. 3 自己評価と客観評価の比較にもとづく分析. 位の受講生がいる場合には，それらを上昇群に含める. 最終成果発表会終了後に実施した自己評価の結果. こととした．以降の 2 群の分割方法についても同様. について，平均と標準偏差を表 4 に示す．客観評価. である．. と比較するため，対象は PROG コンピテンシーテス. 上昇群と全体群を，自己評価における 7 段階評価. トを 2 回受検し，かつ自己評価が得られた受講生 47. の 9 つの能力ごとの平均値で比較した．結果をレー. 名とした．. ダーチャートにしたものを図 2 に示す．今回の結果. 3. 3. 1 教育プログラムは受講生の社会人基礎力に対する自信に結びついているか教育プログラムの受講前後において，客観評価. (PROG コンピテンシーテストのスコア) が上昇した受講生に着目することで，社会人基礎力の向上が受講生自身の実感として本人の自信に結びついているか. では，すべての項目において，上昇群の方が自己評価の結果が高かった．マン・ホイットニーの U 検定. (p < 0.05) で検定を行った結果，特に親和力と協働力において有意な差があった．. 3. 3. 2 得意な能力・不得意な能力について受講生自身が適切に認識できているか. どうかを確認した．具体的には，PROG コンピテン. 自己評価の値は絶対的なものではなく，受講生ごと. シーの 9 つの能力に対するスコアのそれぞれについ. にスケールが異なるため，受講生間や客観評価との間. て，受講生ごとに教育プログラム受講前後の差を合計. で直接比較することはできないが，項目間の順位につ.

(6) Vol. 38 No. 1 Feb. 2021. 図3. 図2. (分析 1) 客観評価上昇群と全体群の受講後自己評価の平均値の比較 (2017 年度，N=47). 57. (分析 2) 自己評価の順位と客観評価の順位の差 (2017 年度，N=47). る．図 3 から，自信創出力において多くの受講生の得意・不得意の認識が客観評価による結果に一致して. いては意味があると考えられる．そこで，PROG コ. いたことがわかる．行動持続力は客観評価よりも自. ンピテンシーのそれぞれについて，受講生自身が認識. 己評価の方が低い傾向が見られる．一方で，親和力は. している得意・不得意と客観的な指標にもとづく得. 客観評価よりもより得意であると認識している傾向. 意・不得意との間にどのような相違が発生している. が見られる．実践力は認識が一致している人数は少. かを確認するため，受講生ごとに PROG コンピテン. なく，正の方向にも負の方向にもばらつきが大きい．. シーの 9 つのスコアを順位にしたものと，自己評価における 9 つの値を順位にしたものを比較した (分析. 2)．PROG コンピテンシーテストの 2 回目を受検し. 3. 4 自己評価にもとづく授業評価アンケートの分析. た結果と受講後の自己評価が得られた受講生を対象. 授業評価アンケートは受講生の授業に対する具体的. に，9 つの能力ごとに，自己評価での順位と客観評価. な感想・心情を知ることができる重要な情報である．. での順位の差を求め，区間ごとに人数を集計した結果. 授業評価アンケートの活用方法の 1 つとして，特に. が図 3 である．凡例における [2, 4] は順位の差が 2 以. 自己評価の低い受講生に着目することで授業改善に. 上 4 以下を表し，客観評価における順位が 1 位で自己. 向けた取り組みへのヒントが得られる可能性が考え. 評価における順位が 4 位 (差は 3) などの場合が該当. られる．. する．一方，客観評価における順位が自己評価におけ. 図 4 は，教育プログラム終了時に実施した授業評. る順位より低かった (8 位と 2 位など) 場合には，差. 価アンケートの結果について，自己評価の結果が低. は負となり [−8, −5] などに集計される．なお，9 つ. かった受講生の平均と，受講生全体の平均を比較した. の能力の順位 (1 位∼9 位) の差であるため，その値. ものである (分析 3)．自己評価の結果と授業評価ア. は −8 から 8 の整数である．また，この値が −8 や 8. ンケートへの回答が得られた 47 名の受講生が対象で. となるのは，客観評価と自己評価がそれぞれ 9 位と 1. あり，PROG コンピテンシーに対する自己評価の値. 位 (あるいは 1 位と 9 位) の場合のみであるため，両. を受講生ごとに合計し (平均 46.11，標準偏差 9.08)，. 外側の区間に含めている．. 下位 25% (下位群 11 名) とその補集合である 75% の. このグラフにおいては，受講生自身の得意・不得意の認識が客観的な指標にもとづく得意・不得意に一致. 受講生 (全体群 36 名) の授業評価アンケート結果を比較した．. する場合には，[−1, 1] の区間が多くなる．認識に違. 授業評価アンケートでは以下の項目について 1 (そ. いがある場合には，自己評価の方が低い場合は正の方. う思わない，問題ありなどネガティブな回答) から 5. 向に，客観評価の方が低い場合は負の方向に多くな. (そう思う，問題なしなどポジティブな回答) の 5 段.

(7) コンピュータソフトウェア. 58. 身の積極性に関する項目において，自己評価下位の受講生の方が全体群よりも低い結果となっているが，その因果関係 (積極性が低かったから自己評価が低いのか，内容への理解の面で自信が持てなかったことが積極性の低さにつながったのか) については十分に分析ができていない．. 3. 5 自己評価と客観評価の関係に関する考察受講生の社会人基礎力に関する自己評価は，受講後に自身の能力値を定量化してもらうことで可能となり，その結果と客観評価を比較することで，受講生が得た学びや自信という点において PBL 授業の質的評図4. (分析 3) 自己評価下位群と全体群の授業評価アンケート結果の比較 (2017 年度，N=47). 価の実現に関してその一例を今回の分析を通じ示した．一方で実際には本人が元から自信を持っていた項目を高い値で評価したのか，PBL 受講を通じて得. 階による回答を得た．. た自己評価であるかは判断ができない．そのため，よ. Q1 PBL 演習は有益でしたか. り詳しく教育効果に関して質的評価を行うには，自己. Q2 内容は理解できましたか. 評価に関しても受講前後で実施し，その差分を用い分. Q3 PBL 演習全般 (演習内容・講師・自己評価) に. 析することが望ましいと言える．. 関する総合評価. Q4 演習への参加度合い (積極性) はいかがでしたか. 4 事前自己評価を用いた追加分析本節では，2018 年度の実施に対して行った，受講. Q5 受講姿勢に対する自己総合評価. 前後の自己評価を用いる追加の分析方法について述. Q6 テーマや内容はあなたの期待と合致していま. べる．. したか. Q7 コンテンツ (テキストなど) はわかりやすいものでしたか. 4. 1 実施概要と基礎分析 2018 年度はさらに 2 大学・1 高専を加えた計 63 名. Q8 授業のコンテンツに関する総合評価. の受講生を対象に，5 月 26 日から 10 月 13 日の期間. Q9 講師のスキルや知識は十分でしたか. で実施された．2017 年度と詳細なスケジュールは異. Q10 説明や質問の回答は適切でわかりやすかった. なるが，実施した内容は同様である．. ですか. 客観評価の結果について受講前後 2 回のテストを. Q11 演習中の講師のアドバイスは適切でしたか. 共に受検した受講生 60 名の平均および標準偏差を表. Q12 講師に関する総合評価. 5 に示す．符号付き順位検定の結果，課題発見力およ. Q13 教室の環境や設備はいかがでしたか. び実践力 (p < 0.01)，親和力 (p < 0.05) の 3 つの項目. また，これらの他に自由記述による意見なども得ている．. に有意な差が確認できた (図 5)．自己評価については，3. 5 項の結果を踏まえ，客. 図 4 では，Q9∼Q13 の各項目ではほとんど差が見. 観評価と同様に受講前後で回答を得た．2017 年度は. られないのに対して，Q1∼Q8 の各項目については，. PROG コンピテンシーテストの結果と同じ 7 段階に. 全体と自己評価下位との間で回答の平均値にある程. よる評価を回答してもらったが，受講生によって中間. 度の差が見られた．特に，Q4 や Q5 などの受講生自. の 4 ばかりを回答する，受講生間で尺度の捉え方が.

(8) Vol. 38 No. 1 Feb. 2021 表5. 受講前後の客観評価の平均と標準偏差 (2018 年度，N=60). 課題発見力計画立案力実践力親和力協働力統率力感情制御力自信創出力行動持続力. 7 6 5 4 3 2 1 0. 59. 平均 4.52 3.73 3.98 3.27 3.42 3.60 3.80 3.32 3.57. 受講前標準偏差 1.44 2.05 1.59 1.94 1.93 1.90 1.70 1.51 1.63. 平均 5.08 3.77 4.52 3.82 3.77 3.90 4.05 3.67 3.70. 受講後標準偏差 1.23 2.04 1.62 1.87 1.94 1.65 1.88 1.71 1.46. ** p < 0.01 * p < 0.05 **. **. *. 図 5 受講前後の客観評価の比較 (2018 年度，N=60). 異なり細かい差異の解釈が難しい，など分析する上で. 図6. (分析 3) 自己評価下位群と全体群の授業評価アンケート結果の比較 (2018 年度，N=56). 表6. 受講前後の自己評価の平均と標準偏差 (2018 年度，N=56). 課題発見力計画立案力実践力親和力協働力統率力感情制御力自信創出力行動持続力. 平均 2.75 2.61 2.79 2.66 2.80 2.38 3.04 2.68 2.46. 受講前標準偏差 0.85 0.67 0.56 0.74 0.67 0.72 0.89 0.89 0.82. 平均 3.21 3.04 3.09 3.13 3.25 2.70 3.41 3.09 2.96. 受講後標準偏差 0.67 0.76 0.83 0.78 0.78 0.82 0.70 0.79 0.80. 問題となる点が見受けられた．また，受講生は客観評価の評価尺度を熟知しているわけではないため，同じ. 4. 2 受講前後の自己評価結果の比較. 7 段階で評価したとしても数値を直接的には比較でき. 2018 年度では，受講前にも自己評価を実施したが，. ない．自己評価を実施する目的は受講生自身の得意・. それによって可能になった分析結果について述べる．. 不得意の感覚を明確にすることであるので，PROG. 受講前後で回答の得られた 56 名の自己評価の平均と. コンピテンシーテストの段階に一致させる必要はな. 標準偏差 (分析 4) を表 6 に示す．符号付き順位検定. く，2018 年度では選択肢を減らして 1 (低い) ∼ 4 (高. の結果，すべての項目について受講前後で有意な差. い) の 4 段階とし，中間の選択肢を廃した．. (p < 0.01) を確認することができた (図 7)．このこと. 受講後の自己評価と授業評価アンケートの両方に回答した 56 名について，2017 年度の分析 3 と同様. から，少なくとも受講生自身の主観においては，受講による力の向上を認識していることがうかがえる．. のアンケート比較結果を図 6 に示す．2018 年度の結. また，2017 年度と同様に，客観評価の上昇群 (14. 果でも全体的に事後の自己評価下位群 (15 名) の受講. 名) と全体群 (42 名) に分けて分析を実施した (図 8)．. 生の方が全体群 (41 名) よりも低い結果となっている. ここでは，受講前の自己評価結果も得られているた. が，特に Q2, Q3, Q4 で全体群と下位群の差が相対的. め，受講前の平均と受講前後の差分も合わせて示し. に大きかった．. ている (分析 5)．受講前 (図 8 (a)) の時点では自己評価について 2 群に顕著な差は見られないが，受講.

(9) 60. コンピュータソフトウェア. 5. ** p < 0.01 * p < 0.05. 4 3. **. **. **. **. **. **. **. **. **. 2 1 0. 図7. (分析 4) 受講前後の自己評価の比較 (2018 年度，N=56) (a) 受講前の自己評価の平均値. 後 (図 8 (b)) では上昇群のほうが自己評価が高く出る傾向にある．実際に，マン・ホイットニーの U 検定. (p < 0.05) で検定を行うと，受講前ではどの項目においても有意な差は認められなかったが，受講後の結果では特に実践力，統率力，行動持続力において有意な差が見られた．図 8 (c) は受講前後の差分についてグラフにしたものであり，上昇群は計画立案力を除いて自己評価が他の受講生に比べて同じ程度か，より大きく上昇している．さらに，客観評価と同様に受講前後の自己評価の上昇幅に着目した分析も可能になった．そこで，自己評価の差分が大きかった上昇群 (16 名) と全体群 (40. (b) 受講後の自己評価の平均値. 名) について客観評価の変化を比較した (図 9)(分析. 6)．受講前 (図 9 (a)) の時点では，上昇群の受講生は，統率力や自信創出力などいくつかの項目について全体群に比べやや低い評価であった．一方受講後 (図. 9 (b)) では，それらの項目は上昇群と全体群でほぼ同じ値か逆転している．図 9 (c) は受講前後の差分についてグラフにしたものであり，すべての項目について上昇群は全体群よりも客観評価の上昇幅が大きい．特に協働力・統率力・自信創出力・課題発見力は受講. (c) 受講前後の自己評価の差分. 前に比べ平均 1 ポイント以上上昇している．図8. 4. 3 自己評価と客観評価の関係性 PROG コンピテンシーには 9 つの項目があるが，. (分析 5) 客観評価上昇群と全体群の自己評価の比較 (2018 年度，N=56). た．相関係数を表 7 に示す (分析 7)．項目ごとに見. 受講生はそれらすべての項目について自身の成長を. た場合，課題発見力，親和力，統率力には客観評価と. 的確に実感できているかを確認する．. 自己評価の上昇幅に弱い相関が見られた．しかし，他. 客観評価の上昇幅と，自己評価の上昇幅の間に相関. の項目では相関は見られなかった．一方で，全項目の. があるかを，各項目およびその合計値について計算し. 上昇幅を合計すると，客観評価と自己評価の上昇幅に.

(10) Vol. 38 No. 1 Feb. 2021. 61. 表 7 (分析 7) 客観評価と自己評価の上昇幅の相関. 課題発見力計画立案力実践力親和力協働力統率力感情制御力自信創出力行動持続力合計. 相関係数 0.241 0.030 0.011 0.238 0.105 0.276 −0.061 0.168 0.171 0.423. (a) 受講前の客観評価の平均値. 4. 4 追加分析に対する考察受講前後での自己評価 (図 7) について，全項目で有意な上昇が見られた一方，客観評価 (図 5) において有意な上昇が認められたのは 3 項目のみであった．差分の合計との相関 (表 7) と照らし合わせると，受講生は必ずしも客観的に上昇した能力を身に付けたと認識しているとは言えない．2017 年度の分析で行った得意・不得意の分析 (図 3) についても同様の傾向があり，項目によっては客観評価と自己評価の結果に大きな隔たりが見られた．このことから，少なくとも我々の授業においては特定の能力の成長を受講生に正しく実感させるには至っていない． (b) 受講後の客観評価の平均値. 一方で，全項目の合計の上昇幅については相関が見られた (表 7)．客観評価の上昇した学生は自己評価もおおむね上昇しており，自己評価の上昇した学生は客観評価もおおむね上昇していた．このことから，社会人基礎力全体としては受講生は自信を伴った成長をしたと考えられる．. 5 質的評価と授業改善に向けて (c) 受講前後の客観評価の差分図9. (分析 6) 自己評価上昇群と全体群の客観評価の比較 (2018 年度，N=56). 本稿では，自己評価と客観評価を相互に比較することで，受講生自身の自信と客観評価での成長を定量的に把握することが可能となった．この結果を分類することで，授業の質的評価と授業改善へのヒントを得. は中程度の相関 (相関係数 0.423) が見られた．この. ることができる．具体的には，受講生を客観評価の変. ことから，受講生は具体的な項目としての成長の実感. 化と自己評価の変化の組み合わせにより 5 つの分類. は実際とのずれがあるが，社会人基礎力全体としては. に当てはめることで，授業の質的評価を行うとともに. 自身が成長したことをある程度正確に認識できてい. 改善すべき点を分析しやすくする．表 8 に質的評価. ることが読み取れる．. の分類指標および質的評価対象としての適切性，授業.

(11) コンピュータソフトウェア. 62. 表 8 質的評価のための分類指標および質的評価対象としての適切性と授業改善への適用可能性分類 A群 B群 C群 D群 E群. 客観評価と自己評価の変化客観評価が受講前から高いまま変化なし客観評価が上昇し，自己評価も上昇客観評価が上昇し，自己評価は受講前から高いまま変化なし客観評価が上昇し，自己評価は受講前から低いまま変化なし客観評価が受講前から低いまま変化なし，もしくは低下. 改善への適用可能性を示す．ここで，「上昇」「高い」. 質的評価不適適適適不適. 授業改善不可可不可可可. 結果は授業に対するポジティブな感想が多くなりが. 「低い」などの閾値は，評価目的に応じて適宜設定す. ちであり，直接的に授業改善につながるものではない. るものである．なお，質的評価対象としての適切性と. 可能性がある．これらは D 群や E 群の受講生のアン. は，授業の質的評価を行うためのサンプルとして適当. ケート結果のように速やかに対処すべき項目として. であるかどうか，授業改善への適用可能性とは，アン. ではなく，今後も継続すべき項目としてとらえること. ケートの分析やその結果から授業改善へつなげるこ. ができる．. とが可能であるかを意味する．. 本分類にもとづき，2018 年度に実施した PBL に. A 群の受講生は，受講前から社会人基礎力を身に. おいて終了後に受講生の分類を行った．今回の実施. 付けており，授業を通じた成長の確認は困難なため，. では評価の高低の閾値を客観評価，自己評価で取りう. 授業改善のための分析対象としては適当ではない．. る値の中間値である 4 および 2.5 にそれぞれ設定し. B 群の受講生は，受講によって社会人基礎力を向上. た．受講前後の客観評価および自己評価がすべて得. することができ，また受講後の自己評価も高い，PBL. られた 56 名を分類に当てはめた結果，A 群は 8 名，. の教育目標に合致した修了生像である．この群の受. B 群は 30 名，C 群は 3 名，D 群は 2 名，E 群は 13. 講生は自己評価の上昇群に含まれるため，4. 3 項で示. 名であり，B 群と E 群に分類される受講生が多かっ. したような項目ごとの分析でさらなる授業改善への. た．アンケートを分析したところ，E 群の受講生は内. 手がかりを得ることも期待できる．. 容や難易度への不満を訴えているケースが散見され，. C 群は B 群と同様に，受講によって社会人基礎力の向上が見られた群である．一方で C 群の受講生は，. このような受講生をフォローする体制を整えることが我々の授業改善につながると考えている．. 受講前から自己評価が高く受講前後の変化がないため，提案手法における授業改善のための分析対象とし. 6 おわりに. ては適当ではない．. 本稿では，実践的人材育成プログラムにおける授業. D 群の受講生は，実際には社会人基礎力が向上して. 改善に向けた分析のための 1 つの方法として，社会人. いるのにそれが自信につながっていない．しかしなが. 基礎力を構成する項目を受講生自身に自己評価させ. ら，自信さえ伴えば B 群に分類されうることから，ア. ることで，客観的な評価の結果やアンケート結果と比. ンケートの分析や授業内容の見直しにより，成長を実. 較する手法を提案した．自己評価の項目として，客観. 感できるような授業設計を目指すことが考えられる．. 評価に用いる指標と同じ項目を対象とすることで客. E 群の受講生は授業を通じた成長が行えていない. 観評価と主観評価の相互の比較が可能となる．本手. ため，まず授業の目的と受講生の期待の間にミスマッ. 法を 2017 年度，2018 年度に我々が行った PBL の受. チが生じていないかなど，授業の在り方を見直すため. 講生を対象に，PROG コンピテンシーの 9 つの能力. のサンプルとして分析を行うことができる．. に対する自己評価結果を，PROG コンピテンシーテ. 授業の評価としては，B 群や C 群に当てはまる受. ストの受検結果や授業評価アンケートの回答と比較. 講生が多いことが望ましい．一方で，これらの受講生. 分析し，教育プログラムの特徴把握を試みた．2017. は自身に自信を持っている層であるため，アンケート. 年度における分析 1 では，受講生の社会人基礎力向.

(12) Vol. 38 No. 1 Feb. 2021 上の測定に PROG コンピテンシーテストによる受講前後のスコアを利用している．しかしながら，教育効果の定量化という観点を考えた場合，自己評価についても同様に受講前後で実施し，受講生自身の自己評価に対する変化を活用することが望ましい．自己がとらえている社会人基礎力の向上と客観評価による向上のより正確な突き合わせが実現できるため，受講生の変化を精密にとらえられる可能性が高くなる．そこで 2018 年度の実施においては，自己評価についても受講前後に行った．その結果，分析 5, 6, 7 により社会人基礎力の客観評価と自己評価の上昇に関係があることが分かった．また，教育効果の定量化にもとづき，受講生の受講前後の客観評価・自己評価の結果. 63. 201006daigakuseinosyakaijinkannohaa kutoninntido. pdf (参照 2020-9-15), 2010. [ 8 ] 松浦佐江子: 実践的ソフトウェア開発実習によるソフトウェア工学教育, 情報処理学会論文誌, Vol. 48, No. 8 (2007), pp. 2578–2595. [ 9 ] リアセック: PROG, http://www.riasec.co.jp/ prog hp/ (参照 2020-1-12). [10] 沢田篤史, 小林隆志, 金子伸幸, 中道上, 大久保弘崇, 山本晋一郎: 飛行船制御を題材としたプロジェクト型ソフトウェア開発実習, 情報処理学会論文誌, Vol. 50, No. 11 (2009), pp. 2677–2689. [11] 山本雅基, 小林隆志, 宮地充子, 奥野拓, 粂野文洋, 櫻井浩子, 海上智昭, 春名修介, 井上克郎: enPiT における教育効果測定の実践と評価, コンピュータソフトウェア, Vol. 32, No. 1 (2015), pp. 213–219. [12] 山本雅基, 沢田篤史, 小林隆志, 岡村耕二, 宮地充子, 佐藤和彦, 奥野拓, 粂野文洋: 大学学部生を対象とした実践的 IT 人材育成プログラム enPiT2 と評価, 信学技報 (SS2018-82), Vol. 118, No. 471 (2019), pp. 181–186.. から成長を 5 つに分類することで授業に対する質的評価を行うとともに，各群のアンケート結果などの授業改善への活用方法について考察した．. 佐伯幸郎. 今後は，受講前後の客観評価・自己評価の比較にも. 2009 年高知工科大学大学院博士後期. とづく質的評価と授業改善の取り組みを複数年度に. 課程修了．博士 (工学)．同年同大学. わたって適用し，提案手法の有用性を評価していきた. 助手．2010 年同大学助教．2013 年. い．また，客観評価で上昇した能力は実施年度によっ. 神戸大学システム情報学研究科特命. て異なる傾向が見られたことから，その原因と教育プ. 助教．2016 年同大学先端融合研究環特命助教．2017. ログラムの改善への発展について詳細な分析を行う. 年同大学大学院システム情報学研究科特命講師．ディ. ことが考えられる．. ジタル信号処理，ソフトウェア工学教育，教育工学に関する研究に従事．IEICE，IEEE 各会員．. 謝辞. 本教育コースの実施にあたりご尽力頂いた. AiBiC 関西参画校，連携企業の関係者各位ならびに. 福安直樹. 本教育コースの受講生各位に感謝します．. 1996 年名古屋大学工学部情報工学科卒業．2000 年同大学大学院工学研究. 参考文献 [ 1 ] AiBiC 関西: https://aibic-spiral.enpit.jp/ (参照 2020-9-15). [ 2 ] enPiT2 成長分野を支える情報技術人材の育成拠点の形成: http://www.enpit.jp/ (参照 2020-9-15). [ 3 ] 井上克郎: enPiT の成果と今後の展望, コンピュータソフトウェア, Vol. 34, No. 1 (2017), pp. 3–7. [ 4 ] 情報処理推進機構: i コンピテンシディクショナリ, https://icd.ipa.go.jp/icd/ (参照 2020-3-30). [ 5 ] 河合塾: PROG テストサンプル, https://www. kawaijuku.jp/jp/research/prog/tst/test-sample.html (参照 2020-09-16). [ 6 ] 経済産業省: 社会人基礎力, https://www.meti.go. jp/policy/kisoryoku/index.html (参照 2019-8-5). [ 7 ] 経済産業省: 大学生の「社会人観」の把握と「社会人基礎力」の認知度向上実証に関する調査, https://selectra.jp/sites/selectra.jp/files/pdf/. 科情報工学専攻博士後期課程修了．博士 (工学)．同年和歌山大学システム工学部助手．同助教を経て，2014 年より同准教授．ソフトウェア開発環境，ウェブ工学，ソフトウェア工学教育に関する研究に従事．JSSST，IPSJ，JSiSE 各会員．.

(13) コンピュータソフトウェア. 64 神田哲也. 2016 年大阪大学大学院情報科学研究科博士後期課程修了．同年奈良先端科学技術大学院大学情報科学研究科博士研究員．2017 年大阪大学大学院情報科学研究科特任助教．2018 年より同研究科助教．博士 (情報科学)．ソフトウェア進化，ソースコード解析に関する研究に従事．IEEE，IPSJ 各会員．市川昊平. 2008 年大阪大学大学院情報科学研究科博士課程修了．関西大学ソシオネットワーク戦略研究機構博士研究員，大阪大学情報基盤本部助教を経て，現在，奈良先端科学技術大学院大学情報科学研究科准教授．博士 (情報科学)．分散システムに関する研究に取り組み，分散システムを支えるミドルウェアからアプリケーション応用までの幅広い研究開発に従事．IPSJ，IEICE，JSAI，IEEE 各会員．吉田真一. 1996 年中央大学理工・電気電子工学科卒．1998 年東京工業大学大学院総合理工学研究科知能システム科学専攻修士，2001 年同博士課程修了．博士 (工学)．東京工業大，青山学院大，高知工科大講師，准教授を経て，現在，高知工科大学情報学群教. 授．ソフトコンピューティング，ニューラルネット，画像認識，医用画像処理などの研究に従事．IEEE，. IEICE，IPSJ，JSOFT 各会員．中村匡秀. 1999 年大阪大学大学院博士後期課程修了．2000 年同大サイバーメディアセンター助手．2002 年奈良先端科学技術大学院大学情報科学研究科助手．. 2007 年神戸大学大学院工学研究科准教授．2010 年同大大学院システム情報学研究科准教授．2013 年グルノーブル大学在外研究員．2016 年理化学研究所革新知能統合研究センター (AIP) 客員研究員．博士 (工学)．サービス・クラウドコンピューティング，ソフトウェア工学，スマートホーム，スマートシティ，加齢工学の研究に従事．IEEE，ACM，IPSJ 各会員．楠本真二. 1988 年大阪大学基礎工学部情報工学科卒業．1991 年同大学大学院博士課程中退．同年同大学基礎工学部助手．1996 年同講師．1999 年同助教授．2002 年同大学大学院情報科学研究科助教授．. 2005 年同教授．博士 (工学)．ソフトウェアの生産性や品質の定量的評価，プロジェクト管理に関する研究に従事．IPSJ，IEICE，JSSST，IEEE，JFPUG，. PM，SEA 各会員．.

(14)