6. 実証実験結果
6.4 評価・考察
6.4.3 設計・開発プロセスの妥当性の検証
本節では、表 6-5に挙げた問題点が設計・開発プロセスのアクションアイテムを用い て真に改善されたかどうかを検証する方法とその結果について述べる。
(1)
評価・考察方法
検証方法を表 6-18に示す。
表 6-18 問題点の改善のために行った作業内容と妥当性の検証方法
2002年度情報ネットワークリテラシ応用に おける問題点
取り入れた アクションアイテム
改善のために実際に行った作業内
容（ID技法） 妥当性の検証方法
(a)教授項目が少なかっ た。
学習目標詳細化 学習目標構造化 学習目標系列化 教材の作成
ゴール分析結果を元に、MOUS の 学 習 内 容 全 体 を 教 授 で き る よ う に、学習目標を構築した。
詳細化された授業内容の MOUS 試験範囲への充足度を使用した教 材の詳細化項目から比較する。
(b)授 業 全 体 の 目 的
（ゴール）が明確かつ 具体的でなかった。結 果的に、授業を実施す ること自体の効果も明 確でなかった。
学習目標構造化 学習目標詳系列化 教材の作成
ニーズ分析・ゴール分析の結果を 各授業ごとの学習目標として明確 化し、その学習目標を教材ごとに 記述した。
各教材における学習目標の列挙 アンケートを実施し、授業におい て具体的な学習目標が認識できた かを問う
目標を明確に持って教授を行えた かを尋ねる教員インタビューの実 施。
(c)同一試験に複数の同 一スキルを問う問題が 出題され、結果的に試 験がカバーしている学 習範囲が狭かった。
学習目標詳細化 開発概要策定 素材の作成と編集 教材の作成
ゴール分析を元に、テストの項目 について学習目標詳細化を行い、
開発概要を策定した。
テストの学習目標詳細図を調べ、
学習範囲を偏りなく出題されてい るかを調査。
テストの開発概要が策定されてい るかを調査
(d)説 明 を 聞 く の が 中 心であり、技術として 習得するための内容で はなかった。
学習シナリオ設計（学 習 目 標 詳 細 化 、 構 造 化、系列化）
開発概要策定 実施概要策定 素材の作成と編集 検査の実施 レビューの実施
教授概要書を元に、各授業の学習 目標を実習ができるものにしてい くのかを定めた。（学習目標詳細 化、構造化）
実習の進行が支障がないような授 業中の進行計画を作成した。
教材を分析し、実習できるシナリ オになっているか調査する。
学生へのアンケートを行う。
(e)進行の速さと授業中 のサポート不足の原因 から、教授内容につい てこられない学生が多 く存在した。
学習目標構造化 学習目標系列化 形成的評価基準設計 開発概要策定 実施概要策定
授業時間内に実習も扱えるよう、
教材の量的水準を学習内容のバラ ンスを考え調節した。
授業実施にあるべき学習環境を考 察しなかった。
教材のページ数が授業実施上無理 がないか調査する。
実施概要策定に授業運営（タイム テーブル等）に関する指針が示さ れているか調査する。
上記に関連するアンケートを実施 する。
(f)学習に対するモチベ ーションが低かった。
学習シナリオ設計（学 習 目 標 詳 細 化 、 構 造 化、系列化）
総括的評価基準設計
学習シナリオを過去のデータから モチベーションを維持しやすいと 判断した資格試験(MOUS 学習)に 定め、教材を設計した。また、そ の資格への授業について本実証実 験の環境下でアンケートを実施し た。
学習シナリオが資格試験準拠とい う目標に沿っていたか調査し、充 足性を調査する。
アンケートにて、資格試験のため の授業についての考えを問う。
(g)最 終 的 に 行 っ た 試 験 結 果 が 悪 く 、Excel が使えるようになった とは考えにくかった。
設計プロセス全てのア クションアイテム
以上の全ての問題から派生してい ると考えられる。
今年度のテスト項目を調べ、昨年 度と比較しテストの難易度を調べ る。また、そのテストの結果を分 析する。
去年と同試験を実施し、その結果 を比較する。
(h)授 業 ぎ り ぎ り に な らないと教材が仕上が らないことや、教材よ り後にテストを作成す ることがあった
プロジェクト計画立案 プロジェクトチーム編 成
プロジェクト基準設計 レビューの実施 最終レビューの実施 実証実験の実施 プロジェクト評価
プロジェクトに必要な項目及び必 要メンバを抽出し、プロジェクト を編成した。また、そのメンバ 1 人 1 人の職務を規定し、レビュ ー・最終レビューの実施、実証実 験の実施の計画を立案した。教材 作成に関しては、テストから教材 を作成するというプロセスを盛り 込んだ。また、それらについての 実証実験を実施し、プロジェクト 評価を行った。
テスト開発の日時及び実証実験の 結果を元にテスト開発が教材開発 よりも先に行われていたかをチェ ックする。
(2)
対象とする実証実験データ
表 6-18で示された検証方法において、検証のために用いたデータを表 6-19に示す。
表 6-19 設計・開発プロセスの妥当性の検証に用いたデータ
2002年度情報ネットワークリテラシ応用に おける問題点
取り入れた
アクションアイテム 妥当性の検証方法 検証に用いたデータ (a)教授項目が少なかっ
た。
学習目標詳細化 学習目標構造化 学習目標系列化 教材の作成
詳細化された授業内容の MOUS 試験範囲への充足度を使用した教 材の詳細化項目から比較する。
当 該 授 業の 教材 （ 試 験問 題） と MOUS試験範囲との対応表
(b)授 業 全 体 の 目 的
（ゴール）が明確かつ 具体的でなかった。結 果的に、授業を実施す ること自体の効果も明 確でなかった。
学習目標構造化 学習目標詳系列化 教材の作成
各教材における学習目標の列挙 アンケートを実施し、授業におい て具体的な学習目標が認識できた かを問う。
目標を明確に持って教授を行えた かを尋ねる教員インタビューの実 施。
各授業ごとの学習目標表 アンケート結果
教員インタビュー
(c)同一試験に複数の同 一スキルを問う問題が 出題され、結果的に試 験がカバーしている学 習範囲が狭かった。
学習目標詳細化 開発概要策定 素材の作成と編集 教材の作成
テストの学習目標詳細図を調べ、
学習範囲を偏りなく出題されてい るかを調査。
テストの開発概要が策定されてい るかを調査。
学習目標詳細図 プロジェクト記録
(d)説 明 を 聞 く の が 中 心であり、技術として 習得するための内容で はなかった。
学習シナリオ設計（学 習 目 標 詳 細 化 、 構 造 化、系列化）
開発概要策定 実施概要策定 素材の作成と編集 検査の実施 レビューの実施
教材を分析し、実習できるシナリ オになっているか調査する。
学生へのアンケートを行う。
アンケート
(e)進行の速さと授業中 のサポート不足の原因 から、教授内容につい てこられない学生が多 く存在した。
学習目標構造化 学習目標系列化 形成的評価基準設計 開発概要策定 実施概要策定
教材のページ数が授業実施上無理 がないか調査。
実施概要策定に授業運営（タイム テーブル等）に関する指針が示さ れているか調査
上 記 に 関 連 す る ア ン ケ ー ト を 実 施。
講義用PowerPoint教材のスライド
枚数
授業実施概要タイムテーブル
(f)学習に対するモチベ ーションが低かった。
学習シナリオ設計（学 習 目 標 詳 細 化 、 構 造 化、系列化）
総括的評価基準設計
学習シナリオが資格試験準拠とい う目標に沿っていたか調査し、充 足性を調査する。
アンケートにて、資格試験のため の授業についての考えを問う。
アンケート
(g)最 終 的 に 行 っ た 試 験 結 果 が 悪 く 、Excel が使えるようになった とは考えにくかった。
設計プロセス全てのア クションアイテム
今年度のテスト項目を調べ、昨年 度と比較しテストの難易度を調べ る。また、そのテストの結果を分 析する。
去年と同試験を実施し、その結果 を比較する。
同一の試験の結果
当該授業における目標達成率
(h)授 業 ぎ り ぎ り に な らないと教材が仕上が らないことや、教材よ り後にテストを作成す ることがあった
プロジェクト計画立案 プロジェクトチーム編 成
プロジェクト基準設計 レビューの実施 最終レビューの実施 実証実験の実施 プロジェクト評価
テスト開発の日時及び実証実験の 結果を元にテスト開発が教材開発 よりも先に行われていたかをチェ ックする。
テスト問題
(3)
評価・考察
問題点が解決されたかどうかを、表 6-19で示したデータを用いて検証する。その後 実際に行った
IDプロセス作業を説明する。このような手順によって、高等教育
IDプ ロセスの妥当性を導出していく。
(a)学習項目が少なかった。
2002
年度は、基礎範囲と応用範囲に分かれている
WBT教材の基礎範囲を用いて 対面授業を行った。当該授業では、事前の
SRLにて同じ
WBT教材の基礎範囲、応 用範囲を全て実施させたうえで、対面授業においては
MOUSに即した実習を中心と した授業を行った。これにより、学習項目の大幅な増加を実現することができた。
具体的な
IDの作業内容は下記のとおりである。
・
・
・
・
・
・
・
・
・
学習目標詳細化にて、定められた目標を
MOUSの具体的内容に定め、その取 得に必要な学習項目を細かく洗い出した
学習目標構造化にて、各授業
1コマ
1コマに教授内容を分割した 学習目標系列化にて、授業の具体的教授順序を明確にした 教材の作成にて上記の項目を加味した教材を作成した
(b)授業全体の目的（ゴール）が明確かつ具体的でなかった。結果的に、授業を実施す
ること自体の効果も明確でなかった。
当該授業の設計において、MOUS 取得という具体的な目標を設定し、その目標を 達成するための学習項目を洗い出した (学習目標詳細化) 。次に、それらを与えられ たコマ内に割り振り、毎回の授業における目標も定めた(学習目標構造化)。
学習者へのアンケートでは「毎回の授業における学習目標（その日学ぶべき内 容）が明確であった」という質問に対し、5 段階尺度（1 が否定的、5 が肯定的）で
4.09という結果を得た。教員へのインタビューで「目標を明確に持って教授を行え たか」という問いに対して、2002 年度授業に比べて改善されたという回答が得られ た。
具体的な
IDの作業内容は下記のとおりである。
学習目標構造化にて
1コマ
1コマの学習目標を明確化した
学習目標詳系列化で「実践的な練習多く取り入れた授業内容が必要」という 分析結果を元に教材へとつながる情報を作った
(c)同一試験に複数の同一スキルを問う問題が出題され、結果的に試験がカバーしてい