研究報告用MS-Wordテンプレートファイル

(1)

MS-Office 操作スキルを測定する

コンピュータ適応型テストの開発と評価

高木正則

†1

_{瀬戸山光宏}

†2 概要：本研究では MS-Office（Word，Excel，PowerPoint）の操作スキルを短時間かつ高精度に測定することを目的としたコンピュータ適応型テストを開発した．また，2018 年度と 2019 年度の 4 月～5 月にかけて 5 つの大学の 1 年生約4000 人に開発したテストを利用してもらい，MS-Office 操作スキルを調査した．MS-Office 操作スキルの調査の結

果，Excel は Word，PowerPoint に比べて能力差が大きいことや，PC 操作に苦手意識を持っている学生ほど MS-Office 操作スキルが低い傾向にあることが示唆された．また，受検者の能力値の初期値やテストの終了条件を改善したことで，テストへの解答時間を短縮することができた．

キーワード：MS-Office 操作スキル，コンピュータ・リテラシ，コンピュータ適応型テスト

Development and Evaluation of an Computerized Adaptive Testing

for Measuring the MS-Office Operating Skills

MASANORI TAKAGI

†1

_{MITSUHIRO SETOYAMA}

†2

Keywords: MS-Office Operating Skill, Computer Literacy, Computerized Adaptive Testing

1. はじめに

近年，スマートフォンの急速な普及により，児童・生徒のスマートフォンの保有率が向上している．平成 30 年度の調査では，高校生の約97%がスマートフォンを所有していることが報告されている[1]．それに伴い，若者の PC 離れが進み，PC の利用スキルの低下が懸念されている．しかし，PC の利用スキル，特に，Word，Excel，PowerPoint の MS-Office の操作スキルがどの程度変化しているのかは明らかになっていない．著者の一人が行った先行研究では， 2017 年度に Word，Excel，PowerPoint の操作スキルを評価する問題を各5 問，合計 15 問をランダムに出題し，制限時間 10 分で解答するテストを開発した．このテストは大学生1064 名が解答したが，最後の問題まで解答したのは 432 名（テスト完了率40.6%）で，この 432 名の平均正答数は 1.6 問（平均正答率 11.7%）であった．これはスキルを診断するために適切な難易度の問題が出題されていなかったことが原因として考えられる．そこで，本研究ではMS-Office の操作スキルを短時間かつ高精度に測定することを目的としたコンピュータ適応型テスト（以下，CAT）を開発した．CAT とは，「テストへのそれまでの回答履歴を用いて逐次，受検者の能力を推定しながら，その能力に最も適した質問項目をアイテム・バンクより抽出しながら出題する」[2]テストである．CAT によ †1 岩手県立大学

Iwate Prefectural University

り，難しすぎる問題や易しすぎる問題が出題されることを防ぐことができ，受検者の能力を短時間で高精度に推定できることが期待できる．また，CAT 開発の際には，項目応答理論[2]～[4]（以下，IRT）を用いた．IRT を用いることにより，異なる問題で構成されたテスト結果を同一尺度上で比較することができ，経年変化の分析への活用も期待できる．本稿では，IRT による項目分析に基づいたアイテム・バンクの構築や，開発したCAT の概要，2018 年度と 2019 年度に実施したCAT を利用した MS-Office 操作スキルの調査結果について述べる．

2. CAT の設計と開発

2.1 出題する問題と問題解答機能 本研究では，PC の操作スキルを向上するための自学自習型e ラーニングサービスである「ナレロー」[5]で使われている問題と，問題解答機能を利用する．「ナレロー」は 2002 年からサービスを開始し，全国の大学生協で販売されるノート PC にプリインストールされている．そのため，利用者のほとんどは大学生であり，毎年6 万人以上が利用している．「ナレロー」では学習モードと試験モードがある．図1 にナレローの学習モードの問題解答画面を示す．画面下側に問題文が表示され，問題文に指示された内容を画面中央部のMS-Office 上で実際に操作する．判定ボタンを選択すると操作した内容が自動的に診断され，問題文に指 †2 (株)ナレロー Narero Corporation

(2)

図 1 「ナレロー」の問題解答画面示された内容を正しく操作した場合，正解となる．そのため，「ナレロー」ではMS-Office に関する知識が問われるのではなく，指示された内容を実際に操作できるかどうかを評価している点に特徴がある．操作方法が分からない場合は解説ボタンを選択することで，操作方法のデモを閲覧できる．提供されている科目には Windows7，Windows8.1， Windows10，Word，Excel，PowerPoint 等があり，全部で 403 問の問題が登録されている． 2.2 アイテム・バンクの構築 CAT を実装するために，事前に「ナレロー」の各問題の項目パラメータを推定した．本研究では，IRT の 2 パラメータ・ロジスティックモデルを用いてCAT を実現した．パラメータの推定には「ナレロー」のWord，Excel，PowerPoint の問題への解答履歴データを活用した．なお，ナレローでは操作結果の正誤の判断は，操作後の最後の状態が問題文に書かれている指示と同じであれば「正解」，異なれば「不正解」と判定され，解答履歴データは「正解」と「不正解」の2 値となる．分析に活用したデータ数を表1 に示す．解答履歴データは，大学の授業で「ナレロー」を活用し，教員によって学習が管理されていた学習時のデータのみを活用した．また，解答履歴データには試験モードで解答されたデータに加え，学習モードで解答されたデータも含めた．ただ，学習モードでは，各問題の解説を閲覧できてしまい，何度も繰り返し解答することができてしまうため，学習モードでのデータは，ある問題に対する解説閲覧数が0 かつ誤答数が 0 で正答数が1 以上の場合に正答したデータとして扱い，解説閲覧数が1 回以上または誤答数が 1 回以上の問題はすべて誤答として扱った．項目パラメータの推定の結果，識別力パラメータは 336 問中315 問（93.7%）で 0.4 を超え，220 問（65.5%）で 0.8 を超え，全体的に識別力の高い問題であったことが分かった．表2 に識別度と難易度が高い問題の一例を示す．本研究では識別力パラメータが0.4 以下の問題と難易度パラメ表 1 項目分析に活用したデータ数と分析結果解答者問題アイテム・バンクから除外した問題 Word 2159 人 112 問 10 問 Excel 2008 人 115 問 8 問 PowerPoint 1678 人 109 問 8 問表 2 識別度と難易度の高い問題の一例問題の概要識別度難易度 Word テキストボックスの挿入と文字列の配置 1.87 1.87 Excel ある特定の場所でのウィンドウ枠の固定 2.71 1.39 PowerPoint アニメーションの一括設定 2.03 1.95 図 2 開発した CAT の概要ータが－6.0 未満の問題（極端に易しい問題）を除外してアイテム・バンクを構築した．アイテム・バンクから除外した問題数は表1 に示した通りである． 2.3 CAT の開発 本研究で開発したCAT の概要図を図 2 に示す．本研究では参考文献[2][6]を参考にして CAT を実装した．テストを起動すると，本人属性，日常のICT 機器活用，高校時代の教科「情報」の履修状況に関するアンケートが表示され，このアンケートに解答後，問題が出題される．学習者にフィードバックするテスト結果は，IRT によって推定された能力パラメータθに100 を掛けて 500 を足した値を5 点刻みで切り上げた値とし，この値とこの値の全国順位，大学内順位を各学生にフィードバックしている．また，学生は各ランキングの上位を閲覧できる．インターネットアイテムバンク解答履歴DB 項目抽出機能解答結果_登録機能項目選択機能問題出題/解答機能項目パラメータダウンロード機能クライアントサイドサーバサイド能力値推定機能フィードバック機能解答結果アップロード機能 ①テスト開始項目パラメータ問題問題問題ID 解答結果自動採点機能

(3)

3. CAT を利用したテストの実施

3.1 テストの概要 2018 年度と 2019 年度に全国の大学 1 年生を対象として， CAT を利用した MS-Office 操作スキルの調査を実施した．調査の結果，収集されたデータには途中で中断した結果や同じ学生が複数解答したデータが含まれていた．また今回の調査では多くの学生が授業外の時間を利用してテストを実施しているため，すべての問題を閲覧しただけで解答していない学生のデータも含まれていた．そのため，途中で解答を中断した結果や，同じ学生が2 回目以降に解答した結果，さらに，10 分未満でテストを解き終えた結果を，調査対象のデータから除外し，これ以外のデータを本研究の調査対象とした．本研究の調査対象としたデータ数を表 3 に示す．表 3 調査対象としたデータ数 2018 年度 2019 年度 Word 2264 人 2293 人 Excel 1932 人 1655 人 PowerPoint 1913 人 1670 人 3.2 2018 年度のテスト結果 テストの結果はIRT で推定された能力パラメータθに 10 を掛けて50 を足した値を算出して分析した．2018 年度に実施した Word，Excel，PowerPoint のテスト結果の度数折れ線グラフを図3 に，各テスト結果の統計値を表 4 に示す．図3 から，Word は 50 周辺に多くの学生が集中していることが確認できる．また，Excel は Word，PowerPoint に比べて標準偏差が大きく，各学生の能力差が大きいことが確認できる．PowerPoint は 50 から 60 周辺に多くの学生が存在していた． 3.3 2019 年度のテスト結果 2019 年度に実施した Word，Excel，PowerPoint のテスト結果の度数折れ線グラフを図4 に，各テストの統計値を表 5 に示す．2019 年度の結果も 2018 年度同様，Word は 50 周辺に多くの学生が集中し，Excel の標準偏差が Word， PowerPoint よりも大きいことが確認できた．

4. CAT の評価

4.1 CAT の仕様 2019 年度に実施した調査では，2018 年度の調査結果を踏まえ，試験時間の短縮を目指してCAT の出題アルゴリズムやテストの終了条件等を変更した．2018 年度と 2019 年度のCAT の仕様を表 6 に示す． 2018 年度は CAT の初めての利用であったため，できる限り多くの受検者に全問題を解答してもらうように制限時間を設定することにした．過去の解答データから各問題の平均解答時間を分析した結果，ほとんどの問題は1 問あた図 3 2018 年度テスト結果の度数折れ線グラフ図 4 2019 年度テスト結果の度数折れ線グラフ表 4 2018 年度テスト結果（能力値）の統計値最低最高中央値平均標準偏差 Word 16.3 75.5 50.8 51.0 6.8 Excel 14.1 72.2 48.9 47.8 9.7 PowerPoint 13.1 74.7 53.7 52.7 7.9 表 5 2019 年度テスト結果（能力値）の統計値最低最高中央値平均標準偏差 Word 17.5 84.1 50.3 50.5 7.4 Excel 14.1 72.3 48.4 47.3 9.8 PowerPoint 13.1 75.7 53.7 52.3 8.4 0 100 200 300 400 500 600 700 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 人数（人）能力値 Word Excel PowerPoint 0 100 200 300 400 500 600 700 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 人数（人）能力値 Word Excel PowerPoint

(4)

表6 CAT の仕様 2018 年度 2019 年度問題数 20 問 20 問制限時間 40 分 30 分 1 問目に出題する問題難易度パラメータが 0 に近い問題（全受検者同じ問題）．  過去の解答データがある場合，最後に受検した試験の能力値を継承して開始時点の能力値を設定し，その能力値に適した問題を出題．  過去の解答データがなく，PC 操作の苦手意識に関するアンケートへの回答結果がある場合，苦手意識に応じて開始時点の能力値を設定し，その能力値に適した問題を出題．  過去の解答データと PC 操作の苦手意識に関するアンケートへの回答結果がない場合，難易度パラメータが 0 に近い問題を出題． 2 回目以降テストを受ける場合  1問目に出題される問題は同じ．  過去に出題された問題も出題する．最後に解答したテストに出題された問題は出題しない．テストの終了条件  問題数  制限時間  問題数  制限時間  一つ前の問題解答後の能力値との差分（0.03 未満）り約2 分程度で解答できることが分かったため，2018 年度はテスト問題20 問に対する制限時間を 40 分と設定した．一方，2018 年度に CAT を利用した大学の教員からは， 90 分授業の時間内に 3 つの試験を実施できるように試験時間の短縮に対する要望が得られた．そこで，2019 年度は 1 問目の問題から，受検者に適した問題を動的に出題できるようにするように表6 の「1 問目に出題する問題」に示した仕様に変更し，制限時間を30 分に短縮した．PC 操作の苦手意識に応じた能力値は，2018 年度の PC 操作の苦手意図 5 PC 操作の苦手意識と能力値（Word）図 6 PC 操作の苦手意識と能力値（Excel）図 7 PC 操作の苦手意識と能力値（PowerPoint）表7 PC 操作の苦手意識と能力値の初期値得意少し得意普通少し苦手苦手わからない答えたくない Word 0.63 0.56 0.28 0.07 -0.11 0.00 0.00 Excel 0.21 0.29 0.01 -0.19 -0.53 0.00 0.00 PowerPoint 0.55 0.64 0.49 0.18 0.07 0.00 0.00 識と能力値の分析結果（図5～7）に基づいて，表 7 のように設定した．得意 _得意少し普通 _苦手少し苦手わからない答えたくない人数 44 127 655 538 792 61 43 能力値の平均 56.3 55.6 52.8 50.7 48.9 49.7 50.3 44 127 655 538 792 61 ₄₃ 56.3 55.6 52.8 50.7 48.9 49.7 50.3 44 46 48 50 52 54 56 58 0 100 200 300 400 500 600 700 800 900 能力値の平均人数（人）人数能力値の平均得意 _得意少し普通 _苦手少し苦手わからない答えたくない人数 37 106 571 461 674 50 36 能力値の平均 52.1 52.9 50.1 48.1 44.7 47.1 45.7 37 106 571 461 674 50 ₃₆ 52.1 52.9 50.1 48.1 44.7 47.1 45.7 40 42 44 46 48 50 52 54 0 100 200 300 400 500 600 700 800 能力値の平均人数（人）人数能力値の平均得意 _得意少し普通 _苦手少し苦手わからない答えたくない人数 37 108 576 457 651 50 34 能力値の平均 55.5 56.4 54.9 51.8 50.7 51.1 53.2 37 108 576 457 651 50 ₃₄ 55.5 56.4 54.9 51.8 50.7 51.1 53.2 47 48 49 50 51 52 53 54 55 56 57 0 100 200 300 400 500 600 700 能力値の平均人数（人）人数能力値の平均

(5)

また，テストの終了条件として，新たに能力値パラメータの収束状況を考慮することにし，一つ前の問題解答後に推定された能力値と最後の問題解答後に推定された能力値との差分が閾値未満になった場合，テストを終了するようにした．この閾値を決定するために 2018 年度に実施した調査結果のデータに基づいてシミュレーションをした結果，閾値を0.02 にした場合，解答時間が短くなる受検者がほとんど存在せず，0.04 にした場合，20 問解いた後の能力値（推定された能力パラメータθに10 を掛けて 50 を足した値）と閾値が0.04 になった時点の能力値の差分が 1～2 程度になった．0.03 の場合，この差分がほとんどなく，3 つの試験で約600 人の受検者の解答時間が短くなることから，閾値を0.03 未満に決定した．その他，能力パラメータの推定精度を下げないよう，テストを複数回受検する場合，直前に受検した問題を出題しないように変更した． 4.2 テスト解答時間の比較 2018 年度と 2019 年度のテスト解答時間の平均を表 8 に示す．表8 から 2019 年度のテスト解答時間が短縮されたことが確認できる．また，試験時間の短縮と終了条件の変更の関係性を分析するために，表6 に示したテストの終了条件のうち，どの条件によってテストが終了されていたのかを分析し，テスト終了条件ごとの割合を分析した．分析結果を表9～11 に示す．表 9～11 の「問題数」から，制限時間を40 分から 30 分に短縮した 2019 年度は 2018 年度に比べ，制限時間内で 20 問すべての問題に解答できた受検者の割合が低下していたことが確認された．また，制限時間内ですべての問題に解答できなかった受検者の割合（表 9～11 の「制限時間」）が増加した．最大 20 問出題されるテスト問題のうち，何問解答していたのかを分析した結果を表12 に示す．表 12 から 2019 年度のテストに解答した受検者は 2018 年度に解答した受検者よりも， 1 回あたりのテストで解答した問題数が平均約 1.5 問程度少なかったことが確認された． 2019 年度の CAT の制限時間である 30 分以内に全問題（20 問）を解答し終わった受検者の割合を 2018 年度と 2019 年度で比較した結果を表 13 に示す．表 13 から，Excel を除いて，2019 年度は 30 分以内に 20 問を解答し終わった受検者の割合が増加していたことが確認できた．この結果から，2019 年度に CAT の仕様を変更したことで，Word と PowerPoint の試験時間を短縮できたことを示唆できる． 4.3 能力値の初期値に設定された値の分析 2019 年度の CAT では，表 6 に示した通り，受検者の能力値の初期値を変更し，1 問目に出題する問題から適応的に問題を出題するようにした．2019 年度の CAT で能力値の初期値に設定された値の割合を分析した結果を表 14 に示す．表 14 から 90%以上の受検者の能力値の初期値が， PC 操作の苦手意識によって設定され，95%以上の受検者の表8 テスト解答時間の平均 2018 年度 2019 年度 Word 29 分 46 秒 24 分 47 秒 Excel 27 分 40 秒 23 分 20 秒 PowerPoint 26 分 09 秒 23 分 03 秒表9 テスト終了条件ごとの割合（Word）終了条件 2018 年度（%） 2019 年度（%）問題数 75.8 52.6 制限時間 24.2 40.0 能力値の差分 ---- 7.4 表10 テスト終了条件ごとの割合（Excel）終了条件 2018 年度（%） 2019 年度（%）問題数 78.2 50.9 制限時間 21.8 34.5 能力値の差分 ---- 14.6 表11 テスト終了条件ごとの割合（PowerPoint）終了条件 2018 年度（%） 2019 年度（%）問題数 86.0 62.6 制限時間 14.0 29.1 能力値の収束 ---- 8,3 表12 テスト 1 回あたりに解答した問題数の平均 2018 年度 2019 年度 Word 18.8 17.4 Excel 18.8 17.3 PowerPoint 19.4 18.1 表13 30 分以内に全問題（20 問）を解答し終わった受検者の割合 2018 年度(%) 2019 年度(%) Word 46.4 56.3 Excel 55.6 54.9 PowerPoint 62.8 67.4 表14 能力値の初期値に設定された値の割合

Word (%) Excel (%) PowerPoint (%)

直前の能力値 1.5 0.6 0.5 苦手意識に応じた値 93.7 96.1 96.5 平均値（能力パラメータ0） 4.9 3.2 3.0 能力値が 2018 年度まで初期値として固定していた能力パラメータ0 ではない値に設定されていた．以上より，1 問目から適応的な問題を出題することによって，制限時間が

(6)

表15 能力値の初期値と推定された能力値の差分 2018 年度 2019 年度 Word 1.0 0.5 Excel 2.2 0.6 PowerPoint 2.7 0.2 40 分から 30 分に短縮されても，テスト 1 回あたりの問題解答数を平均約1.5 問程度の減少だけにすることができ，試験時間の短縮に結びついたと考えられる． 4.4 能力値の初期値と推定された能力値の差分 1 問目出題時に設定した能力値の初期値の妥当性を評価するために，各受検者に設定された能力値の初期値と最終的な能力値との差分を分析した．分析結果を表15 に示す．表15 の結果から，2018 年度より 2019 年度のほうがテスト終了後に推定された能力値と初期値の能力値の差分が小さく，2019 年度に設定した能力値の初期値が，全受験生に同じ初期値を設定する場合よりも，受検者に適した能力値の初期値を設定できていたことが推察できる． 4.5 能力推定の標準誤差の比較 項目反応理論における能力推定の標準誤差は，フィッシャー情報量の逆数に漸近的に一致することが知られており，測定精度を表す指標としてフィッシャー情報量が一般的に用いられている[7][8]．また，受検者に出題したテストに含まれる項目群のフィッシャー情報量の総和をテスト情報量と呼び，テストの測定精度を表す．表16～18 に Word，Excel，PowerPoint の各テストにおける2018 年度と 2019 年度のテスト情報量を示す．表 16～18 の結果から，3 つのテストともに，2019 年度のテスト情報量が 2018 年度よりも 0.5～1.1 減少していることが確認できる．これは制限時間を短縮したことにより，テスト1 回あたりに解答した問題数が減少（表12）したことが影響していると考えられる．

5. おわりに

本研究ではMS-Office の操作スキルを短時間かつ高精度に測定することを目的としたコンピュータ適応型テスト（CAT）を開発した．また，2018 年度と 2019 年度に全国の大学1 年生（合計約 4,000 人）を対象として，CAT を利用したMS-Office 操作スキルの調査を実施し，テスト解答時間を分析した．その結果，テストの1 問目に出題する問題から，受検者の PC 操作の苦手意識などを考慮して動的に出題させたり，能力パラメータの収束状況からテストを終了する条件を追加したりすることによって，テストの解答時間を短縮できたことが示された．今後は，テストの解答時間をさらに短縮するために，CAT を以下のように改善することを検討している．  各問題の過去の平均解答時間から，各問題に解答の制限時間を設ける．表16 テスト情報量の統計量(Word) 2018 年度 2019 年度最低 0.0 0.0 最高 11.3 11.3 中央値 7.2 6.7 平均値 7.3 6.8 標準偏差 1.5 1.6 表17 テスト情報量の統計量(Excel) 2018 年度 2019 年度最低 0.0 0.0 最高 17.1 16.8 中央値 10.5 9.8 平均値 10.7 9.6 標準偏差 2.2 2.5 表18 テスト情報量の統計量(PowerPoint) 2018 年度 2019 年度最低 0.7 0.0 最高 14.9 15.0 中央値 9.5 8.9 平均値 10.0 9.2 標準偏差 1.9 2.0  平均解答時間が短く，識別力パラメータの高い問題の傾向を分析し，新規問題を作成する．これらの改善をすることで，最終的には20 問を 20 分で解答できるようなCAT の開発を目指す．

参考文献

[1] 内閣府：青少年のインターネット利用環境実態調査， http://www8.cao.go.jp/youth/youth-harm/chousa/net-jittai_list.html （2019 年 5 月 29 日参照） [2] 植野真臣，永岡慶三：e テスティング，培風館，東京，2009 [3] 豊田秀樹：項目反応理論[入門編]－テストの測定と科学，朝倉書店，2002. [4] 豊田秀樹：項目反応理論[理論編]－テストの数理，朝倉書店，2005. [5] ナレロー： http://www.narero.com/personal/try_narero/try_narero.html（2019 年5 月 29 日参照） [6] 宮澤芳光，植野真臣：適応型テストを用いた携帯型観光・学習ナビゲーションシステム，教育システム情報学会誌， Vol.29，No.2，pp.110-123，2012 [7] 宮澤芳光，宇都雅輝，石井隆稔，植野真臣：測定精度の偏り軽減のための等質適応型テストの提案，電子情報通信学会論文誌D，Vol.J101-D，No.6，pp.909-920，2018

[8] F.M. Lord, Applications of Item Response Theory to Practical Testing Problems, Lawrence Erlbaum Associates, 1980.