演習レーポートの自動評価 考察文のスタイルについて・

九州工業大学研究報告（工学）No．52 1986年3月      63

演習レーポートの自動評価 考察文のスタイルについて・

（昭和60年ll月28日 原稿受付）

情報処理教育七ンター中 山 泰 雄

       矢  鳴  虎  夫

Automatic Grading for Prograrnming Reports

     −−with Style of Discussion Part

       by Yasuo NAKAYAMA       Torao YANARU

Abstr皿ct

   This paper describEs tlle software systenl deve』ped by us to evaluate the goo〔iness of the dis．

cussioll part in each re1〕ort of st1」〔lents， when the discussion is written in Japallese． It is ilτIPortant

   III tlle beginning part of lecture， the studellts ar芒recomnlended not to write lollg sentence， and recomlnended to care how to use commas， periods and new line5． And the sy獣em tests and evalu．

ate5 them from the vlewpoint of readabiljty，岨darstandabilh｝・and goodness of sW［e by tlle、vay of comparison with the standard moclel of discussion， from which 21 factors for measuremen口uch as Iength of paragrap11， length of sentぽ1ce and chuse， number of chinese characters， number of com−

mas， number of periods and so on are extracted．

   The results of m舶sureme1115 are statislically anal｝・zed md expressed by several drawings such as frequency hi5t。grams． And it is certified that this system is very useful for sluclents to imp・o・1e

the expression of discussion more clearly by the repetitioll of use of this s｝・stem．

1．まえがき      2．処理方法

 プログラミング教育での演習では，レボートの適切な   日本語の文章の良さについての，的碇な評価は充分な 評価と学生へのフィードバックが重要である。しかし多  定説も無く，文献も少ない。文系と異なり理H・系とくに 人数教育では採点者の負1苛が大きく，時聞もかかる。こ  二1二学部の学生は．大学での文章作成についての訓純の場 れまでにプログラムについては，スタイルの而での自動  は．皆無といって良かろう．又，入学以1nつま1〕高校で 評価を行い効果をあげた。今回はレポートの考察文につ  の教育においても，充分な作文教育を受けていないこと き基本的な文章スタイルにつき機械化をおこなった。   は．受堕三教育優先の時代で（ちれば、当然と言えよう．

 文章表現としては，主として読みやすさを主眼として   したがって．レボートの作成時に考胃｛文の書き方では．

探点を行なうことし，考察文をコード化したデータを対  基本的なしつけが必要である。：持にプログラム作成では、

象として，評価を試みた。      プログラム作成に無中，あるいは，エラーのデバッグに

0ユ        中山泰雄・矢鳴虎夫

時間不足となる等によ1〕，考察文の記述が疎かになる例  考寝

が多い．郷龍力に乏しい学生も見受けることは，船  ㌔嚇．樋、・掠糊綱軸端1一隅冒乱鞭

      時C巳5恥t＃田し版帆り十お罎工白単イ亡吐酬寝ま1二〔エお品・ポ封

な現象である・      力鞠脚エゴ恥う・5蝉底鮭方厭幽曲憾ガニ

理科系の蝉表現ではユい文章とは・先ず読みやす 』㌔珪己購醜、．酷。．

いことと，分かりやすいことが，その条件にあげられる    7廿η吟4は語吋に吉漏茸報動抑ワ㌣7±牟ヨ・に民4島ヒ1剖n畏守抽

であろう。         抽綱再敏灘』麟史醐噛鞠ぱ・・…

このた蹴予め軸・は漣蹴的な麟を示しでf、＿齢⌒倉埠＿幽工 辿、。．〔

ておく必要がある。以下にその基準を示す。         〜血、．相Lτしヒ払1口戚ヤ芦ウ牢を文⊥て心拡史t〒L坑5，途中〔、

①字数は400字以上であること。      S陀ER舳R㌔出て碑コ臣・Tlヤ功牢占 ⇒にい弔レY＝栖゜現

鋼点はきち酬くこと・    ㌫蕊：IL蹴輌  賊ユ×｝櫛で

③段落は1字あける。

④べた書きをしない。       図一1考察文の例

⑤菖舌し言葉を使わない

⑥誤字に注意する。      0333343144333364444463445

⑦㌶鷺：くと一紙1枚ていどの6㌶i議iiiiii灘ii

郷は腰である・15・字乃至2°°字搬で鯖をつける・

@3334331433333343433334333

1息で読める文の長さとする。適切な句読点が分かi〕や    3332000000000000000000000 すい文となる等である。       0555．553444334444355534433

考額端拠理をす砒め・・は、言†酬のフ・イル 3433233344446434343333334 として存在する必一る．このフ．イルはi…一ク 4433333144344333143366666

ステーションが自由に使用できれば，容易に作成できる・      図一2 コード化ファイルの内容  今回はワークステーションの台数が少なく、同時に多

人数が利用できない為に，コード化を行った。この方法

は，漢字入力瓢の無い場合は・便利妨式である・マ @3．評価方；去

イコンで処理する場合も同様の方法で良い。コードは次

の辮徹す。       評嗣象は・5鰍の1年次2クラスを対象とした゜

。．空白        データフ・イルは・2回の囲ミートカ ら繊をなった・

L ， （謡）      牲のコード化フ・イル・よ・繍処理を行うことによ 2．。 （句点）      り，その傾向をしることが問・る・蹴糖除い剖

、．平仮名       通の文で1…鱈た・〕のi鰺の出現数揃字靴す就 4． 潜         1回目のレポートの統計結果を図3に示す・

5．端名        瀞繊・。％靱力ζ読みやすいと訪れているが・

6．英辮        躰の研究｛蝋・）では1・。・−247が中学生雛・

  塀文の1例を図1廓し．こ糖コード化し端し・52−…縞校生1呈1鱈細の唖である・描生は・

たフ。イ，。餉費図21・示す。なお，コード化・・｛櫟・・5−353とな・〕・i莫字が牌多いとの評価耐されてい

は一行群の嚥用紙に記i主した酬文を，そのままる・こ磁値力・らみるとぷ字の出酬・ついて1ま・か

1行、、字の数字コードの並びとL・挫自身檀分のなり低い状i兄であり・牲の巡使用の能コ」低税

フ。イル酢成する。      はっ釣と示されている・・回目のレポートの纈鰻

       IL全般的な指糖行い，次回の囲・一トでは，漢字率        についても，fl4小値が92から］32と多少の向一ヒがみうけ        られた。

演習レーボートの自動評価考察文のスタイルについて      65

R《TE OF KANJ工     0．一一100． 1＊

  100・一一120● 1   120．一一140． 1‡＊土＊業   140・一一160． エ＊＊ま京＊本   160・一一180． 1＊＊まま

  180・一一200● 工ま＊ま＊オま土＊土＊＊＊＊＊

  200．一一220． 1ま宝＊＊＊牢＊＊＊＊＊＊＊＊

  220・一一240． 1＊＊＊＊案＊＊＊＊ま＊本＊

  240■一一260． 工＊ままま＊ま業末＊

  260．一一280． 工＊土末ま   280■一一300． 工＊来＊＊＊

  300・一一320． 1   320・・一一340． 1＊

  340・一一360． 工

  380■一一400． 1

NUHBER       76．O HEAN       209．8

岡AX      324．8      表一1 採点基準表

HIN        91・6  詩価胴

S・D．      45・2      ^． ．

図＿3 溝字率のヒストグラム      平仮名率

 漢字率が，その文章の読みやすさについての，ひとつ のパラメータであるとすれば．対象とする文章の漢字率 を求めることにより．読みやすさの定量化が行なえる。

これにほ，基準とすべき摸範文が必要であるが，学生に することにより，その項目を無視できる。マイナスの配 参考書として勧めている3冊（文献2，3，・1）から  点とすれば減点項目となる。

夫々2ケ所を選び，データとして調べた。摸範文では，  例えば1つの七ンテンスが，74文字を越える場合は，

平均322．2最大370．9最小287．5であった。        文の簡潔さに乏しいとみなし，減点の要因とする。これ  採点については，データより得られた値を図4の基準  と漢宇の辿続出現率についての項目で，5文字を越える で変換する。計算llliがlo以下及びhi以上では，得点は 場合を減点の要素として，計算するロ

0とする。lotd〜hitol問は，最高点つまり配点そのま  又平仮名が連続して続く場合も，読みづらさの要回と まとする。lo−1mo1， hitd−hi川での得点は，配点と副  なるため．減点とするが．平仮名の］1個以上の連続出現 測仙による比例計算とする。      が，平仮名の出現度度の3％までは無減点とし5％以上  詳価項目の主な項目について．その基準値を表1に示 であれば最大減点としてある。

す。この値は，摸範文とレポートの統計結果を参照して  表1での評価項日で行数については，原縞用紙が25宇 暫定的に定めたものである口大学の初年次でもあ1｝，項  詰めである為，16行で400字となる。21行以上，つまり 目によっては，高校程度の甘い基準もある。      5田宇以上であれば，充分だとみなしてある。

 これらの基準値は，採点者の主担を伴うため，初期設  爪みの値は，合計で100となる。

定で各の値を変更することも可能である。又配点を0と

詩価項日 weight ^lo 1ロ01 11nol hi 漢字牢 10．0

ユ7α0 220．0 270．0 320．0

片仮名率 ^{6．o O．0 O．0 9．0} lLO

平仮名率 10』 40．0 47．o 70．0 75』

行／段落 4』 ^{2．5 3．5 6．0 7．5}

文字／段落 6．0 80．0 ll⑪．o 1・10』 150．0 行数 ^ε』 16．0 21．0

100．0

66      中11」泰雄・矢鳴虎夫

      次の個人得点の例として，2つの出力結果を示す。図

4・評嚇果       7は．考鱈がほとんどべ酷きであり．又微も短、、

 この自動評価ツールの機能としては，個々の学生の考 文であり，採点結果を見ると．全般的に基準に遅してい 察文の採点と．クラス全体の統計のおよび各項目につい  ない。この図では，最初の列が評価項目であり，2列目 ての得点状況と統計結果が得られる。         は測定値である。3列目は．この値により求めた点数を  最初に統計評価の例として，得点の分布を示す。図5 示す。4列目の括弧内のllhは．前節での比例計算の部分 は1回目のレポートの得点分布を示す。図6は，2回目 である。

の得点分布である。これを比較してみると，平均点が］

回目で50点であるが．2回目では58点と向上し．∫i1初の FACTOR  MEASURE   PO工NT  （ 鶉  ）

，嶋下3人の存杣2回目で1ま・蹴下3人，・・点 ； 2。2：1 6二11、、：；；

肝なしとな・〕・⊇上・・ついても・1回目は得点が @i ；；二； 1。：；11。。：1；

存在しなかったが，2回目では3人となり，指導の効果   5     8．0     ．0  （  ・0）

が購に現れている．     1 11：； ：81：田

       8      188・0         ●0   （    ・0 ）

       912・5 ・0（−D）

DエSTRIBU丁工ON°F SCORES       10  18．8   ．0 （ 』）

   0・一一10・h        11    32．0     ．0  （  』）

   10・一一 20■ 1童宝       12        9■0         ．4   （  20■0 ｝    20・一一 30・ 工土コ：土宝ま      13       80．0         ・0   （    ．0 ）

（ 100・0 ）

   40・一一50・工＊口‡‡口＃口本本        15     ．O     ．0  （  』）

   50■一一 60， 1茎‡土コ：工土ヨ【業土ま宝土まま＊土      16         ●0         ・0   （    ・0 ）

   70．一一 80・ 1ま土本土±      18         ，0         ・O   ｛    ・0 ）

   90・一〔100・1       20    2．1    2．3  （ 37・6）

       21      17・1       4．O   ^{（ 100・0 ）} NUHBER       76．O

HEAN        50・2        SC。RE＝24コ

H且X      77．i 肘1N       6．1 S・D．      「i5・5

       図一7 採点例（低得点の例）

     図一5 得点分布（1回目）

      漢字率で説明すると，この文では1000宇当た1〕で202        字の漢宇が使用されている。表1でloが，170， lolol DIST，、BUT、。，。， S、。RES   カ・…であるから・比例1糟・を行うと6・・3％となる・評    0．一一10．工       価の重みが10−0であるから，この項目での得点は6．4と

  10．一一 2［〕． 工

  20．一一 30． 1牢      なる0

  3D・一一40・1宝宝        評価の良好な例を図8に示す。この文は，大半刎i目

  40−・一一 50． 1木牢‡牢事宴富x

  50．＿＿60．工寛＃蠕ま口土⇔＃‡    が基ilヒ内にあり，］00％の得点を得ている。欠点として   ；8二：：；1：il：㌫     1よ一センテンス搬すぎることである・写i肌18は   80．一一90．1本口      減点項目であるため，得点0は好ましいこととなる白

  9°・一一1°°・工     尚相の評晴、ま，項肚しては取1〕上げなかったが

㍑1 R    ；；：1 文中の数式表現も検出も可能である・こ緒ln足すると・

MAX       87．8    まず空白率，つまり段落と文末以外の空白の刮合を調べ

lil．    ！；：； るユに記号靴して数・子と譜の占める螂1べる・

      このf直がある基悲を越え．記号が辿続するならば．内

   図＿6得点分布（徊副    容として数｝巳して説明を加えているものとみなせる・

演習レーポートの自動評価考察文のスタイルについて      67

FACTOR   卜1E《SURE     POINT   （   駕   ）

  1    21．1    10．0  （100．0）  5．むすび

  3    10・4     1・8  （ 30・5）  このツールは．コード化したデータを対象とした坑   4     54．1     10．0  （ 100』 ）

  5     4．2     4．0  （100．0） これだけでも可成りの処理が行なえる。直接に漢字入力

1 ；；：； 8：8㌔。。：田のほう1まうをと砿より継の処理が刑Eとなる・

  8    462』     12．0  （100．0）  例えば，文章の内容表現で不適当な2重否定分の検出

11 5i：； i：8昌8；：田や，生じやすい誤物指欄も容易となる．考察文とし

 11    81・0     3・0  （100・0） ては，レポートのテーマに閏連した，特定のキーワード

 12      26・0       2・0   （ 100・0 ）

 13    11．1     ．7  （ 22．2） の出現状況も、充分に把握出来ることとなり，その効果  14    22・2     2・0  （100・0） は大きくなるであろう。

 15      55．6       5．0   （ 100．0 ）

 16    11．1    −1、2  （ 30．6）  今後は，項目別に採点結果と，それに伴う指導内容の

；； 62：1  ：；i：8；表示が行なえる離を追加L学生の自己壽平価のツー・

 19     2・2      ・0  （  ．0） として公開する予定である。

 20      11．9       5．2   （  87．3 ）

 21    14．9     4．0  （100．0）  探点プログラムの作成について1ま，60年度本学情報工       学科4年生園部毅君の助力を得た。

        SCORE ＝ 81・5

図一8採点例（高得点の例）         参考文献

       1）安本美典「説i！｝の文∫苦控術」

これは，一鞠蜘ポートに適用す蹴には流分1；i：；難1霊蕊㌫1㍗

に役立つものとなろう。      桐電子通田学会「学｛rf砲文の11｝き方・発表の仕方」

      5）宮川松男「技術者のための文章作法」

      6〕中山他「PASCAL油習プロダラムの採点自動化」信学技        報VoL8J No．・14

      ？）中山他「満習プログラム露点ツールFORTRANについ        て」il 」柑処理学会第3田亘1全国大±識演温文薬