RQ2-a: ソ ースコ ード 修正提出回数の分布

本項では， ソ ースコ ード 修正量を 提出回数の観点から 調査を 行っ た結果を 示す． 3.3で説 明し た通り ， 修正提出と は正答ま でに要し た再提出の回数である ． RQ2で議論する ソ ース コ ード 修正量と は， 修正提出回数と 一提出当たり の修正量の積である ． つま り ， 修正提出回 数が大き いと いう こ と は修正量が大き いこ と に繋がる ため， 本項について の調査を 行っ た．

説明にあたっ て 用語の定義を 行う ． 標準化の計算方法は4.3.1と 同様である ため省略する ． U_p :=問題pへ提出を 行っ た参加者の集合

su,p :=参加者u， 問題pにおけ る 修正提出回数

表8: 調査対象メ ト リ ク ス

メ ト リ ク ス 説明

avg complexity 各関数の循環的複雑度の平均値

max complexity 各関数の循環的複雑度の最大値

avg depth 各関数のネ スト 深さ の平均値

max depth 各関数のネ スト 深さ の最大値

methods per class ク ラ ス当たり のメ ソ ッ ド 数

n classes ク ラ ス数

n func 関数の数

n lines 物理行数

n statements セミ コ ロ ン で区切ら れた論理行数

percent branch statements 全体の論理行数に占める 分岐文(if, else, for, while, goto, break, continue, switch, case, default, returnを 用いた文)の割合

percent comments 全体の物理行数に占める コ メ ン ト の割合

表9: 上級者において 値が大き いメ ト リ ク ス

c M_c,low^′ M_c,high^′ 初級者分散 上級者分散 p値 Cohen’s d

n statements -0.139 0.108 0.894 1.078 0.000e+00 0.245

n func -0.105 0.089 0.843 1.118 0.000e+00 0.191

n lines -0.065 0.043 0.931 1.022 3.037e-220 0.109

methods per class

-0.045 0.035 0.567 1.134 1.660e-165 0.084

n classes -0.044 0.023 0.768 1.086 8.370e-98 0.069

s^′_u,p :=su,pを 各問題について 平均0， 標準偏差1と な る よ う 標準化し たも の

S_a,low^′ :=s^′_u,pのう ち ， uが初級者に属し ， pが正答率グループaに属する 集合

S_a,high^′ :=s^′_u,pのう ち ， uが上級者に属し ， pが正答率グループaに属する 集合

修正量に関し ては特に問題の正答率によ る 影響が大き いと 考えら れる ため， 問題を 正答率グ

ધᔖᖲ ॎᔖᖲ ق

ᄫሿ૯መ࢛ᩡ෇

QBVWDWHPHQWV

ધᔖᖲ ॎᔖᖲ ق

ᄫሿ૯መ࢛ᩡ෇

QBIXQF

ધᔖᖲ ॎᔖᖲ ق

ᄫሿ૯መ࢛ᩡ෇

QBOLQHV

ધᔖᖲ ॎᔖᖲ ق

ᄫሿ૯መ࢛ᩡ෇

PHWKRGVBSHUBFODVV

ધᔖᖲ ॎᔖᖲ ق

ق

ᄫሿ૯መ࢛ᩡ෇

QBFODVVHV

図8: SourceMonitor計測メ ト リ ク スの2群間比較の箱ひげ図(M_c,low^′ < M_c,high^′ )

表10: 初級者において 値が大き いメ ト リ ク ス

c M_c,low^′ M_c,high^′ 初級者分散 上級者分散 p値 Cohen’s d

avg depth 0.246 -0.202 1.034 0.944 0.000e+00 -0.457

percent branch statements

0.195 -0.154 0.993 0.995 0.000e+00 -0.351

avg complexity 0.162 -0.137 1.073 0.926 0.000e+00 -0.303 max complexity 0.113 -0.100 1.060 0.953 0.000e+00 -0.214

max depth 0.096 -0.081 1.028 0.971 0.000e+00 -0.179

percent comments 0.022 -0.035 1.031 0.916 8.580e-61 -0.059

ループ(3.3参照)で分割し て 比較を 行っ た． 調査の流れは4.3.1と 同様である ため省略する ． 各aごと に， S_a,low^′ ， S_a,high^′ の2群についてt検定の実施と Cohen’s dの算出を 行っ た． 結 果を 表11に示す． t検定の結果， すべて の正答率グループで有意差がある こ と が示さ れた．

ધᔖᖲ ॎᔖᖲ ق

ᄫሿ૯መ࢛ᩡ෇

DYJBGHSWK

ધᔖᖲ ॎᔖᖲ ق

ᄫሿ૯መ࢛ᩡ෇

SHUFHQWBEUDQFKBVWDWHPHQWV

ધᔖᖲ ॎᔖᖲ ق

ᄫሿ૯መ࢛ᩡ෇

DYJBFRPSOH[LW\

ધᔖᖲ ॎᔖᖲ ق

ᄫሿ૯መ࢛ᩡ෇

PD[BFRPSOH[LW\

ધᔖᖲ ॎᔖᖲ ق

ᄫሿ૯መ࢛ᩡ෇

PD[BGHSWK

ધᔖᖲ ॎᔖᖲ ق

ᄫሿ૯መ࢛ᩡ෇

SHUFHQWBFRPPHQWV

図9: SourceMonitor計測メ ト リ ク スの2群間比較の箱ひげ図(M_c,low^′ > M_c,high^′ )

ま た， Cohen’s dの算出によ り ， 上級者ほど 修正提出回数が減少する 傾向が確認さ れた． 図 10は， S^′_0.4,lowと S_0.4,high^′ の分布を 箱ひげ図にプロ ッ ト し たも のである ． 実際に上級者の修 正提出回数が減少し て いる こ と が確認でき た．