二手問題の推定モデルと選別された問題

5.1.2節で集めた50問の二手詰めの問題に対する初心者15人の平均評価値を

基に，面白さ⁵，難しさ推定モデル⁶を生成し,10-Folds交差検証で性能を検証した．

面白さ推定モデルの精度は，SMAPEが8.741%，MAEが5段階評価で0.261で あった．またこのとき，MAEはおおよそ±0.4の範囲内で，一手問題の面白さ推 定モデル（MAE=0.401）よりも精度が高くなった．また，難しさ推定モデルにつ いてはSMAPEが14.77%，MAEが0.345とこちらも一手問題の面白さ推定モデル

(MAE=0.400)よりも高い精度となった．

面白さと難しさについて，1人の評価値とそれ以外の14人の平均評価値から MAEを求めることを15人分行い，それらの平均・最良・最悪を調べた結果を表 5.2に示す．面白さについて，平均MAEは0.898と推定モデルのMAEよりも3倍 以上大きくなり，最良MAEの場合でも0.529であることから推定モデルの方が優 れていることが言える．難しさについて，最良MAEが0.482と推定モデルの精度 と近い評価をつけるプレイヤの存在が確認できたが，精度は推定モデルの方が優 れている上，このプレイヤから評価値を集めることはやはりコストがかかるため，

本推定モデルは有用であると言える．

表 5.2: 1人の評価値と14人の平均評価値のMAE 面白さ 難しさ 推定モデル 0.261 0.345

平均 0.898 0.807

最良 0.529 0.482

最悪 1.368 1.175

5ハイパーパラメータ;learning rate:0.125，n estimeters: 1000，boosting type:gbdt，objec-tive:regression，metric:rmse，sub feature:0.8，num leaves:3，min data:3，min hessian:1， verbose:-1

6ハ イ パ ー パ ラ メ ー タ;learning rate:0.15，n estimeters: 1000，boosting type:gbdt，ob-jective:regression，metric:rmse，sub feature:0.68，num leaves:12，min data:3，min hessian:1，

横軸：テストデータ推定値，縦軸：15人の平均値でプロットした結果を図5.12 に示す．このグラフに示している青線はプロットの回帰直線ではなく，相関を見 やすくするためのy = x直線である．二手問題でも一手問題と同様に，推定値が 高いものは実測値も高く低いものは低く推定できている傾向が見られる.

生成した面白さ推定モデルに大きく寄与している特徴量は図5.8とほとんど同様 の傾向であった．しかし中には「ベースの地形の下にある着手ブロック数」であっ たり，「一手目と二手目のブロックが接している辺数」といった二手問題ならでは の特徴量も寄与していることがわかった．

(a) ^{面白さ推定モデル}(^青線はy=x) (b)^{難しさ推定モデル}(^青線はy =x)

図 5.12: 二手問題の推定モデルの性能 (a) 面白さ (b) 難しさ

面白さモデルの推定値が高かった問題を図5.13⁷に示す．図5.13(a)の問題は，一 手目のLテトロミノを置く場所が非常に見つけづらい問題である．しかしながら 解答を見つけられたとき，その配置の意外性から面白さを感じられる問題である．

図5.13(b)の問題は，少なくとも平積みを行っていく上では絶対に行わない置き方

をするため，初心者プレイヤは一筋縄では解答を見つけられない．したがって，こ の問題が解けた初心者プレイヤは難しいパズルが解けた時のような面白みを感じ られるだろう．

(a) (b)

図 5.13: 面白さの推定値が高い二手問題の例

面白さモデルの推定値が低かった問題を図5.14に示す．二手問題の面白さ推定 値が低い問題に関しても，図5.11で示した一手問題で面白さ推定値が低い問題と 似た傾向を持っている．図5.14(a)の問題は既にT-spinの形がほとんど完成して いて面白みがなく，図5.14(b)の問題の一手目は「普通はそこに置くだろう」とい う配置が正解になっていて面白くない．

(a) (b)

図 5.14: 面白さの推定値が低い二手問題の例

以上より，一手問題に続いて，二手問題でも面白い問題の選別をある程度実現 することができた．