競輪新規ユーザのための車券購買支援コンテンツの自動生成

競輪新規ユーザのための車券購買支援コンテンツの自動生成

Automatic Content Generation for Purchasing Support of Bicycle

Tickets

吉田 拓海

1∗

横山 想一郎

2

山下 倫央

2

川村 秀憲

2

Takumi Yoshida

1

Soichiro Yokoyama

2

Tomohisa Yamashita

2

Hidenori Kawamura

2

1

_{北海道大学大学院情報科学研究科}

1

_{Graduate School of Information Science and Technology, Hokkaido University}

2

_{北海道大学大学院情報科学研究院}

2

_{Faculty of Information Science and Technology, Hokkaido University}

Abstract: In recent years, prediction by machine learning has been researched in various fields. However, for decision support, it is not enough to present prediction results, and it is necessary to explain predictions. In this paper, we deal with the generation of prediction articles of bicycle races because there is a high demand for contents that supports beginners. The burden of manually generating content for each race is large because bicycle races are frequently held. In order to solve this problem, we propose an automatic content generation to support beginners purchase tickets. The system is equipped with a prediction function of race results by machine learning and a generation function of prediction articles explaining the predictions. As a result of our questionnaire, it is confirmed that the generated prediction articles are useful to support beginners.

1

はじめに

近年，機械学習による予測が様々な分野で研究され ている．しかし，人間の意思決定を支援する場合では 予測結果のみでは不十分とされ，予測を説明すること が求められる [1, 2, 3]．人間によって予測とその説明を するという事例が現実でも数多く存在している．例と しては競馬の予想家や気象予報士などは自身の予想を 文章化し，それを伝えるということを行っている．そ ういった，予測および説明文生成はドメイン知識を有 した専門家が人手によって行う必要が有り，高コスト である．そこで本研究では，そういった人の手によっ て行われる予測および説明文生成を自動化することを 目的とする．本研究では競輪における予測と予想記事 を対象とする． 以上から，本研究では競輪を対象としてレース結果 の予測とそれを説明する予想記事の自動生成を行う．競 輪業界では新規ユーザの獲得および定着が課題として ある [4] 一方で，既存の予測説明文である予想記事が 新規ユーザには理解が難しいということがある．また， 競輪は開催数が多く人手によるコンテンツ作成にかか るコストが大きいということから，新規ユーザを支援 ∗_{連絡先： 北海道大学情報科学研究科}        北海道札幌市北区北１４条西９丁目        E-mail: [email protected] するコンテンツの自動生成技術に高い需要がある．以 上の背景を踏まえ，本研究では新規ユーザの車券購入 を支援するコンテンツとしてレース結果の予測と，予 想記事の生成を行う． 予想記事は，専門家によるレース結果の予想を説明 する記事であり，新聞や投票サイトでユーザに向けて 配信されている．投票サイトで配信されている既存記 事の例を以下に示す．既存記事はオッズパーク [5] より 引用した． • 既存記事例 1 – 磯島が駆けて番手の野木が本命．鋭さ光る のは丸山だ．逆転の捲りに一考．目標の高 鍋次第で大久保、攻め多彩な吉田も怖い． • 既存記事例 2 – 持ち前のスピードを全開なら⃝松本―5 ⃝蓮2 井でワンツー．自在⃝田中―3 ⃝米原の捲り9 や同県⃝山田にマークする6 ⃝竹内や4 ⃝内村7 も単級 こういった既存の予想記事は，読み物としての面白 さや，プロスポーツ競技としての魅力を伝えるための 文章としては，非常に有効なコンテンツである．しか 人工知能学会研究会資料 SIG-KBS-B903-04

し，新規ユーザには理解が難しく，新規ユーザの車券 購入を支援するという意味では不十分であると言える． 既存記事の精査の結果，予想記事が含む情報として 次の 4 つが挙げられる． • 上位予想選手 • 上位予想選手に関する情報 • ラインに関する情報 • レース展開に関する情報 本稿では，上記 4 つの情報を含む予想記事を生成する ことを目標とする．また，本稿ではレース展開を記述 するために，レース展開を考慮した RNN による予測 器を構築した． また，既存記事を精査した結果から新規ユーザには 理解が難しい理由として次の 2 つが挙げられる．1 つ 目は，注目選手は記述されているが予想車券は明記し てないという点である．自分である程度予想ができる 場合は良いが，自分で予想を立てることができない新 規ユーザには不十分であると考えられる．2 つ目は，選 手に関する情報が抽象的であるという点である．選手 について知っている場合は共感できるが，新規ユーザ には分かりづらい表現となっていると考えられる．本 稿では上記 2 点への対策として，車券の予測を明記し， 選手に関する情報として成績データに基づく具体的な 数値を明記する記事を生成する． スポーツの分野においては，記事の自動生成に関す る研究が積極的に行われている．野球においては，打 者成績からイニング速報を生成する研究 [6] や，テキス ト速報から野球ダイジェストを生成する研究 [7]，打者 成績からイニングの要約文を生成する研究 [8] などが 行われている．こういった研究は，既知の試合の結果 を説明する記事という意味では，本研究と同じである． 本研究では，未知の試合の結果を説明するという記事 を生成する．また，本稿ではテンプレート [9] による記 事生成を行う理由は，競輪は開催数が多く生成記事の 人手による審査は現実的ではないため，文法的な正確 さが求められるためである．また，本稿で生成する記 事は新規ユーザ向けの記事であり，Encoder-Decoder モデル [10] のような既存記事を学習データとして生成 するといった手法は適用できないと考えられるためで ある．

2

競輪

本章では，本研究で取り扱う競輪について，競技と しての競輪の概要を示す． 競輪は，自転車を使用した日本発祥のトラックレー スである．レースは基本的に 9 人で行い，バンクと呼ば れる競争路を周回し 1,500m から 3,000m の距離を競う． 競輪にはその他の競技には無いラインという要素が あり，個人競技でありながらチーム競技としての要素 をもっている．選手はレース中にラインと呼ばれる縦列 を形成し，同じラインの選手同士で協力しながらレー スを進める．出場選手は誰の後ろにつくのか，自分が先 頭で走るか否かについてレース前に宣言するため，ど の選手同士がラインを組むかはレース前に公開される 情報である．多くの場合は，同じ地域に所属する選手 同士でラインを組む． 競輪では，ラスト 1 周半ごろからペースメーカーの 役割を担う先頭誘導員が外れ，大きくレースが動き始 める．そこからずっと先頭を走り続けて逃げ切って勝 利するのか，最後の最後で追い上げて勝利するのかな ど，選手によって取る戦法は様々であり，こういった レース展開は競輪を予測する上で重要な要素であると 考えられている．

3

展開を考慮したレース結果の予測

本章では，ラスト半周の時点で 1 着（バック取り） だった選手を考慮した再帰型ニューラルネットワーク （RNN）を使用した予測モデルを提案する．

3.1

RNN

の入力と出力

バック取り選手，1 着選手，2 着選手，3 着選手を系列 データと考え，RNN を用いたニューラルネットワーク を構築する．RNN の概略図を図 1 に示す．h0を RNN の初期状態，xiを系列 i の入力とする．p(B = l) は 各選手がバックを取る確率，p(1st = i|B = l) は車 番 l がバックを取った場合に車番 i が 1 着になる確率， p(2nd = j|B = l, 1st = i) は車番 l がバックを取り， 車番 i が 1 着になった場合に車番 j が 2 着になる確率， p(3rd = k|B = l, 1st = i, 2nd =) は車番 l がバックを 取り，車番 i が 1 着，車番 j が 2 着になった場合に車 番 k が 3 着になる確率である． 選手 9 人分の特徴量を結合したベクトルを v とする． vは 9 人を入力とする方式のモデルにおける入力ベク トルである．xiと h0の設定について，次の 2 つを検 討した． • h0= vとして，xiは各系列に対応する対象（バッ ク取り，1 着，2 着）の車番を表す 9 次元のワン ホットベクトルとする設定 • h0= 0として，xiは v と各系列に対応する対象 （バック取り，1 着，2 着，3 着）の車番を表す 9

次元のワンホットベクトルを結合したベクトルと する設定 本稿では，検証データに対する誤差の結果から h0= 0 とする設定を採用した． 図 1: RNN の概略図

3.2

車券的中確率の計算

次の 3 つの確率を RNN の出力値から計算し，その 積によって車券の的中確率を計算する． • p(1st = i) – 車番 i が 1 着になる確率 • p(2nd = j|1st = i) – 車番 i が 1 着の時，車番 j が 2 着になる確率 • p(3rd = k|1st = i, 2nd = j) – 車番 i が 1 着，車番 j が 2 着の時，車番 k が 3着になる確率 各確率は式 1，2，3 で計算する． p(1st = i) =∑ l p(1st = i|B = l)p(B = l) (1) p(2nd = j|1st = i) =∑ l p(2nd = j|B = l, 1st = i)p(B = l) (2) p(3rd = k|1st = i, 2nd = j) =∑ l p(3rd = k|B = l, 1st = i, 2nd = j)p(B = l) (3)

3.3

展開を考慮した予測について比較実験

本節では，前節で示した展開を考慮した RNN によ る予測モデルの性能を検証する．また，第 4 章で説明 する予想記事の生成において，RNN の出力から展開を 記述することが可能であるかどうか調査する． 3.3.1 実験設定 本項では，学習とテストに使用したデータ，予測に 使用する特徴量，予測モデルの性能を比較する項目に ついて示す． データ 2013年 6 月 1 日から 2019 年 6 月 1 日の間に 実施されたレースのデータを使用した．2013 年 1 月 1 日から 2018 年 6 月 1 日のデータを訓練データとして使 用し，2018 年 6 月 1 日から 2019 年 6 月 1 日のデータは テストデータとして使用した．各レース数は訓練デー タが 102,123 レースで，テストデータが 20,253 レース である．また，訓練データの 1 割を検証データとして 各モデルのハイパーパラメータを決定した． 特徴量 レースに関するデータ（レース特徴）と選手 に関するデータ（選手特徴）を予測に用いた．また，選 手に関するデータとして選手個人に関するデータ（個 人特徴）と選手の所属するラインに関するデータ（ラ イン特徴）を用いた．本稿では，インターネット上で 誰でも閲覧可能なデータを予測に用いた．特徴量の詳 細を表 1 に示す．各特徴量は最大値 1，最小値 0 に正 規化して入力に使用した． レース特徴はレースに関する特徴であり，日付とバ ンクの長さを使用した．バンクの長さは 333m，335m， 400m，500m の 4 種類がある． 個人特徴は，選手個人についての特徴である．年齢 以外の個人特徴は選手の強さを推定するのに有効であ ると考えられる特徴を採用しており，過去 4ヶ月の成 績データに基づいて算出されている．競争得点はレー スの成績によって選手に与えられる点である．バック 取り回数は最終半周の時点で先頭を走っていた回数の ことである．決まり手はレースの決着のつき方であり， 逃げ・捲り・差し・マークの 4 種類があり，決まり手 回数はそれぞれの回数のことである． ライン特徴は，ラインの影響を考慮するための特徴 量である．ラインベクトル，前方選手ベクトル，後方 選手ベクトルと自身のラインと前後の選手を表すため のベクトルである．例えば，ラインが 1-9-3 の場合，車 番 9 のラインベクトルは [1, 0, 1, 0, 0, 0, 0, 0, 1]，前方選 手ベクトルは [1, 0, 0, 0, 0, 0, 0, 0, 0]，後方選手ベクトル は [0, 0, 1, 0, 0, 0, 0, 0, 0] となる．前方または後方の選手 がいない場合はゼロベクトルを用いた．

表 1: 入力特徴量 レース特徴 日付 バンクの長さ 個人特徴 年齢 競走得点 1,2,3着回数 1着率，2 連対率 バック取り回数 決まり手回数 先行選手か否か ライン内で自身の前にいる選手の数 過去 4ヶ月出走しているか否か ライン特徴 ラインベクトル 前方選手ベクトル 後方選手ベクトル 比較 比較するモデルは，MLP によって各的中車券を 学習させたモデルと前節で示した RNN によるモデル である．RNN の中間層のユニットとして LSTM[11] を 使用した．予測のベースラインとして，確定オッズに よる予測を用いた． 各手法について，二車単，三連単の的中精度を比較 した．的中精度については，Top-K-accuracy を用い た．二車単と三連単については K=1，5，10 の Top-K-accuracyを用いた． 3.3.2 結果・考察 各手法とオッズの二車単予測，三連単予測の Top-K-accuracyを表 2 に示す． 表 2 から MLP と RNN を比較すると，僅かに精度が 向上していることが確認できる．精度の差はごく僅か であるため，精度の低下を引き起こすことなく展開を 考慮した予測が可能であるということが言える．しか し本結果は，バック取りなどのレースの中間順位に関 する情報が最終的なレース結果の予測精度向上に効果 的であるということを示唆しており，今後の精度向上 に向けて検討の余地がある． 表 2 から RNN とオッズを比較すると，僅かに精度 でオッズに劣っているものの，その差は小さいものと なっている．二車単の Top-1-accuracy について比較す ると RNN とオッズの差は 0.2%であり，同等の予測精 度を示している．本稿で最終的に生成する予想記事で は，本命予想として二車単の Top-1 予測を使用してお り，予想記事に使用するための予測モデルとして十分 な予測精度を達成できたと言える． 3.3.3 RNNの出力分析 本項では，予想記事で展開情報を記述するために，本 節の RNN が利用可能かどうかについて調査する． argmaxi,j,l[p(1st = i, 2nd = j|B = l)] について注目 する．各 l における i, j の一致率は 0.93 であった．こ れは，「X がバック取りであれば二車単予想は A-B，Y がバック取りであれば二車単予想は C-D」といった予 想記事が生成できる割合が 0.07 であるということを示 している．

次に argmaxl[p(B = l)]と argmaxi,j[p(1st = i, 2nd =

j|B = argmax(p(B = l)))] について注目する．i.j の ラインが一致している内，各 l と i, j のライン一致率は 0.58であった．ラインが一致している場合，ラスト半 周で 1 位を取った（バックを取った）ラインがそのま ま逃げ切ってゴールしているということを意味してお り，ラインが一致していない場合は，ラスト半周の時 点では 1 位でなないラインがラスト半周から捲くって ゴールしたということを意味している．4 章での記事 生成には，この条件を使用して展開情報を記述する．

4

予想記事の生成

本章では，記事生成のために設定したテンプレート について，生成器事例，人によるアンケート評価の結 果を示す．

4.1

記事テンプレート

本節では，設定したテンプレートについて簡単に説 明する．記事のテンプレートは，大きく分けて，本命と 対抗，穴の 3 種類のテンプレートの組み合わせによっ て構成される．各テンプレートでは，予想の二車単を 明記するようなテンプレートを設定した． 本命テンプレートは，本命予想を記述するためのテ ンプレートである．本命予想は予測器の出力値が最も 高い二車単とする．本命テンプレートでは，RNN の出 力から抽出したバック取りに関する情報を用いた展開 情報を記述するテンプレートを設定した． 対抗テンプレートは，対抗予想を記述するためのテ ンプレートである．対抗の予想は予測器の出力値が二 番目に高い二車単とする． 穴テンプレートは，穴予想を記述するためのテンプ レートである．穴の予想は，的中確率は高くはないが 的中した際の配当が大きい車券として，的中確率とオッ ズの積によって計算される配当の期待値が最大のもの を選択した． また，上述の 3 種類のテンプレートの他に選手を修 飾するテンプレートを設定した．予測器の入力特徴量

表 2: 予測モデルの比較 (1 着，二車単，三連単の Top K accuracy) 二車単 二車単 二車単 三連単 三連単 三連単 @1 [%] @5 [%] @10 [%] @1 [%] @5 [%] @10 [%] MLP 21.9 54.6 71.6 9.5 27.7 39.3 RNN 22.1 54.9 71.8 9.6 27.9 39.5 オッズ 22.3 56.4 72.8 10.1 28.9 40.9 表 3: 生成記事と既存記事の例 1 2019-2-21大垣競輪場 第 12 レース 既存記事 ⃝松浦は末の粘りを欠いたが、積極的に7 攻める姿勢は評価。細切れなら展開追い 風。好位から仕留め、⃝柏野と決める。3 6 ⃝加賀山が突進。⃝福田が差し脚伸ばす1 生成記事 本命は 7-3。中国ラインから出場選手内 で最高の直近 4ヶ月競争得点 (114.1) を 誇る⃝松浦と 2 着数が二番目に多い (67 回)⃝柏野でワンツー。対抗は 1-9。1 着3 数が二番目に多い (12 回)⃝福田と1 ⃝大9 塚にも警戒。穴は 6-1。的中確率 1.6%に 対しオッズ 239.9 と配当期待値大。 として使用している選手特徴に言及するテンプレート を設定することで，具体的な成績データに関する選手 情報を記述する．

4.2

記事生成結果・考察

実際に生成した記事の例と既存記事を表 3, 表 4，表 5に示す．既存記事はオッズパーク [5] より引用した． 各生成記事を見ると，生成記事は本稿で定義した予 想記事に求める 4 つの情報を含んでいることが確認で きる．言及されている選手についても，既存記事と同 じ選手を言及していることが確認でき，予想の内容に ついても既存記事に近いものが生成できていることを 示している． 展開情報の記述について注目する．展開情報は全て の生成記事に含まれているわけではないが，今回の例 では表 4，表 5 が展開情報を含む記事となっている．

4.3

アンケート評価

生成記事と既存記事を車券販売サービス会社の社員 10名により，生成記事と既存記事をそれぞれ 50 件，初 心者にも理解可能か，車券購入の助けになるか，記事 として面白いかの 3 項目について，5 段階で評価した． アンケート評価の設定は前節と同じである．前節と異 表 4: 生成記事と既存記事の例 2（生成器 2） 2019-2-9松山保競輪場 第 7 レース 既存記事 松岡、竹内岐阜コンビのワンツー期待す るが直線勝負となれば鹿内も単可能。八 尋穴狙いで。 生成記事 接戦だが本命は 2-9。直近 4ヶ月競争得 点が二番目に高い (102.4)⃝松岡のラス2 ト半周の捲りに期待。番手⃝竹内がマー9 ク。対抗は 1-6。出場選手内で最高の競 争得点 (104.3) を誇る⃝鹿内と1 ⃝山崎に6 も警戒。穴は 4-1。的中確率 3.6%に対し オッズ 48.5 と配当期待値大。 表 5: 生成記事と既存記事の例 3（生成器 2） 2019-02-05川崎競輪場 第 6 レース 既存記事 前回は完全優勝を達成するなど、着実に 力を付けている久樹が地脚生かして逃切 る。同県尾崎が追走も平川とのパワー勝 負を本線に。 生成記事 本命は 5-1。直近 4ヶ月バック数が二番目 に多い (14 本) ⃝久樹がバック取りから5 1着。番手⃝尾崎がマーク。対抗は 2-4 で1 的中確率 17.9%。出場選手内で最大の 1 着数 (14 回) を誇る⃝平川と2 ⃝鈴木にも4 警戒。 なる点としては，対象とするレースと被験者数である． 前節の被験者 8 名のうち，6 名が今回のアンケートに も参加している．5 段階評価基準を表 6 に示す．評価 結果を表 7 に示す．表 7 の値は 5 段階評価の平均値を 示している． 初心者にも理解可能か，車券購入の助けになるかの 項目について，既存の記事より高い評価を得られてお り，新規ユーザ向けの購買支援コンテンツとしての有 効性を示している．

表 6: 5 段階評価 評価点 基準 5 非常にそう思う 4 そう思う 3 どちらかと言えばそう思う 2 どちらかと言えばそう思わない 1 そう思わない 表 7: 生成記事と既存記事の評価 (5 段階評価の平均) 初心者にも 車券購入の 記事として 理解可能か 助けになるか 面白いか 既存記事 2.57 2.39 2.93 生成記事 3.41 3.64 3.03

5

まとめと今後の展望

本稿では，競輪を対象とした新規ユーザの車券購入 を支援するコンテンツの自動生成を行った．購買支援 コンテンツとして，購入車券の提案およびそれを説明 する予想記事を生成し，新規ユーザの車券購買支援と しての有効性を示した．予想記事中に展開に関する情 報を記述するために，RNN による予測モデルを提案し た．テンプレートによって新規ユーザ向けとなるよう な記事を生成し，アンケート評価によってその有効性 を示した． 今後の展望としては，本稿で提案する購買支援コン テンツを実際の競輪ユーザに対して提供し評価するこ となどが挙げられる．提案コンテンツの有無によるク リック率の変化など定量的な評価を行えるような環境 を整備することができれば，どういった文章がユーザ の支援に有効であるかといったことを定量的に示すこ とが可能になる．

謝辞

本研究は，株式会社チャリ・ロトの支援を受け実施 されたものです．ここに感謝の意を表します．

参考文献

[1] 原聡, 石畠正和, 前原貴憲. 機械学習モデルの列挙.

SIG-FPAI, Vol. B5, No. 02, pp. 1–5, jan 2018.

[2] Been Kim. Interactive and interpretable machine learning models for human machine collabora-tion. 01 2015.

[3] Finale Doshi-Velez and Been Kim. Towards a rig-orous science of interpretable machine learning, 2017. [4] 公益財団法人 JKA. （産業構造審議会 製造産 業分科会 車両競技小委員会）に基づく「現状の 課題」「今後の取組」「責任と kpi」∼jka の具体 的な取組 5.14 の改訂版∼. https://www.meti. go.jp/shingikai/sankoshin/seizo_sangyo/ sharyo_kyogi/pdf/20180705002_2.pdf, ac-cessed 2020-01-31. [5] オッズ・パーク株式会社. 競輪（keirin・ケイリン） ならオッズパーク競輪｜予想情報も充実！http:// www.oddspark.com/keirin/, accessed 2018-05-29. [6] 村上聡一郎, 笹野遼平, 高村大也, 奥村学. 打者成 績からのイニング速報の自動生成. 言語処理学会 第 22 回年次大会発表論文集, pp. 338–341, 2016. [7] 岩永朋樹, 西川仁, 徳永健伸. テキスト速報を用い た野球ダイジェストの自動生成. 言語処理学会第 22回年次大会発表論文集, pp. 238–241, 2016. [8] 田川裕輝, 嶋田和孝. スポーツ要約生成における テンプレート型手法とニューラル型手法の提案と 比較. 自然言語処理, Vol. 25, No. 4, pp. 357–391, 2018.

[9] Kathleen McKeown and Dragomir R. Radev. Generating summaries of multiple news articles. In Proceedings of the 18th Annual International

ACM SIGIR Conference on Research and Devel-opment in Information Retrieval, SIGIR ’95, pp.

74–82, New York, NY, USA, 1995. ACM.

[10] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural net-works. In Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, and K. Q. Weinberger, editors,

Advances in Neural Information Processing Sys-tems 27, pp. 3104–3112. Curran Associates, Inc.,

2014.

[11] Sepp Hochreiter and Jrgen Schmidhuber. Long short-term memory. Neural Computation, Vol. 9, No. 8, pp. 1735–1780, 1997.