1．は じ め に
インターネット広告配信，なかでもディスプレイ広告 は古来は広告枠に対して入稿された固定の広告を返して いた．現在では広告主・媒体社の利益の最大化を目指す ため，複数の広告主と媒体を接続し，リクエストごとに 配信する広告を決定するのが一般的である．このときの 広告枠と広告の組合せパターンは人が手で調節できる数 ではないため，配信事業者はテクノロジーを駆使して運 用している．業界では前者と区別するために後者をプロ グラマティック広告と呼び，最適化やクリックコンバー ジョン予測，ユーザ属性推定といったさまざまな処理が 内部で動いている． 本稿では最初にディスプレイ広告の概要を示し，人 工知能要素技術がどのような場面で利用されているかを 紹介する．3 章以降はアドネットワーク事業者での配信 最適化の例を中心に配信ロジックの設計と実装を紹介す る．これは広告配信サーバに求められる低レイテンシ高 スループットを達成しつつ広告と広告枠の最適な組合せ を探索し収益を最大化するものである．2．インターネット広告ビジネスの概要
プログラマティック広告では，一つの広告を配信する のに一事業者のみで完結することは少なく，複数の配信 事業者が連携して動作をする．広告配信事業者にはいく つかの種類があり，それぞれ異なる役割をもつ． 2･1 登 場 人 物 インターネット広告ビジネスの登場人物は次の四者で ある． 広告主 自社サービスのユーザ獲得や認知度の向上を 狙っている．広告を利用することでマーケティング を成功させることが目的．効果のある広告を安く打 ちたいと考える．商流によっては広告代理店となる． 媒体社 広告媒体となるメディア（媒体）をもってい る．インターネット広告の場合は Web サイトやモ バイルアプリが該当する．できるだけ高く広告を掲 載し，媒体から広告収益を得るのが目的． 広告配信事業者 広告主と媒体社の間を取りもち，広 告配信業務を効率化する．さまざまな種類の事業者 が存在する．広告主から得た広告費と媒体社に支払 う報酬の差はマージン（手数料）として収入になる． オーディエンス 広告に接触をする媒体の閲覧者． 2･2 ディスプレイ広告の流通形態 次に広告流通形態の変化と，主要な配信事業者の種類 としてアドネットワーク，SSP，DSP の紹介をする．図 1 に伝統的な広告流通形態である純広告を示す．このとき は，広告主が媒体社ごとにやり取りをして直接入稿をし ていた．さらに媒体社は独自に配信システムをもつ必要 があった． 純広告における双方の煩わしさを解決したのがアド ネットワークである（図 2）．アドネットワークは複数の 媒体社と広告主を束ねてネットワークを形成する．広告 主は一つのアドネットワークに出稿することで多くのメ ディアに出稿が可能となった．同時に媒体社はアドネッアドネットワークにおける広告配信計画の
最適化
Ad Delivery Optimization in AdNetwork
西林 孝
株式会社 VOYAGE GROUPNishibayashi Takashi VOYAGE GROUP, Inc.
[email protected], http://voyagegroup.com
Keywords:
online advertising, optimization, multi-armed bandit. 「広告と AI」 広告主 入稿 媒体社 配信 メ デ ィ ア 図 1 純広告の流れトワークを利用することでアドネットワークがもつ広告 在庫を配信できる． その後，媒体社の収益を最大化する役割をもつ SSP＊1 と広告効果を最大化する役割をもつ DSP＊2が登場し， 現在では広告リクエストごとにオークションを開催する RTB＊3による取引が行われている（図 3）． 他にもアドエクスチェンジやリターゲティングといっ た種類の事業者が存在する．広告配信形態の変化は [小 澤 14] が詳しい．広告リクエストから広告が表示される までの 150 ミリ秒の間に何が起きているかの素晴らしい 可視化として Behind The Banner＊4がある．
2･3 スマートフォンの普及による変化と行動追跡技術 2010年以降ディスプレイ広告市場に大きな変化をも たらしたのがスマートフォンの普及である．2014 年の 時点で市場規模のデバイス比率が PC に追いつき，以降 スマートフォンが伸び続けている [DigitalInFact 15]． 広告配信サーバから見てスマートフォンと PC の大きな 差異の一つに，オーディエンスの行動トラッキングがス マートフォンでは難しい点があげられる．従来はサー ドパーティ Cookie＊5を使ってオーディエンスの行動履 歴を収集していたのが，モバイルブラウザのデフォルト 設定ではサードパーティ Cookie の送信に制限がかかっ ている．さらにスマートフォンは標準ブラウザ以外に も Twitter や Facebook といったアプリケーション内に Webページ表示機能をもつ．よって，同一オーディエ ンスであっても標準ブラウザ，アプリ内ブラウザ，アプ リ内広告枠で別人としてサーバからは見える．スマート フォンで広告を見ても，実際に購入をするのは PC とい う購買行動パターンも存在する（図 4）．このことから， 個人レベルの配信最適化を行う DSP はスマートフォン 広告市場での普及が遅れている． しかし，どの広告によってコンバージョン行動が促さ れたのか評価するにはこの問題を解決する必要がある． そのため複数端末をまたいだ同一オーディエンス推定手 法の開発が進んでいる．データ分析のコンペを開催して いる Kaggle にも同様の問題が過去に出題された＊6．推 定ベースのほかにサードパーティの提供情報を利用した 決定的な手法が存在する．例えば，iPhone と PC で特 定の Web サービスに同じアカウントでログインした場 合に二つの端末のセッションは同一オーディエンスとみ なすものである [Criteo 14]． 2･4 ディスプレイ広告の課金形態 主要な課金形態は次の三つである．なお，課金とは広告 主の立場から見た場合で，媒体社から見ると報酬となる．
CPM：Cost per Mille インプレッション（広告表示） に対して広告主はコストを支払う．
CPC：Cost per Click オーディエンスが広告をク リックした場合にのみ広告主はコストを支払う． CPA：Cost per Acquisition オーディエンスが広
告主の指定したアクションを達成することをコン バージョンと呼び，オーディエンスが広告経由でコ ンバージョンした場合に広告主はコストを支払う． コンバージョン地点は，例えばゲームアプリの広告 広告Aを表示 広告Bを表示 広告Cを表示 商品を購入 図 4 複数デバイスをまたいだ購買行動． 効果のあった広告はどれか
＊1 Supply Side Platform ＊2 Demand Side Platform ＊3 Real Time Bidding
＊4 http://o-c-r.org/adcells/
＊5 閲覧中の Web ページのドメイン以外への HTTP 通信に載る
Cookie． ＊6 https://www.kaggle.com/c/icdm-2015-drawbridge-cross-deviceconnections
広告主 メデ ィ ア アドネットワーク 入稿 配信 図 2 アドネットワークによる配信 広告主 メデ ィ ア アドネットワーク DSP SSP 入稿 入稿 入札 配信 配信 図 3 SSP と DSP の立ち位置
であればインストール後の起動，オンラインストア の商品の広告であれば購入完了とする． CPAが最も広告主にとって明瞭な形態ではあるが， CPAを利用するにはコンバージョンがシステムで計測 可能な商材に限られることや，媒体社が CPC を好むた めに現在では主に CPC が使われている．図 5 に CPC で 広告を配信したときの流れを示す． 2･5 用語と指標として使う値 IMP-Impression 広告がメディアに表示（インプ レッション）された回数． Click 広告がオーディエンスにクリックされた回数． Conversion 広告経由でオーディエンスがコンバー ジョン（広告主が指定したアクションを達成）した 回数．
CPC：Cost per Click クリック単価．広告主から すると低いほうが良く，媒体社からすると高いほう が良い．
CTR：Click Through Rate 広告のクリック率． CTR = Click
Impression ∈ [0, 1] （1） CVR：Conversion Rate 広告のコンバージョン率．
CVR = Conversion
Click ∈ [0, 1] （2）
eCPM：effective Cost Per Mille 1 000 インプレッ ション当たりの収益．媒体社側の指標．
CPA：Cost per Acquisition 1 コンバージョン当 たりの配信コスト．広告主側の指標． 2･6 広告配信事業者の役割と配信の最適化 代表的な事業者の種類として SSP，DSP，アドネット ワークの三つをあげた．それぞれ役割は異なるため最適 な配信の内容は三者三様である． SSP 広告枠を売ることから Sell Side と呼ばれる． 媒体社の収益を最大化するため，リクエストごとに 接続している DSP，アドネットワークの中で最も 高く売れる広告を選択する．RTB ではフロアプラ イスの調整をする． DSP 広告枠を買い付けることから Buy Side と呼ば れる．安くコンバージョンを獲得するため，クリッ クコンバージョンしそうなオーディエンスを狙って 配信する．クリック率・コンバージョン率の予測， 入札価格決定や予算消化ペースの制御が重要な処理 となる．配信対象を絞ると配信ボリュームが減り， 十分なコンバージョンが得られないため，コンバー ジョン率を高く維持したまま配信対象を広げる工夫 が必要となる． アドネットワーク 広告主の求める CPA と媒体社の 求める収益の両方を満たす配信をする．配信最適化 には線形計画法やバンディットアルゴリズムが使わ れる．具体的な内容は 5 章で述べる． 2･7 ま と め 現在のインターネット広告配信は複数の事業者の連携 によって成立している．そこには利害の反する広告主と 媒体社が登場するため，どちらの立場に寄るかで目指す 配信方策も異なってくる．オーディエンスが複数のデバ イスを利用してオンライン上の購買行動をするようになっ たため，同一オーディエンス推定が重要になっている．
3．多腕バンディット問題の適用
本章では強化学習の一種である多腕バンディット問題 と広告配信への適用方法を述べる． 3･1 知識の活用と探索のジレンマ 新たに m 個の広告 AX {A1, …, Am} が入稿されたと きに，既存の広告で最も収益性が高い Ayよりも高い収 益が得られるものが存在するかどうか判断したい場面を 考える．AXの収益性が未知だとすると，AXをいくらか 配信すると判断が可能になる．一方で収益性が高いとわ かっている Ayの配信が減るため，得られたはずの収益 を逃してしまう．この状況で試行を繰り返して得られる 収益の最大化を目指したい．これは多腕バンディット問 題として知られており，選択肢である広告をアーム，収 益（eCPM）を報酬，報酬が高いとわかっているアーム を選択することを知識利用（exploitation），報酬が未知 のアームを選択することを探索（exploration）と呼ぶ． バンディット問題の中でも広告配信は報酬が何らかの 確率分布によって生成されるとする確率的バンディット 問題に当てはめられる．CPC 広告の場合，収益はクリッ クから生成されるため，クリックがベルヌーイ分布 Ber （CTR）から生成されると考えれば，収益も確率的に生 成されるといえる．確率的バンディット問題の方策は信 頼上界を利用する UCB 法や事後分布からのサンプルを 利用する Thompson Sampling がよく知られている [本多 16]． 3･2 アドネットワークにおける設定 確率的バンディット問題の基本的な設定ではアームの 媒体社 メディア 配信事業者 広告主 オーディエンス 表示 リクエスト 広告表示 広告クリック クリック通知 広告費の支払い 報酬の支払い 図 5 CPC 配信時の流れ数は固定，アーム個々に設定された報酬の期待値も固定 である．しかし広告配信システムにおいては，アームの 数は常に変動する．断続的に新たな広告が入稿される一 方で，予算の終了や配信設定の変更があれば対象の広告 の配信は停止となる．時が経てば同じ広告は飽きられて しまうため，報酬を決めるクリック率・コンバージョン 率は変化する．さらにクリック単価が人の手によって変 更されるとアームの期待報酬は非連続な動きをする． 広告配信後，クリック・コンバージョンが観測できる までのタイムラグが存在するため，アーム選択後に報酬 がリアルタイムで観測できる前提のアルゴリズムはその まま利用できない．Chapelle らによれば，クリックか らコンバージョン発生までの遅延について，1 分以内に 発生するのが 39.2％，10 分以内に発生するのが 86.7％， 1時間待てば 95.5％を観測できる [Chapelle 15]． 3･3 利用可能なアルゴリズム こういった設定においては Thompson Sampling が 利用しやすい．報酬の観測遅延に対するロバスト性が UCB法よりも優れている [Chapelle 11]．報酬の生成過 程を線形モデルに拡張することでコンテキスト情報，例 えば時刻やオーディエンスの年齢性別が利用できる [本 多 16]．他の配信ロジック，例えばリターゲティングで 重要な処理である同一オーディエンスに同じ広告を見せ る回数・間隔の制御は腕の抽出過程に組み込める． 運用面ではループごとにインクリメントの必要な変数 がなく，マルチスレッドや複数サーバでの分散実行が容 易である．状態をもたないためデプロイ＊7時の心配事も ない．報酬の計算方法や配信システムに乗せる際の考慮 点は 5 章で述べる． 3･4 事後分布からのサンプリング 腕ごとの報酬を計算する際に利用する CTR と CVR の値はそれぞれの事後分布からサンプルする．式（1） の CTR はベルヌーイ分布 Ber（Click＝IMP）の期待値 であるから，事前共役分布のベータ分布 Beta（Click＋ α, IMP－Click＋β）を事後分布とすればよい．αとβは 事前パラメータでサンプルサイズが小さいときに強く効 く．事後分布の導出は 5･3 節で述べる．例として CTR と固定クリック単価で報酬が決まる場合の手続きを表 1 に示す． 腕を選択，つまり配信後に表示・クリックされたかど うか計測できるまでにタイムラグがあるため，腕ごとの IMP・Click 数の更新は非同期となる．
4．配信システムのアーキテクチャ
アドネットワークの配信システムの例として，著者が 配信ロジックの開発をしている Zucks AdNetwork＊8の アーキテクチャを示す． 4･1 バッチ処理とオンライン処理の分離 図 6 に全体図を示す．広告配信サーバは媒体からの広 告リクエストを処理する際に 50 ミリ秒程度で応答を返 す必要があるため，それ以上時間のかかる予測処理は動 かせない．時間のかかる予測処理はバッチで結果を生成 し，オンメモリでもたせている．同様に広告と広告枠の データもオンメモリでもち，極力外部リソースへの問合 せは減らしている． 4･2 配信系とデータ分析システムの分離 最適化と予測処理を動かすデータ分析システムは配信 系本体とは疎結合にしている．これにより無停止稼働が 必要な配信サーバよりも予測・最適化バッチのサービス ＊7 プログラムを更新して本番リリースする作業．複数台のサー バでシステムを運用している場合は数台ずつ順に入れ換える． ＊8 https://zucks.co.jp/publisher/adnetwork/ メディア 広告主 配信サーバ 計測サーバ 配信ログ データベース 予測データ 配信実績 データ バッチ処理 予測・最適化バッチ Data Warehouse 運用画面 データ分析システム 広告リクエスト 広告 インプレッションクリック通知 コンバージョン通知 図 6 Zucks AdNetwork のシステム構成 表 1 Algorithm 1：CTR と固定クリック単価で報酬が決まる場 合の Thompson Sampling 手続き 1 ：Inputs： 2 ：α, β ▷ Beta 分布の事前パラメータ3 ：Imp, Click, CPC ▷アームごとの IMP, Click, CPC 4 ：for Each ad request do
5 ： for Each arm i do
6 ： CT˜Ri generate by Beta（Impi－ Clicki＋α, Clicki＋β）
7 ： μ˜i CPCi× CT˜Ri 8 ： end for
9 ： Draw arm k ＝ argmaxi{μ˜i} 10 ： if can update state then 11 ： Update Imp, Click, CPC 12 ： end if
レベルを下げて開発ができる．データ分析システムが障 害で停止したとしても，配信サーバは予測データなしで 動作するモードにフォールバックして稼働させる．デー タストアには専用のデータウェアハウス＊9を使っている．
5．アドネットワークにおける配信最適化
Zucks AdNetworkにおける配信広告選択処理を中心 に最適化の例を紹介する．2･6 節で述べたとおり，アド ネットワークが目指すのは広告主の求める CPA を満た したうえでの媒体社収益（eCPM）最大化である．配信 ロジックが操作できるのは ● 広告リクエストに対して返す広告 ● 広告のクリック単価 の二つである． 5･1 用 語 と 設 定 広告枠 メディアにおける広告が表示される場所．メ ディアは複数の広告枠をもつ． キャンペーン 広告キャンペーン．予算を管理する単 位．バナー画像を複数もつ．配信対象地域や端末の指定 （iOS，Android）といったオーディエンスのフィルタ条 件ももつ．広告枠とキャンペーンの組合せで CPC は設 定できる． 目標 CPA 広告主の希望する CPA. キャンペーンごと に設定する． 5･2 CPA のコントロール CPAを広告主が希望する目標 CPA に合わせる処理を 考える．CPA はコンバージョン当たりの配信コストな ので次式で表せる．CPA = Click×CPCConversion Conversion > 0 ∞ (otherwise) . （3） 式（3）で操作可能なのは CPC の値である．式（3） を変形すると CPA = 1 CVR × CPC （4） になる，よって真の CVR がわかれば CPC を操作するこ とで任意の CPA に合わせられる．このときの CPC は CPC＝目標 CPA×CVR （5） になる．CPC ゼロ〔円〕で配信するメリットはないため， コンバージョンが取れないと判断できる場合は該当キャ ンペーンの配信を止める．この CPC 調節をキャンペー ンと枠の組合せで行う．CVR の推定については 5･3 節 で述べる． 5･3 CVR の事後分布 式（2）をそのまま利用すると問題になるのが，サン プルサイズが小さいときに真の値からはかけ離れた値に なる点である．通常 CVR は 1％前後であるが，配信が 始まった直後にたまたまコンバージョンが発生すると計 算上は 100％ということにもなり得る．このために事前 確率を導入し，ベイズの定理によりクリック数 n のうち k個のコンバージョンを観測した後の CVR の事後確率 を考える．CVR を，二項分布の尤度θとの事前分布と して共役なベータ分布 Beta（α, β）を使うと P (θ| n, k) = P (n, k| θ)P (θ) P (θ) （6） ∝ P (n, k | θ)P (θ) （7） ∝ Bin(k; n, θ)Beta(α, β) （8） ∝ nk θk(1− θ)n−k θα−1(1− θ)β−1 B(α, β) （9） ∝ θk+α−1(1− θ)n−k+β−1 （10） ∝ Beta(k + α, n − k + β) （11） ベータ分布 Beta（α, β）の期待値は E[X] = a a + b （12） 式（11） と式（12） から E[CVR] = Conversion + α Click + α + β （13） となる．CVR 事前分布のパラメータαとβは，傾向の 似た広告枠や同じメディアの広告枠を利用して広告枠と キャンペーンごとに求める．おおよそ 2％の CVR であ ればα＝ 1， β＝ 49 とする．CTR も同様に妥当な事前 パラメータを求めて事後分布を利用する． 5･4 時間経過による評価の割引き 式（13）の Conversion と Click の値について，直近 の期間 T の間に発生したコンバージョンとクリック数を 用いることが多い．ただし，期間 T の途中で配信ボリュー ムが減った場合，ボリュームが減る前の値の影響が強 くなり実態と乖離し得る．またキャンペーンによっては CVRの変化に機敏に追従してクリック単価を調節した いケースがある．よって，経過日数に応じてクリック・ コンバージョン数の評価を割り引くオプションも用意す る．日数経過による割引き率をγ（0, 1），直近の期間 T における日ごとのクリック数を C{C1, C2, …, CT}とコン バージョン数を I{I1, I2, …, IT}とすると ˆ CVR = T i=1Ii(1− γ)i−1 T
i=1Ci(1− γ)i−1
（14） となる．CTR も同様に計算できる．
＊9 配信ログは 1 日当たり 1 テラバイト程度の量があるため，大 量データのクエリと書込みに特化したデータストアを利用して いる．
5･5 配信する広告の決定 次に媒体社側の利益を最大化する処理について解説 する．5･2 節で述べたとおりアドネットワークは適切な CPCで配信するために CVR の予測も同時に行う必要が ある．しかし，CVR の期待値が 2％として信頼区間が 1％ の範囲に収まるのは 400 クリック発生後，CTR が 0.5％ とすると 8 万回配信した後である．すべての組合せにつ いてそれだけ配信していては適切な組合せを見つける前 に広告主の予算が尽きてしまう．そのため，キャンペー ンごとに配信したときの収益を報酬として 3 章で解説し た Thompson Sampling をベースに探索しつつ累積報酬 を最大化していく．この処理は配信サーバ上で行う，前 後を含めた流れは次のとおり． （1）オーディエンス u が広告枠 d を表示 （2）リクエスト R（u, d）が配信サーバに届く （3）R（u, d）に返却可能なキャンペーン集合を抽出 （4）キャンペーン個々の eCPM を事後分布から計算 （5）eCPM が最大のキャンペーンからバナーを選択 キャンペーンごとの eCPM は CTR×CPC ではある が，式（5）を用いると CPC を固定値ではなく確率変数 CVRとの積で表せる．よって，腕ごとの期待値μは µ = CTR× CPC （15） CTR × CPA× CVR （16） CTRと CVR は式（11）の事後分布からサンプルする． 事後分布からのサンプルを利用することで，CVR が未 知の間は配信するが，CVR が低いところで収束した後 は配信を止められる．クリックはインプレッションと比 較すると 100 倍程度サンプルが増える速度が遅いため， CTRが先に収束した後に CVR が収束する． 5･6 eCPM の信頼上限による枝刈り Thompson Samplingで腕を選択する際，すべての配 信可能なキャンペーンについて報酬の計算を行うと配信 可能なキャンペーンの数に対して線形で計算コストが増 えてしまう．これは配信サーバのレスポンスを悪化させ る．探索が済み，ほかの腕と比較して期待報酬が小さい と判明した腕についても毎回ベータ分布からのサンプル 処理を行うのは無駄なため，バッチ処理であらかじめ除 外する． 広告枠ごとに実績 eCPM から「この値よりも低い eCPMとなる広告は配信停止」というしきい値を定め る．このしきい値を超える可能性があるかどうかをキャ ンペーンごとに計算する．式（16）からキャンペーンの eCPMは確率変数 CTR と CVR を含むので信頼区間を 考える．CTR と CVR について 95％信頼区間の上限を 利用して計算した eCPM をしきい値と比較する．
信頼区間の計算は Wilson Score interval を利用する． 信頼区間の計算は二項分布の正規近似を利用する方法 （Wald 法）がメジャーではあるが CTR と CVR は正例 が極めて少なく期待値が 0.001 ということもある．正規 分布による近似ではこのときに下限が負の値となり不正 確である [Wallis 13]． 5･7 ま と め Zucks AdNetworkにおいては広告枠とキャンペー ンの組合せにおける CTR・CVR の推定と同時に媒体 社収益の最大化を行うため，効率良い探索を実現する のにバンディット手法が有効である．特に Thompson Samplingが実装が容易で，同一オーディエンスへの表 示回数制限のような他の配信ロジックとも組合せ可能で ある．また CTR・CVR に事前分布を導入し，収束に必 要なサンプルサイズを減らした．配信サーバはレスポン スタイムに制約があるためバッチ処理を併用している．
6．お わ り に
インターネット広告配信の課題は無数にあるオーディ エンス・枠・広告の組合せから，いかに最適なものを見 つけるかである．限られた広告主予算の中で探索を行 ない媒体社収益を最大化するアドネットワーク事業者の 事例を紹介した．今後の課題としては広告予算消化のス ムージング処理との統合を考えている．これは効果の良 い広告が短期間で予算を使い切るのを防ぐ機能で，一つ はバンディット設定下において線形計画問題を解く方法 が考えられる． 謝 辞 本稿執筆にあたりアドバイスをいただいた小宮山純平 （東京大学生産技術研究所），西尾泰和（サイボウズ・ラボ） 両氏に感謝します．◇ 参 考 文 献 ◇
[Chapelle 11] Chapelle, O. and Li, L.: An empirical evaluation of Thompson sampling, in Shawe-Taylor, J., Zemel, R. S., Bartlett, P. L., Pereira, F. and Weinberger, K. Q., eds., Advances in Neural Information Processing Systems, Vol. 24, pp. 2249-2257, Curran Associates, Inc.（2011）
[Chapelle 15] Chapelle, O., Manavoglu, E. and Rosales, R.: Simple and scalable response prediction for display advertising, ACM Trans. on Intelligent Systems and
Technology（TIST）, Vol. 5, No. 4, p. 61（2015）
[Criteo 14] Criteo: Cross-device advertising: How to Navigate Mobile Marketing’s Next Big Opportunity, http://www. criteo.com/resources/cross-device-advertising- howto-navigate-the-next-big-opportunity-in-mobile-marketing/（2014） [DigitalInFact 15] DigitalInFact : デジタル広告市場の最新潮流と 現状動向分析調査（2015） [本多 16] 本多淳也，中村篤祥，講談社サイエンティフィク：バン ディット問題の理論とアルゴリズム＝ Theory and Algorithms for Bandit Problems, MLP 機械学習プロフェッショナルシリー ズ，講談社（2016）
net/shoho/ss-36728773（2014）
[Wallis 13] Wallis, S.: Binomial confidence intervals and contingency tests: mathematical fundamentals and the evaluation of alternative methods, J. Quantitative Linguistics, Vol. 20, No. 3, pp. 178-208（2013） 2017年 5 月 22 日 受理
