The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 1 -
統
物語生成
評価
い
―物語内容 物語言
物語表現 一貫性 多様性 焦
わ
―
On Evaluations of an Integrated Narrative Generation System: Focusing on the Consistency and
Diversity in Story, Narrative Discourse, and Narrative Expression
秋元
泰
*1方
孝
*2AKIMOTO Taisuke OGATA Takashi
*1
岩手県立大学大学院ソ
情報学研究科
*2
岩手県立大学ソ
情報学部
Graduate School of Software and Information Science, Faculty of Software and Information Science,Iwate Prefectural University Iwate Prefectural University
To evaluate or verify narrative generation systems is a difficult topic in the research field because the systems deal with complex objects (i.e., narratives) and methods. This paper discusses toward designing a systematic method of evaluating our Integrated Narrative Generation System. At first, we survey several existing evaluation methods and methodologies for narrative generation systems. Next, we present a preliminary evaluation framework of the integrated narrative generation system. In particular, two types of essential criteria are described for the system’s generation ability. The first is “consistency” and the second is “diversity”. The latter is a criterion for narratives to be generated and can be analyzed quantitatively according to structural features and elements in a narrative. On the other hand, we will discuss that the former concept is strongly related to the sender or narrator of a narrative than the receiver or narratee.
1.
まえ
物語生成 研究 ，扱う対象 問題や方法 複雑 さ ，評価 難 い あ ， 目的や 方法 わ 適 評価方法 設計 要 課題 本稿 ， 研究領域 評価 方法 調 査 ， 参考 ，研究開 進 い 統 物語 生成 [秋元 14] 評価方法 構想 特 ，物語 生
成能力 関わ 基礎的 要件 ，物語 一貫性 多様性 いう 基準 関 評価方法 考察 後述 う
幾 側面 関 評価 行 ，本稿 大 視 い 物語生成 評価 いう課題 検討
統 物語生成 ，物語 深層的 概念構造 何 語 表 物語内容 ，如何 語 対応 物語言
段階 表層表現 言語 映像 音楽 種類 表現媒体 扱う 自動生成 ，多数 や 知識ベ 構成さ あ 開 ，最初 具 体的 最終目標 定 ，研究開 通 目標自 体 明 い う 索的 プ 進
評価 ， ップ ン 設定 目標 遉成さ う 確 ，実験的 特性や価
値 明 置
2.
物語生成システ の評価について
物語生成 研究領域 行わ い 評価 方法 整理
2.1 物語生成システ 研究におけ 評価方法
[秋元 09] ，他 物語生成 物語 自動生 成 及びinteractive storytelling
操作 物語 展開 変 関 文献15
編 調査 ，評価方法 的 評価 質的 評価 大 前者 ，被験者 ， 生成結果あ い 使用感 何
評価基準 一貫性，表現 流暢さ等 基 い
いう方法 主 用い い さ ，他 手
法 対 様 実験 行い， 結果 比較 通 案手法 有効性 主張 いう方法 多 研究 用い
い 一方，質的 評価 ， 生成結果 使用感 対 手 印象や感想等 コ ン 析 いう 主 方法 あ
他 特徴的 評価方法 紹 [Riedl 10] ， 場人物 意 目標や動機 持 行動 い う
プ ン 場人物 行動系列 生成 狙 プ ンニン 手法 案 評価 ，[Graesser 91] 物語理解
関 質問応答 QUEST 応用 い QUEST ， 物語理解 概念構造 状 表現 方法 基
節 象 や 目標 あ ，節 間 理 や 結果 等 関係 結 さ 評価 次 方法 行わ
，生成さ プ ン 構造 変換 ，生成側 意 理解構造 表現
言え 一方，被験者 ， プ ン 自然言語文 変 換 ， 構造 作 幾 質問文 回 答文 対 示さ 質問 ， why 問う あ ， 例えば ン 竜 殺 ？ いう質問文 ， 王 魔法 ンプ 入手 う ン いう回答 文 示さ 被験者 ， 回答文 正 い う 定 う 実験 ， 意 理解構造
手 形成さ い う 確
目 ，[Gervás 13] ， 民俗学者 あ プ ッ プ 形態学[Propp 69] ，物語生成 文法的知
識 構想 述 ， 中 一部 簡 試 作 開 形態学 ， 魔法 いう ン 民 100編程 析 ， 共通 構造や特 性 整理 あ 中 最 要 概念 機能
＝結果 見 場人物 行 あ ，プ ップ 31種 類 機能 加害 ， 闘い ， 結婚 等 定義 ，当 ン
物語 序 原則 あ 述
Gervás ，試作 評価 ，多数 生成結果 記 表現 物語内容構造 ，プ ップ 理論 機能 並び 方 原則等 程度 割 満 定 的 析
研究目標 ，プ ップ 理論 包括的
あ ， 述 評価 実装部 関 一種 再 現率 確 言え
連絡先：秋元泰 ，岩手県立大学大学院ソ 情報学研究科，
〒020-0693 岩手県滝沢 巣子152-52，t8akimo@yahoo.co.jp
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 2 - 2.2 STORY EVAL
以 う ，各研究 自 評価方法 考案 一方 ， 研究領域 共有可能 評価枠組 構想 研究 存在
[Rowe 09] ，自動物語生成 interactive storytelling
両方 含 物語生成 全般 適用可能 評価 枠組 STORY EVAL 案 物語生成 複雑
あ ，評価 複 的 方法 必要 あ いう 基本的 考え あ ，以 四 評価 目 成 Narrative Metrics：生成さ 自体 評価 あ 例え
ば， 場人物 行動 信憑性や文章表現 質等 基準 い ，他 物語生成 異 手法 生 成 比較 通 ， 案手法 有効性 検証
いう方法 挙
Cognitive-Affective Studies：生成さ や 対 手 応 析 あ 生成結果 関 ン 他，表情や生体 応 析 方法 あ
Director-centric Studies：物語生成あ い 物語進行 管理 行う機構 着目 評価 あ ， 戦略や方法 有効性 検証 主 課題 あ
Extrinsic Narrative Evaluations： 目標 遉成度 関 全体的 評価 あ 例えば，教育向
場 教育的 効果 ，娯楽的 場 娯楽性 検証
STORY EVAL ，各 目 対 具体的 方法論 供
い い ， 利用 個々 わ 具体的方法 定 必要 あ 次節 ，STORY EVAL
統 物語生成 適用 評価方法 構想
3.
統合物語生成システ の開発方針と評価の構想
統 物語生成 開 方針 述 ， 総 的 評価方法 構想
3.1 開発方針
統 物語生成 研究開 第一段階 現状 目的 ，物語生成 多種多様 知識 方法 統 基
実装 ，実験 通 物語生成能力 高 い あ ，実際 種々 物語生成 実用
いう第 段階 将来 目的
統 いう言葉 ，特 ，物語論 文学理論 領域 蓄積さ 文学的知識 込 自
張文学理論 [Akimoto 14] ，様々 物語
ン 包括 物語生成 技法体系 構築，物語内 容 物語言 物語表現 段階 生成 統 ，物語 表現 言語 映像 音楽 種類 表現媒体 統 等
意味 含
以 う ，本 ，物語 方法 構造 表現媒体 統 的 包括的 扱う ，物語生成 一般性
多様 プ 物語 生成可能 基本的原理 及び汎用性 統 物語生成 基盤 多用途 応用可能性
志向 さ ，人間 比較 場 計算機 特性―形 式 さ 知識や規則 正確 高速 処理 計算能力や 常識 縛 い選択等― ， 開 者
予想 い う 生成 行う 期待 い う 物語 生成さ ば良い いう具体的 目標 明確 定
い
， 生成能力 現時 比較的明確 い 基礎的 要件 ，物語 一貫性 多様性 いう 性能 要 あ 考え い 多様性 ，
生成さ 得 物語 一種 解空間 非常 大 い 意 味 中 可能 物語 構造及び表現 何
原理 統制さ い 必要 あ ， 一貫性 あ 意味 一貫性 ，生成さ 物語 い意味 意味的 首尾一貫性 いう範 超え 概念 あ ， 手
送 手 準 基準 あ 考え 基準 い 4節 5節 さ 考察
3.2 評価の構想
統 物語生成 評価方法 構想 当 ，
2.2 節 紹 STORY EVAL[ROWE 09] 参考 ，
STORY EVAL 構成 各評価 目 ，本 わ
以 う 替え ―Narrative Metrics：出力
析，Cognitive-Affective Studies： 手 対 効果 析，
Director-centric Studies： 内部 動作 析，Extrinsic Narrative Evaluations： 有用性 考察 枠組
， 送 手‐ ‐ 手 物語 原型的コ ニ ン構造[ 方 00] 様 コ ニ ン
対応 1 う 式 送 手，
手 位置付 以 ，各評価 目 主 目的や基準 述
統合物語生成 システ
受け手 人間
生成さ た物語
構造/表現
(1) 出力テクストの分析 (2) 受け手に対
効果の分析
(3) システ 内部
の動作分析
(4) システ の有用性の考察
1 統 物語生成 評価枠組
(1) 出力 析： 生成 物語 構造や表現 性質 特徴 客観的 明 評価 あ 現状 ，生成能力 基本目標 掲 一貫性 多様 性 遉成度 ，物語内容 物語言 物語表現 各
い 析 主 基準
(2) 手 対 効果 析： 及び生成さ 物語 対 ，人間 手 う 応 印象，感想，効 果等 示 調 評価 あ 方法 主
ン 調査 用い
(3) 内部 動作 析： 中核概念 あ 統 実現 程度 確 評価 あ 群 全体 連携 機能 ， 個々 正 設計通 機能 確
，各 設計自体 妥当性 検証 必要 あ 例えば物語論 形式 場 ，
元 理論 整 い
(4) 有用性 考察：統 物語生成 自体 具 体的 用途 目的 定 い い ， 評価 以
評価 総 ， う 有用性 持 考察 位置付 加え ， 実際 応用 通 実証的 評価 要 あ
以 枠組 基 い ，筆者 数 間 行 個 的 評価 試 表1 類
続 節 ， 出力 析 一貫性 多 様性 い ， 行 評価 一例 評価
結果 方法 比 置 述 ，評価基準や方法 展 向 考察 行う
4.
一貫性の評価
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 3 -
表1 主要 評価 試
出 力
析
物語内容 一貫性[秋元 13a] 物語内容 多様性[秋元 14]
物語言 一貫性 多様性[Akimoto 12] 手
対 効
果 析
統 物語生成 応用 いわ 民
KOSERUBE 以 KOSERUBE 物語 森 用い
一般聴衆向 展示 通 感想等 ン 調
査[秋元 13a; 秋元 12]
生成 物語 人間 文章表現 手直
加え 物語文章 一 人間 作成 物語文章 複
数 無指標 示 ，各物語文章
人間 人間 定さ 実験[ 渕 14]
内 部 動
作 析
全体性 いう観 動作実験，他各種 動
作確 未公刊
物語 概念構造 音楽表現 対応性 検証[ 方 11]
物語言 機構内部 仮構さ 語 手 及び 聴 手
妥当性[秋元 10]
有用 性 考察
応用 KOSERUBE及び 物語 森 開 ン
調査 通 考察[秋元 13a; 秋元 12]
4.1 物語内容におけ 一貫性の評価実験
KOSERUBE いう統 物語生成 一応用 対象 ，物語内容生成 部 焦 わ 実験 行 [秋元 13a] KOSERUBE ，岩手県 因 キ
や場 や物 場 民 風物語 自動生成 ，文 映像 音楽 組 わ 紙芝居風画面 演 あ 物語内容生成 ， Propp 基 物語内容生成技法 [ 渕
14] いう，[Propp 69] 形態学 形式 生成技法 主 利用
実験方法 明 被験者 20代 大学生 男女計 8
あ 実験 ，実験方法や注意 明 用紙1 ，評 価対象 物語文 用紙2 ，回答用紙 用紙3 種類 用紙 用い 用紙 1 ， 物語文 ，意味的 一貫性
いう観 問題 指摘 ， 各文 表 い 象 意味 着目 ，文 表現 評価対象 含 い いう指 示 他，回答用紙 記入方法等 記述さ 用紙 2 物語 文 ，生成さ 物語内容 文表現 変換 ， 各 象 意味 正 う 手作業 修正 あ 一
象 一文 ，全体 52文あ
被験者 ，問題 一 次 A B 目 回答 ―(A)物語中 問題 あ 定 部 単位 ， a. 象単
体 ， b. 象間 連続 非連続両方含 ， c. 以 ，
d. 他 中 一 選択 主 被験者 物語 対 着 目 誘 目的 ，(B)物語 部 ，
う 理 遊 い 定 文章 記述
以 用紙 各被験者 配 後， 明者 用紙 1 書 内容 口頭 明 ， 後各被験者 回答 回 答時間 40 間 ，被験者 間自 物語文
結果 ，全被験者 計 112 件 回答 得
， 欄 B 記述 理 類似 毎 類 ，
対 複数 解決策 検討
4.2 基準と方法の考察
述 実験 ，敢え 一貫性 関 厳密 定義 与え ， 被験者 素朴 感覚 問題 拾い 狙
， や映画等 物語作品 ，敢え 一貫 物語展 開 見え い錯綜 展開や表現方法 用い あ ， 統 物語生成 ， う 物語 生成可能
想定 従 ，一貫性 広い意味 捉え 必要 あ ，物語内容，物語言 ，物語表現 各段階 基準 整理
物語内容 一貫性： 象及び 並び ，あ 物語世 界 一貫 制約 中 起 得 あ
基準 例えば，現実的 制約 あ ば， 象及び 並び 範 中 生起 い う あ 基礎 ，逆 空想的 非現実的 世界設 定 想定さ
物語言 一貫性：物語言 如何 語 但 本研 究 構造的側面 相当 ， 手 理解
い う 理路整然 語 ば，敢え 手 混乱さ う 語 方 可能 あ 最 基本的 条件 ， 物語言 物語内容 語 い ，統 物語 生成 い 物語内容 対 構造変 換 成 立 い あ
物語表現 一貫性：物語 論理的構造 基本的 概念 構造 物語内容 物語言 段階 作 ，物語表 現 い あ 一定 基準 基 い 一貫 変換さ い う 基準 但 ，言語 修辞的表現や映像や音楽 一種 芸術的表現 う 前段階 概念構造 予 表現さ い わ い ， 変換 一貫性 基準 外
要素 評価基準 必要 さ
以 う 一部例外 あ ，何 段階 い ， 物 語 構造 表現 何 一貫 原則 制約 基 作
い 一貫性 基準 述 各基準
水準 基準 言え ， 視 見 ば，各段階 構造 表現 一貫 戦略 い 全体的方針 基 い 作
い 一貫性 中 含 う 場 原 則 制約 絶対的 相対的 可変的 あ ，
変え 生成結果 変
以 議論 明 ， 場 一貫性 通常 意味 手 解釈 基準 ，送 手 物語 語 手 方法論的 統一性 関わ 概念 あ いう あ [ 本 65] 自己表出性 巡 議論
う ，物語や文学 い ，情報 送 手 語 手や作 者 表出意思 要 場 あ ， 手 理解可能性 基 準 通常 自然言語処理 場 異 考え方 用 ば い 言え勿論，例えば物語 送 手 意 味的 首尾一貫 物語内容 生成 目標 い 場 ，生成結果 評価 必要 う 場 ， 現状 人間 出力 析 基本 あ ，概念構 造 析 際 文表現等一般 手 理解 表現 直 実験 行う必要 あ や，人間 析 個々 人 主観 絡 完全 客観的 評価 難 い等 問題 あ 2.1節 紹 [Riedl 10] 評価 ，比較 的形式的 物語 理解構造 表現 方法 利用 い
方法 参考 ， 形式的 評価方法 検討 課題 物語 送 手 わ 統 物語生成
以外 一貫性基準 基 い 物語 生成 い 場 評価 新 検討さ ば い
5.
多様性の評価
筆者 ，物語 構造的特徴 定 的 析 ，多様 性 程度や様態 明 方法 考案 方法 物語言 機構 評価[Akimoto 12] 紹 ， 後，多 様性評価 基準や方法 関 考察 行う
5.1 物語言説におけ 多様性の評価実験
物語言 機構[Akimoto 12; 秋元 13b] ，物語内容 物語言
変換 機構 あ ，語 手 聴 手 いう 内部 仮構さ 機構 的 相互作用 生成
通 ，一 物語内容 多数 異 物語言 生成 毎回 生成 ，生成目標 表 パ 基 い 行わ
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 4 -
実験 ，生成さ 物語言 生成目標 各パ 対応 構造的 特徴 自動 析 方法 用い 例えば，パ 長さ や 時間構造 複雑性 他 10
種類 あ ， 長さ 物語言 構造中 象や 写 総数， 複雑性 物語言 構造中 物語内容構造 時間 序変換 表 関係 個数 基 い 計算さ 各 基準 基 析結果 数値 言 的特徴 ぶ
方法 用い 多様性 評価 次 段階 方法 物語内容生成 評価 応用 [秋元 14]
(1) 生成目標のパラ ータと出力との対応性
物語言 多様性 ，一定 制御 生 必要 あ 現在 ，設定さ 生成パ 値 生成結果
間 一定 対応関係 存在 当 ， 実現さ い う ，前述 言 的特徴 基準 基 い 確 以 析
A) 一 生成パ 生成さ 物語言 範 ： 一 生成パ 複数 物語言 生成 ，各結果 言 的特徴 算出 言 的特徴 範 一定 範 う 確
B) 生成パ 変 生 物語言 範 変 ：
生成パ 変 さ ， 伴 出力さ 物語言 言 的特徴 範 う変 析
C) 生成パ 言 的特徴 相関関係：生成パ 値 結果 程度正確 映さ 析 ，各生成パ 設定値 全通 各出力 各言 的特徴 相関係数 計算
(2) 生成サイクルを通 て生成さ 物語言説の多様性
生成 通 生成さ 毎回 物語言 構造 言 的特徴 算出 記録 ， ，生成 通 物語言 う 変 い 析 さ ，多数生成 結果 総体 ，各パ 対応 言 的特徴 範 及び全特徴 組 わ 数 求 以 ，生成さ 物語言 変 や多様性 程度及 び様態 定 的 把握
結果 ，物語言 生成 概 パ 値 対応 行わ ，一 物語内容 膨大 パ ン 物語言 生成可能 あ 確 さ ，複数 パ う 相互 渉 ，特定 パ 値 正 結果 映さ い場 あ 等 問題 明
5.2 基準と方法の考察
物語 多様性 ，物語内容，物語言 ，物語表現 各表現媒 体 割 析 多様性 様々 意味 考え ，形式的 ，前節 実験 行 う ， 構造 表現 構成要素や 組 わ ，形式的 構造的 特徴等 ， 程度 ， う 幅 存在 基準 析可能 あ 析 プ 可能 あ ，多
出力集 多様性 程度や様態 客観的 把握
種 析方法 体系的 構築 ， 析可能 要素 構 造的特徴 張 課題 ， 方法 現在
個々 構造的要素 着目 析 物 語全体 内容的 質的 水準 多様性 主題， ン ，様式等 析 方法 次 必要 必要性
逆 ， 関連 物語 生成技法 充実さ いう 課題 生
6.
あと
統 物語生成 評価方法 ，[Rowe 09] STORY
EVAL 参考 ，出力 析， 手 対
効果 析， 内部 動作 析， 有用性 考 察， いう四 目 枠組 整理 中 出力 析 基礎的基準 物語 一貫性 多様 性 ， 評価 基準及び方法 考察 多様性 関 ，現状 出力構造 表現 構成要素や構造的特徴
定 ， 幅やパ ン 把握 評価 中心 位置付 い 後 課題 方法 張 共 ，
析対象 物語 質的要素 大 い あ 他方一貫性 巡 議論 通 ， 一貫性 ，物語 送
手 語 手 一種 生成統制原理 一貫性 あ 明 送 手側 基準 ベ
本研究 大 特徴 あ 実際 出力 う 映さ い 調査 い 手 容 問題 接続さ 関 本稿 初歩 的 議論 行 過 ， 後 考察
進 い い
参考文献
[秋元 09] 秋元泰 , 方孝: 物語言 評価 い ―評
価方法 調査 物語言 予備評価―, 日本 知科学会
文学 知 コン II研究 科会第19回定例研究会予稿集,
19G-01 (2009)
[秋元 10] 秋元泰 , 方孝: 物語言 成果 現状 後
計画―物語言 統 物語生成 向 ノ
―, 日本 知科学会文学 知 コン II研究 科会第
21回定例研究会予稿集, 21W-01 (2010)
[Akimoto 12] Akimoto, T. & Ogata, T.: A narratological approach for narrative discourse: Implementation and evaluation of the system based on Genette and Jauss, Proc. of the 34th Annual Conference of
the Cognitive Science Society, 1272-1277 (2012)
[秋元 12] 秋元泰 , 淳 , 方孝: 物語 森 ―物語生成
統 的応用 一試行―, 日本 知科学会第29回大会予稿
集, 343-352 (2012)
[秋元 13a] 秋元泰 , 渕祥 , 遠藤 , 淳 , 栗澤康成, 鎌
, 方孝: 民 風物語生成 表現 KOSERUBE第一版
開 , 人工知能学会論文 , 28(5), 442-456 (2013)
[秋元 13b] 秋元泰 , 方孝: 物語生成 物語言 機
構 向 ―物語言 論 容理論 入 案―,
知科学, 20(4), 396-420 (2013)
[秋元 14] 秋元泰 , 方孝: 統 物語生成 現状 特 物
語内容生成 カニ , 信学技報, 113(429), 27-32 (2014)
[Akimoto 14] Akimoto, T. & Ogata, T.: An information design of narratology: The use of three literary theories in a narrative generation system, The International Journal of Visual Design (2014, to appear)
[Gervás 13] Gervás, P.: Propp’s morphology of the folk tale as a grammar for generation, Proc. of 2013 Workshop on Computational
Models of Narrative, 106-122 (2013)
[Graesser 91] Graesser, A. C., Lang, K. L., & Roberts, R. M.: Question answering in the context of stories, Journal of Experimental
Psychology: General, 120(3), 254-277 (1991)
[ 渕 14] 渕祥 , 方孝: プ ップ理論 包括 生成
機構 開 現状 課題, 人工知能学会全国大会 第 28回 論文
集, 2F4-OS-01a-3 (2014, to appear)
[ 方 00] 方孝: 多 物語構造 展開 向 ―
ン 物語序 ―, 文学 知 コン 6― ば
文学―, 日本 知科学会 ニカ , 00-No.32, 87-119 (2000)
[ 方 11] 方孝, 秋元泰 , 清藤綾香: 音楽 物語 環的相互変
換 改訂, 人工知能学会全国大会 第25回 論文集,
1H2-OS1-13in (2011)
[Propp 69] Propp, V. (П , В. .): Мо фо огия аэ и, Иэ, 2е,
Н ук (1969) ( 岡誠 , 福 美智代 (訳): 形態学, 白馬書 (1987))
[Riedl 10] Riedl, M. O. & Young, R. M.: Narrative planning: Balancing plot and character, Journal of Artificial Intelligence Research, 39, 217-267 (2010)
[Rowe 09] Rowe, J. P., McQuiggan, S. W., Robison, J. L., Marcey, D. R., & Lester, J. C.: STORYEVAL: An empirical evaluation framework for narrative generation, Intelligent Narrative Technologies II: Papers from the 2009 AAAI Spring Symposium, Technical Report
SS-09-06, 103-110 (2009)
