こ の 節 で は 実 際 に 提 案 手 法 が 有 効 で あ る 事 例 と提 案 手 法 が 苦 手 と す る 事 例 に つ い て 紹 介 を 行 う。 特 に 、AverageAlignmentSimilari七yは 日 本 語 一英 語 の 翻 訳 評 価 タ ス ク に 有 効 で あ る こ と が 示 さ れ た が 、 ノ イ ズ を 多 く含 む 手 法 で あ る た め 評 価 す る こ と が 難 し い 事 例 が あ る。 以 下 で は 、 そ の よ う な 事 例 の 紹 介 を 行 う。
5.1事 例 分 析
意 味 的 文 類 似 度 を 用 い る こ と に よ っ て 高 精 度 に 評 価 で き て い る 例 を 表5.1で 示 す 。 表5.1の 例1か ら例3ま で はWAT2015の デ ー タ で あ り、 例4はNTCIR8の
デ ー タ で あ る 。 人 手 評 価 と そ れ ぞ れ の ス コ ア は[0,1]に 値 を と る よ う に 正 規 化 し て い る 。
例1は ど の 評 価 尺 度 も 比 較 的 に 高 い ス コ ア を 出 して い る 。
例2は 意 味 的 文 類 似 度 が 他 の 評 価 尺 度 と比 較 し て 、 有 効 性 が 示 さ れ て い る 例 で あ る 。 例2で は 否 定 表 現 の 言 い 換 え が う ま く表 現 で き て い る翻 訳 で あ る に も か か わ ら ず 、BLEUとMETEORは 比 較 的 に 低 い ス コ ア リ ン グ を し て い る 。 こ れ は 表 層 の 一 致 だ け で な く、 単 語 ア ライ メ ン トが 有 効 で あ る こ と を示 して い る。
例3は 意 味 的 文 類 似 度 で も う ま く評 価 が で き て い な い 例 で あ る 。 例3を 考 え て み る と"that"節 以 降 の 態 が 異 な る た め 、 低 い 人 手 評 価 が な さ れ て い る 。 し か し 、 意 味 的 文 類 似 度 は う ま くス コ ア リ ン グ が な さ れ て い な い 。 こ れ は 、 意 味 的 文 類 似 度 が 単 語 の 依 存 関 係 を 考 慮 せ ず 、 態 の 異 な りに よ る ペ ナ ル テ ィ が 一 切 含 ま れ て い な い こ
と に よ る も の で あ る と考 え られ る 。
例4はAverageAlignmen七Similarityが 評 価 し に く い 例 で あ る 。 例4は 単 に 単 語 数 が 多 い た め にAverageAlignmentSimilari七yは 低 い ス コ ア を 与 え て い る 。 AverageAlignmentSimilarityは 事 実 上 、 文 が 長 くな れ ば な る ほ ど ス コ ア が 低 く な
る 評 価 尺 度 で あ る た め 、 単 語 数 が 極 端 に 多 い 出 力 と参 照 の ペ ア の 評 価 に は 向 い て い な い こ と が 懸 念 さ れ る 。 一 方 、RIBESやOne‑hot表 現 に 基 づ く意 味 的 文 類 似 度 な ど の 表 層 の 一 致 の み で 評 価 す る 評 価 尺 度 は 、 比 較 的 低 い ス コ ア を 与 え て い な い 。 図 4.2か ら読 み 取 れ る 通 り、NTCIR8は 表 層 の 一 致 を 評 価 す る 方 が 、 人 手 と 高 い 相 関
を 得 る こ とが で き る 。 こ れ は 、NTCIR8が 持 つ 特 有 の 性 質 で あ り、NTCIR8の デ ー タ セ ッ トに お い て は 表 層 の 一 致 を 評 価 す る こ とが よ り適 切 で あ る 可 能 性 が あ る 。
1翻11実 例 1
1 出 力:Inbothcases,thepostoperativecoursewasgood.
参 照Inboththecases,postoperativecourseweregood.
2 出 力Inthetrea七ment,sideeffectwasnotrecognized.
参 照Nosideeffectwasnotedduringtreatment.
3 出 力:Itisfoundtha七thedeformationisaffectedbythe pairdensitydis七ribution・
参 照:Itwasfbund七hatthedeformationgaveeffects七 〇the
pairingdensitydistribution・
4 出 力:Theaboveconfigurationandoperation,thewaterdrops, evenin七hecasewherethewindowisnotexpectedoperation, itispossibletosurelystopped,andtheoperationswitch(dn)is opera七edandthewindowisopened,itispossibletoavehicle occupan七movesoutfrompossible・
参 照:Withtheabove‑describedconstructionandoperation, evenwhenanautomobilefallsintowa七er,七hewindowsare
surelystoppedwithoutperformingunexpec七edopera七ions, andcanbesurelyopenedbyopera七ingtheopera七ionswi七ch
(dn),thusenablingoccupantstoescapefromtheautomobile.
番号 lRIBES
METEOR One‑hot AAS MAS人手評価
0.92 0.90 0.89 0.94 1.00
1 0.83
2
■
0.23 0.37 0.55 0.73 0.71 1.00
3
.
0.30 0.37 0.64 0.69 0.78 0.20
4
.
0.75 0.25 0.56 0.11 0.61 0.80
表5.1RIBES、METEORと 意 味 的 文 類 似 度 の ス コ ア と人 手 評 価(妥 当 性)の 比 較