• 検索結果がありません。

『現代日本語書き言葉均衡コーパス』における電子 化テキストの構築

N/A
N/A
Protected

Academic year: 2021

シェア "『現代日本語書き言葉均衡コーパス』における電子 化テキストの構築"

Copied!
406
0
0

読み込み中.... (全文を見る)

全文

(1)

国立国語研究所学術情報リポジトリ

『現代日本語書き言葉均衡コーパス』における電子 化テキストの構築

著者 西部 みちる, 大島 一, 間淵 洋子, 小林 正行, 田 島 孝治, 高田 智和, 山口 昌也

ページ 1‑396

発行年 2011‑02‑25

シリーズ 国立国語研究所内部報告書 ; LR‑CCG‑10‑03

URL http://doi.org/10.15084/00002853

(2)

㌃  「  一 1」   .。 ∨. 紗.

.穴

l o  Y

κ X㍗㌘

㌘・・一『…馳≧啓

       焚. 〉    、      ←_に、ぷ      

竜.︑

x

4

4︑

r.

トる

癒欝㌘謹藪

ば 』    汲   へ          訟・   s響     ◇㌃.

﹀  秀零灘

㌔珍

 ミ が   

;欝  1縫鱗

1∴鵡

難、 ..il、

欝難

 興    x

 :

、迄 興  ぐぴ彰澱

1 籏

.「

 ヒ    ぐ壕」

   彰.愁   .!耀

㌶継凝

、,1濠灘 難◇湯

     嵩※

      。講,.藻.※

     嚢

鵡÷藁講

婿㌘    ㌶

 寡綜:)燃濠ぶ臨ぺ乏⑳ぐ

蕊鞘鴛  ・¥

  ㌔         《   び

   妻

∵  シ

 o  ユひぎ  ◇火s 該κ

懸.欝蕪

彰ル イ.麩.紗

.念

㌍ぶるぺ畿熱縣遷

   ぺ

鋸聾

爆鑛

タ ・る彰が

哀x  や辮.

、揚  ぷ

   ㍗X 買

褒黛

馨欝㌻!

蜘 醜藤謝

 ば  ・訟  渓楊.毒

X

sぷ

藤  ㌧、

 罵.治.ケ

雛灘1.橡

 κ  籏   ﹁人

似X協

 .げ苓裟ぷ

漂   . 芽彩

影  葱

㌘※

 甲x 響玄  慧縢ぶ 譲灘響

蓑茎   ぴ冨 文ごパ  ∀  疹 庖紗壱鯨ぺ

   鵜疹蓉ばぶ

鹸灘

  燈鯨︒早︒﹃脳 襟葱

ぷ.

寒び

湯頭,

漁ジ

 軌惑羅祭鷲ぶ  輪ぶ

ざ       ぶ

 繊    灘・

慧難・

其軽鍵繋響葱

    裟

ぺ鐵鞭塁騨羅

・欧嚇轡  .興熟   鱗

L.

   窪・

    織w毒∪

    づ灘       ベ ぷ:

      紗  . べぶ該

丁 びぶき膓滋 遥彩          紗繰   裟

 が         が

ぐぺぶ           ほ         シ

響難購

    窯.で ざ

       る双.   じ  =』

    ば     該.潔

 叩 ぽ       \ 興

   タ  穿   ぷぶ、

.鋲  芯

・ぶ

(3)

『現代日本語書き 葉均衡コーパス』

   おける電子化テキストの構築

西部みちる 大島 間淵 洋子 小林 正行 田島 孝治 高田 智和 山口 昌也

       平成23年2月

◎2011大学共同利用機関法人人間文化研究機構国立国語研究所

(4)
(5)

目次

はじめに ··· 1

第1部 データ構築 ··· 3

第1章 電子化

··· 西部みちる,大島一 5 1.1 電子化の種類 ··· 5 1.2 文字入力仕様 ··· 6

第2章 データ班において紙面から文字入力・XML 文書化するもの

···西部みちる,大島一,間淵洋子(2.3,2.6,2.8),山口昌也(2.7) 8 2.1 文字入力外注 ··· 8

2.1.1 業者の選定 2.1.2 入力試行

2.1.3 作業時の質問対応

2.1.4 納品チェックとフィードバック

2.2 納品チェック ··· 14 2.2.1 機械的に検出するもの

2.2.2 ツールを使用するもの

2.2.3 ランダムサンプリングチェック

2.3 作業用データへの変換··· 19 2.2.1 入力エラーの修正及びデータ整形

2.3.2 データリストの作成 2.3.3 作業用データへの変換

2.4 アノテーション··· 21 2.4.1 作業管理

2.4.2 アノテーション作業

2.5 外字処理 ··· 29 2.6 リリース用データへの変換··· 30

2.6.1 変換対象データの確認

2.6.2 簡易タグ形式から XML 形式への変換 2.6.3 可変長形式 XML・固定長形式 XML の抽出 2.6.4 Merged 形式への変換

2.7 リリース ··· 32 2.8 新公開形式への対応··· 33

2.8.1 背景

(6)

2.8.2 カウント対象外要素 2.8.3 verse への sentence 付与

第3章 電子データが存在するもの··· 西部みちる,大島一(3.2.3,3.2.4) 38

3.1 他の班において電子化されたデータを加工(変換)し,XML 文書化するもの ··· 38

3.1.1 検定教科書(OT) 3.1.2 広報紙(OP) 3.2 既存の電子データを加工し,XML 文書化するもの ··· 41

3.2.1 会議録(OM) 3.2.2 法律(OL) 3.2.3 Yahoo!知恵袋(OC) 3.2.4 Yahoo!ブログ(OY)

参考資料 データ構築に用いたマニュアル類··· 48

第2部 タグの運用方法と運用結果 ··· 193

第1章 タグの概要

··· 間淵洋子,西部みちる 195 1.1 タグの分類 ··· 195

1.1.1 本文要素を表すタグ・特定の言語要素を表すタグ 1.1.2 人手で付与するタグ・自動付与するタグ 1.1.3 ブロックの要素に用いられるタグ・インラインの要素に用いられるタグ 1.2 あまり用いられなかったタグ··· 198

1.3 変更されたタグ··· 198

1.4 タグの種類 ··· 199

第2章 用いられたタグの数の一覧表··· 大島一 201

2.1 書籍(BK) ··· 204

2.2 雑誌 (PM) ··· 205

2.3 新聞 (PN) ··· 206

2.4 白書 (OW) ··· 207

2.5 韻文 (OV) ··· 208

2.6 教科書 (OT) ··· 209

2.7 国会会議録 (OM)··· 210

2.8 ウェブデータ Yahoo!知恵袋 (OC)・Yahoo!ブログ (OY) ··· 211

第3章 タグの運用方法··· 212

3.1 文章の構造・範囲を示すタグ··· 間淵洋子 212

3.1.1 はじめに

3.1.2 article 要素

3.1.3 cluster 要素

(7)

3.1.4 list 要素

3.2 自動認定によって付与されるタグ··· 間淵洋子 232 3.2.1 はじめに

3.2.2 paragraph 要素 3.2.3 sentence 要素 3.2.4 quote 要素

3.3 見出し・要約を示すタグ··· 間淵洋子 242 3.3.1 はじめに

3.3.2 title 要素 3.3.3 titleBlock 要素 3.3.4 orphanedTitle 要素 3.3.5 abstract 要素

3.4 図版と付随要素を示すタグ··· 大島一 262 3.4.1 はじめに

3.4.2 caption 要素 3.4.3 figure(要素あり)

3.5 引用を示すタグ··· 小林正行 274 3.5.1 導入

3.5.2 speech 要素 3.5.3 citation 要素

3.6 注記を示すタグ··· 小林正行 281 3.6.1 導入

3.6.2 noteBody 要素 3.6.3 noteBodyInline 要素 3.6.4 noteMarker 要素

3.7 記事の補足要素を示すタグ··· 西部みちる 293 3.7.1 はじめに

3.7.2 authorsData 3.7.3 profile 3.7.4 contents

3.8 入力対象外要素を示すタグ··· 西部みちる 299 3.8.1 はじめに

3.8.2 入力しないもの(削除対象)を示すタグ 3.8.3 入力できないものを示すタグ

3.8.4 装飾,レイアウトに近いものを示すタグ

3.9 韻文を示すタグ··· 大島一 306

(8)

3.9.1 はじめに 3.9.2 verse 要素 3.9.3 verseLine 要素

第3部 ツール ··· 311

第1章 文字関連ツール··· 田島孝治

313 1.1 文字セット検査ツール「規格監査人」··· 313 1.2 文字検査支援ツール「目視録」 ··· 317 1.3 外字処理支援ツール「GETAWAY」 ··· 322

第2章 文字入力とタグづけ支援のためのツール··· 山口昌也

327 2.1 文字入力支援ツール n-mode··· 327 2.2 簡易タグづけ支援ツール m-mode··· 330

第4部 成果発表 ··· 339 代表性を有する書き言葉コーパスの電子化フォーマットについて

··· 間淵洋子,山口昌也,柏野和佳子,田中牧郎 343 文字・表記研究とコーパス―KOTONOHA と「ひまわり」の紹介―

··· 高田智和,山口昌也 347 文字コードとタグによる漢字字体の記述

··· 高田智和,間淵洋子,西部みちる,北村雅則,山口昌也 351 教えあいに基づく作文作成支援システムの設計 ··· 山口昌也 355 JISX0213:20041 の運用―康煕別掲字と UCS 互換字を中心に― ··· 高田智和 359

「白書コーパス」の字種 ··· 高田智和 364 コーパスを用いたテキスト分類指標の検討―BCCWJ の文書構造情報分析を中心に―

··· 間淵洋子,柏野和佳子,山口昌也,高田智和 367 コーパス収録上問題となるネット表現 ―Yahoo!知恵袋データを対象に―

··· 大島 一,西部 みちる,小林 正行,柏野 和佳子 371 メディア別外字表現の実態 ―『現代日本語書き言葉均衡コーパス』収録サンプルより―

··· 西部みちる,小林正行,大島 一,柏野和佳子 379

現代日本語コーパスにおける文字処理 ··· 高田智和 387

(9)

は じ め に

こ の 報 告 書 で は , 特 定 領 域 研 究 「 代 表 性 を 有 す る 大 規 模 日 本 語 書 き 言 葉 コ ー パ ス の 構 築 :

21

世 紀 の 日 本 語 研 究 の 基 盤 整 備 」の デ ー タ 班 内 ,お よ び 国 立 国 語 研 究 所 コ ー パ ス 開 発 セ ン タ ー 内 の , 電 子 化 グ ル ー プ に お け る 電 子 化 テ キ ス ト の 構 築 に つ い て 述 べ る 。 電 子 化 グ ル ー プ の メ ン バ ー の 多 く は 有 期 雇 用 職 員 で あ り , 当 プ ロ ジ ェ ク ト 終 了 の

2011

3

月 末 日 を も っ て そ の 任 期 は 終 了 し , デ ー タ 構 築 に つ い て の 詳 細 を 知 る 者 は い な く な る 。 そ の た め , デ ー タ 構 築 の 実 態 を で き る だ け 詳 細 に 記 録 し て お く 必 要 が あ る と 考 え た 。 こ の 報 告 書 が ,

BCCWJ

の 利 用 者 , ま た 次 の 電 子 化 テ キ ス ト 構 築 に 携 わ る 人 の 役 に 立 つ こ と を 信 じ , 失 敗 も 含 め て で き る か ぎ り 詳 細 に 記 し た 。

BCCWJ

に は ,大 き く 分 け て

2

種 類 の 電 子 化 の 方 法 の も の が 含 ま れ て い る 。デ ー タ の 収 集・

入 力 か ら

BCCWJ

の 仕 様 に 沿 っ て 作 ら れ た も の と ,す で に あ る 電 子 デ ー タ を 利 用 し た も の の

2

種 で あ る 。 そ の 性 質 や , で き あ が っ た 電 子 化 テ キ ス ト の 形 式 が 大 き く 異 な る た め , デ ー タ の 利 用 に お い て は , そ の 差 異 を 意 識 し 留 意 す る こ と が 必 要 と な る 。

ま た , 今 後 の 電 子 化 テ キ ス ト 構 築 に お い て は , 手 間 , 時 間 , 予 算 を 使 っ て 紙 か ら 入 力 す る よ り , 既 に あ る 電 子 化 デ ー タ を 利 用 す る 方 が 主 流 に な る 可 能 性 が 高 い と 思 わ れ る が , 一 見 , 近 道 に 見 え る 後 者 の 方 に , 実 は 多 く の 労 働 が 必 要 と さ れ た こ と を , こ こ に 述 べ て お く 。

本 報 告 書 は , 以 下 の 4 部 か ら 構 成 さ れ る 。

第 1 部 デ ー タ 構 築 :デ ー タ 構 築 の 流 れ に つ い て 述 べ る 。完 全 に

BCCWJ

の 仕 様 に 沿 っ た も の と ,す で に あ る 電 子 デ ー タ を 利 用 し た も の と の 違 い が わ か っ て い た だ け る と 思 う 。 第 1 部 の 最 後 に は , 参 考 資 料 と し て 作 業 で 用 い た マ ニ ュ ア ル を 挿 入 し た 。

第 2 部 タ グ の 運 用 方 法 と 運 用 結 果 : ア ノ テ ー シ ョ ン に 使 用 し た タ グ に つ い て 述 べ る 。 タ グ の 運 用 方 法 の ほ か , ど の メ デ ィ ア に ど の よ う な タ グ が 現 れ る か が 概 観 で き る よ う 頻 度 一 覧 を つ け た 。

第 3 部 ツ ー ル : こ の デ ー タ 構 築 に 用 い ら れ た ツ ー ル の 紹 介 を す る 。 第 4 部 成 果 発 表 : こ れ ま で に 領 域 外 で 行 っ た 発 表 成 果 を 再 掲 す る 。

な お ,電 子 化 フ ォ ー マ ッ ト の 詳 細 に つ い て は ,当 報 告 書 と 同 時 期 に 刊 行 す る「『 現 代 日 本 語 書 き 言 葉 均 衡 コ ー パ ス 』 に お け る 電 子 化 フ ォ ー マ ッ ト

ver.2.2

」 を 参 照 し て い た だ き た い 。

電 子 化 テ キ ス ト の 構 築 に お い て は , 外 注 で 文 字 入 力 を し て く だ さ っ た 業 者 の ほ か , ア ノ テ ー シ ョ ン 作 業 に 携 わ っ た み な さ ま , そ し て 主 に 文 字 チ ェ ッ ク を 淡 々 と 続 け て く だ さ っ た み な さ ま の , 多 く の 方 の 助 け を 得 た 。 こ こ に お 名 前 を 記 し , 感 謝 の し る し と さ せ て い た だ く 。

[ア ノ テ ー シ ョ ン 作 業 ]

相 木 ま ど か さ ん , 市 村 太 郎 さ ん , 三 宅 康 子 さ ん , 渋 谷 恵 子 さ ん , 今 和 泉 意 図 弥 さ ん , 西 村 敏 也 さ ん , 新 井 麻 樹 さ ん , 上 野 左 絵 さ ん , 矢 田 部 幸 さ ん , 古 西 悠 里 子 さ ん , 大 原 啓 輔 さ ん , 荻 野 聡 さ ん , 河 辺 隆 宏 さ ん , 石 川 弥 智 代 さ ん , 藤 本 三 輪 さ ん , 宮 入 英 子 さ ん , 田 中 里 沙 さ ん , 重 田 拓 郎 さ ん , 芹 澤 佳 世 子 さ ん

[文 字 チ ェ ッ ク 作 業 ]

山 口 里 香 さ ん , 菊 地 美 樹 さ ん , 岡 部 ほ な み さ ん , 高 橋 恵 美 さ ん

西 部 み ち る

(10)
(11)

第1部

データ構築

(12)
(13)

第 1 章 電 子 化

西 部 み ち る , 大 島 一

1.1.電 子 化 の 種 類

BCCWJ

は 3 種 類 の サ ブ コ ー パ ス( 以 下 ,SC と 記 す )よ り 構 成 さ れ る 。こ こ に 収 録 さ れ る デ ー タ は , テ キ ス ト 電 子 化 の 形 態 か ら 分 類 す る と , 以 下 の 三 つ に 分 け ら れ る 。

A.

デ ー タ 班

1

に お い て 紙 面 か ら 文 字 入 力 ・

XML

文 書 化 す る も の

書 籍(

PB 2

・LB・OB)・雑 誌(

PM)・新 聞( PN)・白 書( OW)・韻 文(OV)

B.

他 の 班 に お い て 電 子 化 さ れ た デ ー タ を 加 工 ( 変 換 ) し ,XML 文 書 化 す る も の 教 科 書 (

OT)・ 広 報 紙 ( OP)

C.

既 存 の 電 子 デ ー タ を 加 工 し ,

XML

文 書 化 す る も の

会 議 録 (

OM)・ 法 律 ( OL)・ Yahoo!知 恵 袋 (OC)・Yahoo!ブ ロ グ (OY

1

デ ー タ 班 で は ,「 サ ン プ リ ン グ グ ル ー プ 」 → 「 電 子 化 グ ル ー プ 」 → 「 形 態 論 情 報 付 与 グ ル ー プ 」 と い う 順 番 で デ ー タ が 流 れ て い く ( 同 時 並 行 で ,「 著 作 権 処 理 グ ル ー プ 」 が , 日 々 奔 走 し て い る )。

2

媒 体 名 の 後 の ( ) 内 は ,

sampleID

の 頭

2

BCCWJ の構成

生 産 実 態 ( 出 版 ) SC 3500 万 語

流 通 実 態 ( 図 書 館 ) SC 3000 万 語

非 母 集 団 ( 特 定 目 的 ) SC 3500 万 語

( 出 版 デ ー タ を 母 集 団 と し た ラ ン ダ ム サ ン プ ル )

( 公 共 図 書 館 の 収 蔵 図 書 を 母 集 団 と し た ラ ン ダ ム サ ン プ ル )

( そ の 他 の サ ン プ ル )

書 籍(LB)

白 書 (OW)・ 韻 文 (OV)・

ベ ス ト セ ラ ー (OB)

教 科 書 (OT)・ 広 報 紙 (OP)

国 会 会 議 録 (OM)・

法 律(OL)・

Yahoo!知 恵 袋 (OC)・

Yahoo!ブ ロ グ (OY) 書 籍 (PB)・ 雑 誌 (PM)・

新 聞(PN)

A

デ ー タ 班 で 入 力

B

他 の 班 で 入 力

C

既 存 の デ ー タ を 利 用

(14)

我 々 の グ ル ー プ( コ ー パ ス 開 発 セ ン タ ー 電 子 化 グ ル ー プ )の メ イ ン の 業 務 は ,A に 対 す る 入 力 お よ び ア ノ テ ー シ ョ ン で あ る 。

A

に 関 し て は , 何 を 入 力 対 象 と す る か を コ ー パ ス 開 発 セ ン タ ー サ ン プ リ ン グ グ ル ー プ に お い て 明 確 に 規 定 し て あ り ,そ の 対 象 を ,当 グ ル ー プ の 仕 様 に し た が っ て 文 字 入 力 を お こ な い ,ア ノ テ ー シ ョ ン へ と 進 む 。一 方

B

C

は ,す で に 電 子 デ ー タ が あ る 点 が

A

と 大 き く 異 な っ て い る 。こ の 電 子 デ ー タ は ,入 力 対 象 を は じ め ,入 力 形 式 も 当 グ ル ー プ で 制 御 で き な か っ た 。そ の た め も あ り ,ア ノ テ ー シ ョ ン は 限 定 的 に 行 っ て い る 。 次 章 で は ま ず

A

に つ い て の デ ー タ 作 成 方 法 を ,紙 面 を 割 い て 説 明 し ,次 に こ れ と は ま っ た く 性 質 の 異 な る

B

C

の デ ー タ 作 成 方 法 を 記 述 す る 。ま た ,そ れ ぞ れ の 媒 体 に お け る ア ノ テ ー シ ョ ン に つ い て も 触 れ る 。

1.2.文 字 入 力 仕 様

こ こ で は 文 字 入 力 仕 様 ( 山 口 ほ か

2011) の 概 略 を 述 べ る 。 基 本 仕 様 は 次 の と お り で あ る 。

・ 装 飾 , レ イ ア ウ ト な ど の 図 形 的 情 報 を 除 い て 文 字 を 入 力 す る ( レ イ ア ウ ト の 情 報 は , 必 要 に 応 じ て , タ グ で 表 現 す る )

・ 全 て の 文 字 種 の 入 力 に , 全 角 文 字 を 用 い る

・ 文 字 合 成 は 行 わ な い

・ 上 記 条 件 に 抵 触 し な い 範 囲 で , 原 則 と し て , 原 文 を 忠 実 に 転 記 す る

文 字 コ ー ド は

Unicode

UTF16LE

Byte Order Mark

付 き ),改 行 コ ー ド は

LF

を 用 い る 。 文 字 セ ッ ト は 独 自 の も の で あ る 。JIS X0213:2004 規 格 に 準 拠 し て い る が , 完 全 に は 一 致 し な い 。 こ れ は , デ ー タ 作 成 に 用 い る 処 理 系 に よ る 制 限 も あ る が , 以 下 に 挙 げ る よ う な 版 面 に 現 わ れ る 文 字 そ の も の の 図 形 と し て の 側 面 は

BCCWJ

で は 特 に 取 り 立 て な い と し た 方 針

( 丸 山 ほ か

2007) に よ る た め で あ る 。

・ 入 力 対 象 外 要 素 を 構 成 す る 文 字

・ 装 飾 ・ デ ザ イ ン に か か わ る 文 字

・ 類 似 の 非 漢 字

・ 合 成 文 字

・ 半 角 文 字

つ ま り ,同 一 の 機 能 を 持 つ 文 字 は ,デ ザ イ ン の 差 や

JIS

規 格 へ の 収 録 の 有 無 に よ ら ず ,全 て 統 一 的 に デ ー タ 化 す る 。文 字 に 施 さ れ た 装 飾・デ ザ イ ン と 判 断 さ れ た「 組 み 文 字 」「 囲 み 文 字 」「 上 付 き 文 字 」は 表 現 せ ず ,す べ て 全 角 文 字 で 入 力 す る が ,そ れ が 装 飾 で は な い と 判 断 で き る 次 の も の に 関 し て の み , そ の 機 能 を 次 の タ グ で 表 現 す る 。

・ 読 み 方 を 表 す 小 書 き 文 字 :

ruby

・ 分 数 :

fraction

・ 行 間 注 ・ 傍 注

3

な ど の 小 書 き 文 字 :noteBodyInline

・ 注 番 号 と し て の 上 付 き 文 字 :noteMarker

・ 順 序 ラ ベ ル ・ 参 照 ラ ベ ル と し て の 囲 み 文 字 :

enclosedCharacter

(description 属 性 あ り )

・ 略 語 と し て の 囲 み 文 字 :enclosedCharacter (description 属 性 な し )

・ 数 式 ・ 化 学 式 な ど の 上 付 き ・ 下 付 き 文 字 :superScript,

subScript

3

行 外 に 付 随 す る 形 式 で 現 れ る 小 書 き の 注 記 。 内 容 に 疑 問 が あ る に も か か わ ら ず ,原 文 を そ の ま ま 引 用 し た こ と を 示 す た め の 「 マ マ 」 の 注 な ど 。

(15)

ま た , 文 字 セ ッ ト で 転 記 で き な い 文 字 は , 以 下 の タ グ で 表 現 す る 。

・ 漢 字 ・ 仮 名 ・ ア ル フ ァ ベ ッ ト ( ラ テ ン 文 字 ・ ギ リ シ ャ 文 字 ):

missingCharacter

・ 上 以 外 の 言 語 を 表 す 文 字 ( 列 ):

rejectedSpan@type="foreign"

・ そ の 他 の 一 般 記 号 類 :image

(16)

第 2 章 デ ー タ 班 に お い て 紙 面 か ら 文 字 入 力 ・ XML 文 書 化 す る も の

西 部 み ち る , 大 島 一 , 間 淵 洋 子

(2.3

2.6

2.8)

, 山 口 昌 也

(2.7)

書 籍(PB・LB・OB)・ 雑 誌(PM)・ 新 聞(PN)・ 白 書(

OW)・ 韻 文(OV)の 五 つ の メ デ

ィ ア は , 紙 媒 体 か ら の 文 字 入 力 に よ っ て 電 子 化 し た も の で あ る 。 サ ン プ リ ン グ グ ル ー プ が 入 力 対 象 を 確 定 し た 紙 面 を 外 注 業 者 に 渡 し , 業 者 が 当 方 の 文 字 入 力 仕 様 に し た が っ て 入 力 , 納 品 さ れ た デ ー タ の 品 質 検 査 ( 以 下 ,「 納 品 チ ェ ッ ク 」) を 経 た 上 で , 作 業 用 デ ー タ に 変 換 し , 構 造 の ア ノ テ ー シ ョ ン を 行 い , 外 字 処 理 を 行 い , 形 態 論 情 報 処 理 の グ ル ー プ へ デ ー タ を リ リ ー ス し て い る 。

な お , こ れ 以 外 の 媒 体 に 関 し て は ま っ た く 違 う 処 理 を 行 っ て い る の で , 次 章 で 述 べ る 。

2.1.文 字 入 力 外 注

文 字 入 力 外 注 は 次 の 流 れ で 進 む 。

① 業 者 の 選 定 , 契 約

② 入 力 試 行 ・ 研 修

③ 作 業 ※ 1 ヵ 月 の サ イ ク ル を 複 数 回

入 稿 → 納 品 → 納 品 チ ェ ッ ク → エ ラ ー 報 告 ( フ ィ ー ド バ ッ ク ) → 再 納 品 → デ ー タ 整 形

2.1.1.業 者 の 選 定

文 字 入 力 は 業 者 の 選 定 か ら 始 ま る 。 当 プ ロ ジ ェ ク ト 開 始 当 時 の 国 語 研 究 所 は 独 立 行 政 法 人 だ っ た た め ,規 定 に よ り

100

万 円 を 超 え る 案 件 は 入 札 を 行 っ た 。こ ち ら の 複 雑 な 仕 様 を 理 解 し な い ま ま 入 札 に 参 加 す る 業 者 も 少 な く な く , 作 業 開 始 時 は つ ね に 困 難 を 極 め た 。 反 対 に 小 額 の 案 件 の 場 合 に は , 入 札 の 必 要 が な い た め , 熟 練 し た 業 者 に 依 頼 す る こ と が で き , か な り ス ム ー ズ に 作 業 を 完 遂 で き た 。

一 般 に ,「 文 字 入 力 」と は「 デ ー タ 入 力 」を さ す よ う で ,入 力 会 社 の 多 く は ,ア ン ケ ー ト の よ う な 決 ま っ た フ ォ ー マ ッ ト に 収 ま っ た デ ー タ を 入 力 す る 作 業 を 想 定 し て い る よ う に 感 じ ら れ た 。 よ っ て , こ の プ ロ ジ ェ ク ト で 必 要 と す る よ う な , 段 落 の あ る 文 章 を , イ ン デ ン ト 等 を 重 視 せ ず , し か し 文 字 や 記 号 の 使 い 分 け に 留 意 し つ つ , 高 い 精 度 で 入 力 す る , と い う 作 業 に は 慣 れ て お ら ず , こ こ を 認 識 し て も ら う こ と が 難 し か っ た 。

2.1.2.入 力 試 行

文 字 入 力 業 者 は 文 字 入 力 マ ニ ュ ア ル

4

に 沿 っ て 作 業 す る 。マ ニ ュ ア ル の 精 通 を 確 認 す る た め に ,作 業 開 始 前 に は ,

10

サ ン プ ル 程 度 の 入 力 試 行( 研 修 )を 実 施 す る 。本 作 業 に 入 る 前 に は , エ ラ ー 発 生 の 過 程 ・ 理 由 ・ 対 策 を 検 証 す る た め の 作 業 フ ロ ー を 確 立 す る 。

1 章 で 述 べ た よ う に ,

BCCWJ

で は 文 字 セ ッ ト 外 字 を 必 ず タ グ に よ り 表 現 す る た め , 外 字 と し て 「 〓 」 文 字 を 使 用 し た 場 合 に は , 全 て そ の 字 形 を 同 定 し , 適 切 に 処 理 す る 必 要 が あ っ た 。 こ の た め , 文 字 入 力 の 段 階 か ら 「 〓 」 の 多 用 を 避 け , 類 似 の 文 字 を 入 力 し た 上 で 外 字 用 の タ グ を 用 い る も の と ,「 〓 」を 用 い る も の と が あ る こ と を 理 解 し て も ら う 必 要 が あ っ た 。研 修 用 サ ン プ ル は , 外 字 タ グ と し て 用 い た 「

( )

」 や 「 〓 」 の ほ か , ル ビ , 注 , 削 除 要 素 , イ ン デ ン ト ス ペ ー ス の 扱 い な ど を 学 べ る も の を 用 意 し た 。( そ の 結 果 ,実 際 の サ ン プ ル に 比 し て

4

第 1 部 参 考 資 料 「 文 字 入 力 マ ニ ュ ア ル 」 参 照

(17)

特 に 難 易 度 の 高 い も の ば か り が 選 ば れ た 。)

〔 PB19_00255「 孝 子 伝 の 研 究 」〕 〔 LBm9_00071「 美 食 」〕

【図 1:研 修 用 サンプルの例 】

ま た ,作 業 時 は コ ー パ ス の 仕 様 と 異 な る シ フ ト

JIS

コ ー ド で 入 力 し ,提 出 前 に

Unicode

に 変 換 す る , と い う 業 者 に 対 し て は , こ ち ら か ら 渡 し た 使 用 文 字 一 覧 を 業 者 側 の コ ン バ ー タ で 変 換 し て 提 出 さ せ , 問 題 が な い か を 予 め 確 か め た 。

試 行 時 に 起 こ っ た エ ラ ー に は 次 の よ う な も の が あ っ た 。

・ イ ン デ ン ト や レ イ ア ウ ト の ス ペ ー ス を 入 力

・ 漢 字 の 包 摂 基 準 の 認 識 不 足

・BCCWJ 文 字 集 合 と

JIS X0213

規 格 と の 違 い の 認 識 の 誤 り

・ コ ー ド の 誤 り (

BOM

欠 落 , 改 行 コ ー ド 誤 り )

・ コ ー ド 変 換 時 の エ ラ ー ( 下 表 )

誤 正

文 字

Code

文 字

code

FFE0 ¢ 00A2

FFE1 £ 00A3

FFE2 ¬ 00AC

2225 ∥ 2016

FF0D − 2212

FF5E 〜 301C

な お , 当 コ ー パ ス の 文 字 入 力 仕 様 で は , 前 述 の と お り 文 字 セ ッ ト を

JIS X0213:2004

に 準 拠 し た 独 自 の 集 合 と し て い る が , 外 注 入 力 時 は

JIS X0213:2004

で は な く

JIS X 0208:1997

(18)

を 一 部 拡 張 し た 文 字 セ ッ ト

5

( 入 力 可 能

6

な 絵 記 号「 ☎ 」「 〠 」「

♥」な ど を 含 む も の )で 入 力 し ,

こ れ を 納 品 後 に

JIS X0213

に 適 合 す る よ う 類 似 字 形 の 判 別 な ど を 実 施 し て 置 き 換 え た 。こ れ は ,当 初 は

JIS X0213

で の 入 力 を 求 め て い た が ,そ れ に 対 応 で き る と 謳 う 業 者 が 少 な く ,単 価 が 高 い だ け で エ ラ ー が 頻 出 し た た め で あ る 。

ま た , 大 量 の 「 〓 」 が 入 力 さ れ る こ と を 防 ぐ た め , あ る 種 の 外 字 が 多 く 含 ま れ る と 予 想 さ れ る と き に は , そ れ を 入 力 可 能 な 記 号 ( コ ー パ ス の 文 字 セ ッ ト 外 だ が

JISX0208

内 の も の ) で 入 力 し て く れ る よ う 依 頼 し た 。 た と え ば , 雑 誌 に は 電 話 マ ー ク 「 ☎ 」 が 頻 出 す る も の が あ っ た が , あ る 業 者 の 環 境 で は 入 力 で き な か っ た た め ,「 ☎ 」 を 「 ┳ 」(

U+2533

太 線 素 片 上 ) で 入 力 し て も ら い , あ と で 「 ☎ 」 に 置 換 し た 。

2.1.3.

作 業

研 修 が 終 わ っ た 後 も , さ ま ざ ま な 質 問 に 対 応 し な が ら 作 業 を 進 め る 。 質 問 に は 次 の よ う な も の が あ る 。

a.マ ニ ュ ア ル の 理 解 不 足 に よ る も の b.入 力 指 示 に 不 備 が あ る も の

c.専 門 的 ・ 個 別 的 判 断 を 要 す る 文 字 や 記 号 の 入 力 に 関 す る も の

a.は ,マ ニ ュ ア ル で 述 べ て あ る 内 容 な の に ,そ の 読 み 込 み が 足 り な い た め に 起 こ る も の で ,

こ ち ら が マ ニ ュ ア ル の 該 当 箇 所 を 指 摘 す れ ば よ い 。

b.は , 入 力 指 示 紙 を PDF

化 す る 際 の 落 丁 , 原 紙 の 落 丁 ,

PDF

が 不 鮮 明 , な ど の 理 由 で 入 力 で き な い と い う 問 い 合 わ せ で あ る 。可 能 な 限 り こ ち ら で 原 典 資 料 を さ か の ぼ っ て 補 填 す る 。 ま た ま れ に , 入 力 順 が 非 常 に 多 い も の や 図 や 注 な ど 途 中 で 読 み 込 む 要 素 が 多 い も の な ど で 起 こ る ケ ア レ ス ミ ス で , 入 力 順 の 指 示 が 間 違 っ て い る が こ れ で よ い か と い う 確 認 が あ る 。

c.は , こ ち ら の マ ニ ュ ア ル の 想 定 外 の 文 字 の 種 類 や 版 面 に 直 面 し た と き の 質 問 で あ る 。 b.は ほ と ん ど な く , a.も あ ま り 多 く な い 。 何 よ り c.が 最 も 多 い 。

質 問 に は , 例 え ば 次 の よ う な も の が あ っ た 。

・ 見 慣 れ な い 漢 字 (

JIS

第 4 水 準 ) を ど う 入 力 す る か ( 包 摂 か , 〓 か )

…a.【 図 2 】

・ 本 の 一 部 の 印 刷 が 切 れ て い て 読 め な い

…b.【 図 3 】

JISX0213

に な い 記 号 を ど う す る か

…c.【 図 4 】

・ 文 字 や 記 号 の 見 分 け が つ か な い

…c.【 図 5 】

・ 小 書 き 文 字 の 対 処 … c.【 図 6 】

【図 2:見 慣 れない漢 字 】 【図 3:印 刷 ミス】 【図 4:入 力 できない記 号 】

5 「

JIS

の 第 1 水 準 と 第 2 水 準 の 漢 字 , 平 仮 名 , 片 仮 名 , ア ル フ ァ ベ ッ ト

(

ロ ー マ 字 ・ ギ リ シ ャ 文 字 ・ キ リ ー ル 文 字

), 算 用 数 字 , お よ び , 通 常 の 日 本 語 入 力 シ ス テ ム で 入 力 可 能 な 記 号 類 を 使 用 し ま す 。」

と し て い る 。

6 業 者 に よ っ て 入 力 環 境 が 違 う た め ,「 ☎ 」「 〠 」「

♥」な ど を 入 力 で き る 業 者 と で き な い 業 者 が あ っ た 。

(19)

【図 5:ラテン文 字 かギリシャ文 字 か】 【図 6:「真 力 」か「真 カ」か,ルビか注 か】

以 下 に ,業 者 と の 質 疑 応 答

7

の 例 を 紹 介 す る 。業 者 と の 連 絡 は 必 ず メ ー ル で 行 い ,ご く ま れ に 電 話 で 行 な っ た 際 も , そ の 後 メ ー ル に て 確 認 す る よ う に し て い る 。

●資 料 1:質 疑 応 答 の例

PM11_00702

> No.9/ 解 説 の 1

行 目 「 骨

[こ つ ]棘 [き ょ く ]

>

>

辞 書 を 見 る と 、 読 み は 「 こ っ き ょ く 」 と な っ て い ま す が 、

>

原 稿 で は 「 ょ 」 は 小 さ い 文 字 に な っ て い ま す し 、 原 稿 通 り 「 骨

[

こ つ]棘[き ょ く

]」

>

と 入 力 で よ ろ し い で し ょ う か ?

---

御 指 摘 の 通 り ,「 ょ 」 は 小 さ く し て い る の で , こ の サ ン プ ル の ル ビ は , 全 て 原 稿 通 り の 入 力 で 結 構 で す 。

>

人 名 と 人 名 を つ な ぐ 線 は 「

( ダ ッ シ ュ )」 で し ょ う か ?

>

そ れ と も 「 ( ハ イ フ ン )」 で し ょ う か ?

>

>

佐 々 木 精 一 一 飛 曹

小 山 高 徳 一 飛 曹 ペ ア

>

佐 々 木 精 一 一 飛 曹 小 山 高 徳 一 飛 曹 ペ ア

---

「 佐 々 木 精 一 一 飛 曹 * と * 小 山 高 徳 一 飛 曹 」 の ペ ア 、 と い う 意 味 で 、 二 人 の 名 前 を 連 結 さ せ る た め の も の で す 。 マ ニ ュ ア ル 「

4-1-2

類 似 の 文 字 ・ 記 号 」 の 添 付 「【 参 照 資 料 】

line_description.pdf( 新 規 追 加 )」 に

あ る 、「

■「 」 ハ イ フ ン 」「

文 節 表 示 や 単 語 連 結 」 に あ た り ま す 。 ハ イ フ ン で 入 力 し て く だ さ い 。

PB18_00023

> ■PB18_00023 №11

下 か ら

4

行 目

>

に 記 載 さ れ て い る 「 * 」 は 上 付 き で し ょ う か ?

>

>

/(*)m u c h t h r e a t )

>

/ * m u c h t h r e a t )

---

ア ス タ リ ス ク は 半 角 だ と 上 の ほ う に 表 示 さ れ る こ と が あ り 、 こ れ は 上 付 き の 意 味 で は あ り ま せ ん の で 、 外 字 タ グ は 不 要 で す 。

>

/ * m u c h t h r e a t ) こ ち ら で の 入 力 を お 願 い い た し ま す 。

7

業 者 か ら の 質 問 は ,第 一 次 作 業 者 か ら 直 接 来 る こ と は な く ,そ の 作 業 の 管 理 者 が と り ま と め て く る た め , 第 一 次 作 業 者 と コ ン タ ク ト を と っ た こ と は 一 度 も な い 。

(20)

文 字 色 が 白 の 場 合 , 黒 丸 数 字 か 白 丸 数 字 か 混 乱 す る 白 丸 数 字 : 数 字 の 色 が , 他 の 文 字 と 同 じ

黒 丸 数 字 : 丸 の 中 の 地 の 色 が 他 の 文 字 と 同 じ 色 , 数 字 が 反 転 ( 右 図 )

---

●資 料 2:入 力 困 難 なサンプルの例

〔 LBq8_00002「 全 国 方 言 小 辞 典 」〕 〔 PB12_00109「 神 頌 契 丹 古 伝 」〕

〔 PB38_00028「 新 約 聖 書 の ギ リ シ ア 語 文 法 」〕

(21)

2.1.4.納 品 チ ェ ッ ク と フ ィ ー ド バ ッ ク

入 稿 後 ,約 4 週 間 ご と に 納 品 を 設 定 す る 。こ れ は ,入 稿 用 の サ ン プ ル 作 成 が 適 当 な 量(1000 サ ン プ ル 前 後 ) に な る の が 4 週 間 ほ ど か か る た め も あ る が , 納 品 チ ェ ッ ク の 結 果 を こ ま め に フ ィ ー ド バ ッ ク す る た め で も あ る 。 納 品 時 に は , テ キ ス ト フ ァ イ ル の ほ か , こ ち ら か ら 入 稿 時 に 渡 し た エ ク セ ル フ ァ イ ル に , 作 業 者

ID

と 文 字 数 な ど を 入 力 し た も の を つ け て も ら う 。

納 品 後 3 ~ 5 日 か け て 納 品 チ ェ ッ ク を 行 っ た 後 ,業 者 に フ ィ ー ド バ ッ ク す る 。納 品 チ ェ ッ ク に よ っ て 検 出 さ れ た エ ラ ー を そ の 種 類 ご と に リ ス ト ,ま た サ ン プ ル ご と の 精 度 を 作 業 者

ID

つ き で リ ス ト し , 概 要 を ま と め て 業 者 に 報 告 す る 。 精 度 を 満 た さ な か っ た サ ン プ ル は 再 提 出 さ せ る 。 ま た , エ ラ ー に め だ っ た 傾 向 が あ る 場 合 に つ い て は , エ ラ ー リ ポ ー ト で 言 及 し , 作 業 者 へ の 指 導 を 促 す 。

納 品 チ ェ ッ ク の 内 容 に つ い て は 次 項 に 詳 細 を 示 す 。

【図 7:エラーリスト】

【図 8:エラー報 告 】

(22)

2.2.納 品 チ ェ ッ ク

1 回 の 納 品 は サ ン プ ル 数 に し て

1000

前 後 ,文 字 数 で は

400

万 字 前 後 に も な る 。全 文 校 正 や 全 チ ェ ッ ク が で き る 量 で は な い た め , 次 の よ う な チ ェ ッ ク を 行 う 。

● 機 械 的 に 検 出

・ 文 字 コ ー ド ・ 文 字 数 ・ サ ン プ ル 抽 出 基 準 点 ・ 類 似 文 字 列 ( 丸 形

8

・ 線 形

9

) 認 識 誤 り 候 補 ・

OCR 10

認 識 誤 り 候 補

・ ス ペ ー ス

11

・ 改 行 エ ラ ー 認 識 誤 り 候 補 ・ 排 他 的 文 字 列 チ ェ ッ ク

12

・ タ グ ( 熟 字 訓 ・ ル ビ ・ 外 字 ・ 誤 植 ・ 分 数 )

● ツ ー ル 使 用

・ 文 字 セ ッ ト チ ェ ッ ク … ツ ー ル 「 規 格 監 査 人 」 ・ 〓 入 力 文 字 処 理 … ツ ー ル 「

getaway」

・ 漢 字 の 使 い 分 け チ ェ ッ ク … ツ ー ル 「 目 視 録 」

● ラ ン ダ ム サ ン プ リ ン グ チ ェ ッ ク

2.2.1.機 械 的 に 検 出 す る も の

ま ず , 文 字 コ ー ド が 正 し い も の か ど う か を チ ェ ッ ク し , 文 字 数 を カ ウ ン ト し , サ ン プ ル 抽 出 基 準 点 の 有 無 を 調 べ る 。 こ こ で 検 出 さ れ た エ ラ ー の 例 に は , 業 者 の 申 告 し た 文 字 数 と 差 分 が あ っ た ケ ー ス( 業 者 報 告 の 方 に ,一 の 位 と 十 の 位 が 入 れ 替 わ っ て い た も の も あ っ た ),サ ン プ ル 抽 出 基 準 点 が 入 力 さ れ て い な い も の ,ご く ま れ に は

sampleID

が 誤 っ て い る も の( 作 業 用 に は 別 の フ ァ イ ル 名 を つ け て 管 理 し て い た の で あ ろ う か , 納 品 時 に 誤 っ た ル ー ル に よ っ て リ ネ イ ム さ れ た と 思 わ れ る ) な ど が あ っ た 。

次 に ,仕 様 に 合 致 し な い 文 字 列( 不 正 文 字 列13,類 似 字 形 の 分 別 ,レ イ ア ウ ト ス ペ ー ス 等 ),

お よ び タ グ の 不 整 合 を 抽 出 す る 。 定 義 フ ァ イ ル に よ っ て 誤 り 候 補 と さ れ た も の を 抽 出 す る プ ロ グ ラ ム を か け ,「

OCR

認 識 誤 り の 候 補 」,「 類 似 文 字 列 ( 丸 形 ・ 線 形 ) 認 識 誤 り 候 補 」,「 ス ペ ー ス ・ 改 行 エ ラ ー 認 識 誤 り 候 補 」「 句 読 点 チ ェ ッ ク 」 の リ ス ト を 作 る 。

次 ペ ー ジ に

OCR

認 識 誤 り 候 補 の 定 義 フ ァ イ ル の 一 部 を 挙 げ る 。

OCR

エ ラ ー を 発 見 す る た び に ,定 義 フ ァ イ ル は 随 時 更 新 し た が ,と う て い 追 い つ か な か っ た 。手 入 力 の エ ラ ー に 比 べ ,

OCR

処 理 の エ ラ ー は 非 常 に 検 出 が 難 し く ,後 続 の グ ル ー プ に よ る 形 態 素 解 析 処 理 に 影 響 を 与 え た 。

こ こ で 作 成 さ れ る リ ス ト は あ く ま で も 「 誤 り 候 補 」 な の で , そ れ ぞ れ を 目 視 し て 誤 り か ど う か を 確 認 す る 。OCR処 理 を し て い な い ,と 謳 っ て い る 業 者 で あ っ て も 安 心 は で き な い 。特 殊 な 入 力 環 境 で の み 起 こ り う る エ ラ ー も あ る か ら で あ る 。

同 時 に , こ ち ら の マ ニ ュ ア ル で 付 与 す る こ と に な っ て い る タ グ を リ ス ト し , 正 し く 付 与 さ

8

丸 形 エ ラ ー : 記 号 「 丸 ( ○ )」・ 漢 数 字 「 ゼ ロ ( 〇 )」・ 算 用 数 字 「 ゼ ロ ( 0 )」・ ア ル フ ァ ベ ッ ト 「 オ ー ( O )」 の 使 い 分 け

9 線 形 エ ラ ー : ダ ッ シ ュ ・ マ イ ナ ス ・ ハ イ フ ン ・ 長 音 ・ 漢 数 字 1 の 使 い 分 け

10 OCR

系 エ ラ ー : ロ ー マ 数 字 と ア ル フ ァ ベ ッ ト ,「 日 」と 「 曰 」,漢 字 ・ 平 仮 名 と 類 似 の 片 仮 名 ,「 ○ ヶ 所 」 等 の 「 ヶ 」 と 「 ケ 」

11

タ イ ト ル・箇 条 書 き・引 用・韻 文 な ど の イ ン デ ン ト ス ペ ー ス ,文 字 間 の 幅 揃 え レ イ ア ウ ト ス ペ ー ス

12

句 読 点 「 。」 と 「 .」,「 、」 と 「 ,」 の 使 い 分 け

13

複 数 ス ペ ー ス ・ リ ー ダ ー ・ ダ ッ シ ュ , 行 末 ス ペ ー ス

(23)

れ て い る か を 確 認 す る 。

● ル ビ :

[], r/[]

熟 字 訓 用 「

r/

」 の 不 正 な 使 用 , 全 角 で 入 力 す べ き 本 文 中 の 角 括 弧 記 号 の 半 角 に よ る 誤 入 力 , ル ビ タ グ の 全 角 に よ る 誤 入 力 を 検 出 ( そ の 他 , 誤 り や す い 熟 字 訓 関 連 ル ビ を 随 時 追 加 )。 以 下 の も の を リ ス ト に す る 。

① 行 頭 に ル ビ タ グ が 現 わ れ て い る も の

② ル ビ タ グ 同 士 が 連 続 し て い る も の

③ 平 仮 名 以 外 の 文 字 列 が ル ビ タ グ で 囲 ま れ て い る も の

1

文 字 に 対 す る ル ビ に 「

r/

」 が 用 い ら れ て い る も の

⑤ 平 仮 名 文 字 列 が 全 角 の 角 括 弧 ([ ]) で 囲 ま れ て い る も の

● 外 字 :

()

全 角 で 入 力 す べ き 本 文 中 丸 括 弧 記 号 の 半 角 に よ る 誤 入 力 , 外 字 タ グ の 全 角 に よ る 誤 入 力 を 検 出 。 以 下 を リ ス ト に す る 。

① 半 角 丸 括 弧 に 注 マ ー カ ー に な る 文 字 列 以 外 の 文 字 が 囲 ま れ て い る も の

② 全 角 丸 括 弧 に 「 ※ 」「 * 」「 注 」 な ど の 注 マ ー カ ー と な る 文 字 列 が 囲 ま れ て い る も の

● 誤 植 訂 正 :

{}, <>

全 て の 誤 植 訂 正 用 タ グ , 誤 植 訂 正 タ グ の 全 角 に よ る 誤 入 力 を 検 出

● 分 数 :

`'

全 て の 分 数 タ グ を 検 出

[日 晩 夜 ]

[^/き ぎ し じ ち ぢ に ひ び ぴ み り]ゃ

だ か ち

な ち

[

ば ,、

] [

文 漢

]

[

典 書 体 種 数 音 解 画 間 義 鏡 引 母 幕 面

]

[

の は

]

[

治 由 身 分 信 愛 慰 意 営 衛 演 火 家 我 画 覚 害 学 活 益 運 惚 ず ら

]

完 壁 壁

¥[ぺ き ¥]

ほ ぽ

[^¥[ん 完 ]ぺ き

[^っ ]ぽ く

[

え け せ て ね へ め れ

][

ぱ ぽ

] [

え け せ て ね へ め れ

]

[^

-

]

[

-

]

[

半 節 増 加 軽 激 削

]

[

ら り る れ ろ っ 少 退 速 価

] [^ -~

]

[^ -~

曖 三 蒙

]

[規 相 ]摸

[一 二 三 前 後 内 外 腕 片 ]輸 [^五 ]輪 [入 出 送 血]

【表 1:OCR 認 識 誤 り候 補 の定 義 ファイル(抜 粋 )】

2.2.2.ツ ー ル を 使 用 す る も の

ツ ー ル は , 文 字 セ ッ ト が 正 し い か ど う か を 判 定 す る 「 規 格 監 査 人 」,「 〓 」 で 入 力 さ れ て い る 文 字 を 抽 出 し ,テ キ ス ト フ ァ イ ル と

PDF

フ ァ イ ル を 開 い て 確 認 で き る「

getaway」,使 い 分

け を 要 す る 漢 字 を 抽 出 し , テ キ ス ト フ ァ イ ル と

PDF

フ ァ イ ル を 開 い て 確 認 で き る 「 目 視 録 」 の 三 つ を 使 う 。 ツ ー ル の 詳 細 に つ い て は 第 3 部 を 参 照 さ れ た い 。 こ こ で は , こ れ ら の ツ ー ル の 具 体 的 な 使 い 方 を 述 べ る 。

(24)

規 格 監 査 人 14

[ツ ー ル の 機 能 ]

フ ァ イ ル 中 に 含 ま れ る 文 字 が , 指 定 し た 文 字 セ ッ ト に 適 合 し て い る か を 調 査 す る 。

[こ の ツ ー ル で 行 な う 作 業 ]

外 注 入 力 用 の 文 字 セ ッ ト に 適 合 し て い な い も の を す べ て 検 出 し , そ の 結 果 を

CSV

形 式 で 保 存 す る 。 規 定 の 文 字 セ ッ ト で 入 力 す る と い う の は 大 原 則 な の で , こ こ で エ ラ ー が 検 出 さ れ る こ と は 少 な い 。

た だ し , 媒 体 に よ っ て , こ ち ら が 敢 え て 「 文 字 セ ッ ト 外 の も の で 入 力 し て ほ し い 」 と 依 頼 す る こ と が あ る 。 こ れ ま で に 使 っ た の は 次 表 の 二 つ で あ る 。

原 紙 記 号

code

名 称

判 読 不 能

( 原 紙 の 汚 れ や 印 刷 ミ ス で 読 め な い も の ) ╋

U+254B

太 線 素 片 中 央

☎ ┳

U+2533

太 線 素 片 上

こ れ ら の 記 号 は 納 品 チ ェ ッ ク 時 に こ の ツ ー ル に よ っ て 検 出 さ れ , 適 切 な も の に 置 き 換 え る こ と が で き る 。

[備 考 ]

下 は 参 考 用 の ス ナ ッ プ シ ョ ッ ト で あ り , 実 際 の 納 品 時 に こ れ ほ ど の エ ラ ー が 検 出 さ れ る こ と は ま ず な い 。

14

詳 細 は 第

3

1.1

参 照

(25)

目 視 録 15

[ツ ー ル の 機 能 ]

字 形 変 更 や 互 換 規 準 な ど の 符 号 化 問 題 文 字 に 対 し て , 原 典 に 戻 り , 目 視 ・ 確 認 を 行 う 作 業 を 補 助 す る 。

[こ の ツ ー ル で 行 な う 作 業 ]

左 側 に 入 力 さ れ て い る 文 字 が , 右 側 に 置 換 候 補 の 文 字 が 表 示 さ れ る よ う に な っ て い る 。 作 業 者 は 原 紙 の

PDF

フ ァ イ ル を 目 視 し , 実 物 が 確 か に 左 側 の 文 字 か ど う か を 判 別 す る 。 業 者 は

JIS X0213:2004

で は な く

JIS X 0208:1997

を 一 部 拡 張 し た 文 字 セ ッ ト で 入 力 し て く る の で , こ の 作 業 に よ っ て 適 切 な 文 字 に 置 き 換 え て い く 。

15

詳 細 は 第

3

1.2

参 照

(26)

getaway 16

[ツ ー ル の 機 能 ]

テ キ ス ト フ ァ イ ル 中 の 「 〓 」 文 字 を 抽 出 し , 文 字 セ ッ ト 内 字 の 入 力 ミ ス の チ ェ ッ ク , ま た は 外 字 の タ グ 付 け を 支 援 す る 。

[こ の ツ ー ル で 行 な う 作 業 ]

作 業 者 は 原 紙 の

PDF

フ ァ イ ル を 目 視 し , 対 象 と な っ て い る も の が 「 文 字 」「 絵 」「 そ れ 以 外 」

17

の ど れ に 当 た る か を 確 認 す る 。

「 文 字 」 は , 文 字 セ ッ ト 内 で あ れ ば , コ ー ド を 入 力 し て

JISX0213

内 字 に 置 き 換 え , 文 字 セ ッ ト 外 で あ れ ば ,

missingCharacter

の タ グ に 置 き 換 え ら れ る よ う 必 要 な 情 報 を 登 録 し て い く 。

一 方 「 絵 」「 記 号 」 は , 文 字 セ ッ ト 内 で あ れ ば , 前 述 の 「 文 字 」 同 様 , コ ー ド を 入 力 す る 。 文 字 セ ッ ト 外 の 場 合 は , そ の 形 で あ る こ と に 意 味 が あ れ ば ,

image

タ グ で 表 現 す べ く , そ の 形 や 持 つ 意 味 を 登 録 す る が , そ の 形 で あ る こ と に 大 き な 意 味 が な く , 文 字 セ ッ ト 内 の 絵 記 号 に 包 摂 し て も 問 題 な い も の は 包 摂 す る こ と に し て い る 。 こ れ は , 作 業 量 を 減 ら す た め だ け で な く , む や み に タ グ を つ け な い 方 が 利 用 者 に と っ て も 都 合 が 良 い と 思 わ れ る た め で あ る 。

JISX0213

JISX0213

文 字

JISX0213

内 字 に 置 き 換 え

missingCharacter

タ グ で 表 現

JISX0213

内 字 に 包 摂

絵 文 字 ・ 記 号

JISX0213

内 字 に 置 き 換 え

image

タ グ で 表 現

16

詳 細 は 第

3

1.4

参 照

17

こ こ で は ,

JISX0213

で は 入 力 可 能 な 記 号 ・ マ ー ク ・ 絵 文 字 も 「 文 字 」 に 分 類 し , 入 力 不 可 能 な も の を 「 絵 」 と し て い る 。

(27)

2.2.3.ラ ン ダ ム サ ン プ リ ン グ チ ェ ッ ク

納 品 チ ェ ッ ク の 最 後 に , ラ ン ダ ム サ ン プ リ ン グ チ ェ ッ ク を 行 な う 。 全 フ ァ イ ル の ラ ン ダ ム に 指 定 し た 箇 所 か ら 決 め ら れ た 文 字 数 分 を 目 視 し , 正 し く 入 力 さ れ て い る か を 確 認 す る 。 予 想 外 の エ ラ ー が 見 つ か る の は こ こ で あ る 。 た と え ば , サ ン プ ル の 途 中 で 不 要 な 改 行 が 入 っ て い る も の が あ り ,業 者 に 問 い 合 わ せ た と こ ろ ,そ こ で は 原 則

1

デ ー タ は

1000

文 字 以 下 で あ る た め ,1000字 ご と に デ ー タ を 分 け て 管 理 す る し か な く ,あ と で 合 体 さ せ る 処 理 を 入 れ て い た が , そ の と き に 取 り 忘 れ た 改 行 だ っ た と の こ と で あ っ た 。 ま た , 外 注 用 の 入 力 記 号 が 見 つ か っ た こ と も あ る 。 原 紙 で 「

€」 と あ る と こ ろ に 「 & ゆ ー ろ ; 」 と 入 っ て い た 。 業 者 が 納 品 前

に 一 括 で 置 換 す る の を 忘 れ た と 思 わ れ る エ ラ ー で あ っ た 。

2.3.作 業 用 デ ー タ へ の 変 換

納 品 チ ェ ッ ク が 済 ん だ 入 力 デ ー タ は , ア ノ テ ー シ ョ ン 作 業 用 の デ ー タ へ 変 換 す る 。 細 別 し て 3 工 程 か ら な る 。

(1)

入 力 エ ラ ー の 修 正 及 び デ ー タ 整 形

(2)

デ ー タ リ ス ト の 作 成

(3)

作 業 用 デ ー タ へ の 変 換 以 下 に 詳 細 を 示 す 。

2.3.1.

入 力 エ ラ ー の 修 正 及 び デ ー タ 整 形

納 品 検 査 に よ り 検 出 さ れ た 入 力 エ ラ ー は , 人 手 作 業 に よ り 逐 一 修 正 を 行 う 。

そ の 際 ,効 率 良 く 修 正 を 行 う た め に ,作 業 用 に 開 発 し た

emacs

エ デ ィ タ の

lisp

を 用 い る 。 こ の

emacs-lisp

は ,フ ァ イ ル ,行 ,エ ラ ー 文 字 列 を 定 形 式 で 示 し た エ ラ ー リ ス ト を 準 備 す れ ば , リ ス ト 内 の 該 当 行 で

enter

キ ー を 押 す だ け で , 実 際 の 修 正 対 象 フ ァ イ ル の 修 正 対 象 箇 所 に ジ ャ ン プ す る よ う な 仕 様 に な っ て い る (【 図 9 】 参 照 )。 既 に 納 品 チ ェ ッ ク の 際 に , こ の 定 形 式 に よ る エ ラ ー 抽 出 リ ス ト が 作 成 さ れ て い る た め , そ の ま ま こ れ を 用 い て エ ラ ー の 修 正 を 行 う こ と が で き る 。ま た ,エ ラ ー 抽 出 リ ス ト と は 別 に 検 出 さ れ た エ ラ ー に つ い て も ,perlス ク リ プ ト に よ り ,入 力 業 者 へ の フ ィ ー ド バ ッ ク 用 に 作 成 す る エ ラ ー 一 覧 か ら

lisp

用 定 形 式 エ ラ ー リ ス ト へ の 形 式 変 換 を 行 う こ と で , 容 易 に 処 理 を 行 う こ と が で き る 。

ま た , 外 注 に よ る 文 字 入 力 の 仕 様 を コ ー パ ス と し て の 文 字 入 力 仕 様 に 適 合 さ せ る た め に , デ ー タ の 整 形 を 行 う 。 例 え ば , 外 注 の 文 字 入 力 に お い て , 外 字 用 タ グ を 用 い て 示 す こ と に な っ て い る 黒 丸 数 字 や 丸 付 き ア ル フ ァ ベ ッ ト な ど を ,こ の 段 階 で 実 際 の

JIS X0213

に お け る 文 字 に 変 換 し , コ ー パ ス の 仕 様 に 合 わ せ る 処 理 を 行 う 。

こ の 処 理 は ,

perl

ス ク リ プ ト に よ る 対 象 箇 所 の 自 動 抽 出 と ,抽 出 結 果 に 対 す る 人 手 確 認

18

を 経 て ,

perl

ス ク リ プ ト に よ る 一 括 文 字 列 置 換 に よ っ て 行 う 。

18

外 注 用 の 外 字 用 タ グ は 多 義 的 に 使 用 し て お り ,抽 出 結 果 が 必 ず し も 変 換 対 象 と な る 丸 付 き 文 字 に 該 当 し な い た め , 変 換 の 可 否 を 目 視 確 認 に よ っ て 判 断 す る 必 要 が あ る 。

(28)

【図 9:入 力 エラーの修 正 】

2.3.2.

デ ー タ リ ス ト の 作 成

デ ー タ の 整 形 に 続 き , 納 品 さ れ た デ ー タ に 対 す る 管 理 上 の 付 加 情 報 を 与 え る た め の リ ス ト を 作 成 す る 。 作 業 用 デ ー タ フ ァ イ ル に は , 作 業 デ ー タ の 作 業 状 態 や 成 り 立 ち を 管 理 ・ 把 握 す る た め に , ヘ ッ ダ と し て 以 下 の 情 報 を 付 与 す る こ と に し て い る 。 そ の た め , そ れ ぞ れ の 入 力 フ ァ イ ル に 対 し て 情 報 を 取 り ま と め て 示 し た リ ス ト が 必 要 と な る 。

a.

サ ン プ ル 情 報 (sampleID)

b.

外 注 入 力 情 報 ( 担 当 業 者 名 , 担 当 個 人

ID, 入 力 日 , 外 注 入 力 仕 様 version)

c.

作 業 用 デ ー タ 変 換 情 報 ( デ ー タ 変 換 日 )

d.

ア ノ テ ー シ ョ ン 情 報 ( ア ノ テ ー シ ョ ン 仕 様

version)

2.3.3.

作 業 用 デ ー タ へ の 変 換

作 成 し た リ ス ト に 基 づ き , 作 業 用 デ ー タ へ の 変 換 を 行 う 。

エラーリスト

修正対象ファイル

こ の 行 に カ ー ソ ル を お い て enter キ ー を 押 す と ,

対 象 フ ァ イ ル の 該 当 箇 所 ( PM51_00372 の 6 行 目 の 「 謄 」) に と ぶ の で , 容 易 に 修 正 で き る 。

(29)

作 業 用 デ ー タ は , デ ー タ の 電 子 化 処 理 に 関 わ る 全 て の 情 報 を 一 括 し て 把 握 す る た め の 一 元 的 デ ー タ と な る 。 そ の た め , 電 子 化 処 理 に 関 す る メ タ 的 情 報 (2.3.2 節 に 示 し た 管 理 用 情 報 ) と , ア ノ テ ー シ ョ ン 用 の 本 文 と を 合 わ せ て

1

フ ァ イ ル と す る 。 管 理 用 情 報 は ,フ ァ イ ル 冒 頭 部 に サ ン プ ル 本 文 と 区 別 し た 形 で 付 加 す る(【 図

10

】参 照 )。ま た ,ア ノ テ ー シ ョ ン 本 文 に は , 電 子 化 仕 様 上 全 て の フ ァ イ ル に 共 通 し て 付 与 さ れ る タ グ で あ る

sample

タ グ を 予 め 付 与 し た 上 で ,外 注 用 の タ グ か ら ア ノ テ ー シ ョ ン 作 業 用 タ グ(「 簡 易 タ グ 」と 呼 ぶ )へ の 置 換 処 理 を 行 う 。 い ず れ も

perl

ス ク リ プ ト に よ る 。

簡 易 タ グ は , ア ノ テ ー シ ョ ン 作 業 時 の タ グ 付 与 作 業 効 率 や タ グ 整 合 性 確 保 ( タ グ の 開 始 と 終 了 が 揃 っ て い る か ど う か ,タ グ の 交 差 が 生 じ て い な い か な ど )を 考 慮 し て 設 計 し た タ グ で , い ず れ も 半 角 ア ル フ ァ ベ ッ ト ま た は 数 字

1

字 を タ グ 文 字 と し て 用 い ,開 始 に タ グ 文 字 ,終 了 に 「

/( 半 角 ス ラ ッ シ ュ )」 と タ グ 文 字 , 空 要 素 タ グ は タ グ 文 字 と「 /」 で 示 す と い う ル ー ル で

運 用 さ れ る 。 こ の 運 用 ル ー ル に 基 づ き タ グ の 整 合 性 を 即 時 評 価 す る た め に , ア ノ テ ー シ ョ ン 作 業 用 エ デ ィ タ で あ る

emacs

lisp

を 開 発 し 使 用 し て い る 。 し か し , 外 注 用 の タ グ は , 入 力 の 容 易 さ ・ 見 や す さ ・ 分 か り や す さ を 考 慮 し , 半 角 の 括 弧 類 を 用 い て い る た め , こ れ ら を ア ノ テ ー シ ョ ン 用 簡 易 タ グ の 形 式 に 置 き 換 え る 必 要 が あ る 。例 え ば ,外 注 時 に 半 角 大 括 弧(

[])

で 示 さ れ る ル ビ は , 簡 易 タ グ で は 「

k」 を 用 い る こ と に し て い る た め ,「 [

」 を 「

k」 に ,「 ]」

を 「

/k」 に 置 換 す る と い う 処 理 を 変 換 時 に 行 う こ と に な る 。

【図 10:サンプルヘッダ(電 子 化 処 理 に関 するメタ的 情 報 )】

ま た , ア ノ テ ー シ ョ ン 作 業 中 に 起 こ り う る 不 正 な 本 文 変 更 を 検 出 す る た め , 外 注 入 力 オ リ ジ ナ ル デ ー タ は 別 に 格 納 し て お き , 作 業 終 了 後 に 差 分 チ ェ ッ ク を 行 う 。 よ っ て , 作 業 中 に 外 注 入 力 エ ラ ー な ど を 発 見 し た 場 合 は , 作 業 用 フ ァ イ ル の 修 正 と と も に , 管 理 者 が オ リ ジ ナ ル デ ー タ も 同 期 を 図 る よ う に し た 。

2.4.ア ノ テ ー シ ョ ン

ア ノ テ ー シ ョ ン 作 業 は , 次 の よ う な 流 れ で 進 む 。

進 捗 状 況 管 理

管 理 者

作 業 準 備 コ メ ン ト 処 理 チ ェ ッ ク 準 備

作 業 者

ア ノ テ ー シ ョ ン チ ェ ッ ク

以 下 , ア ノ テ ー シ ョ ン 作 業 そ の も の と , そ の 管 理 の 二 面 か ら 説 明 す る 。

2.4.1.作 業 管 理

管 理 者 は ,

500~ 1000

サ ン プ ル を

1

回 の セ ッ ト と し ,ア ノ テ ー シ ョ ン 作 業 に 流 す 。

sampleID

の ほ か ,

DB

上 の 情 報 を 加 え て 作 業 用 リ ス ト を エ ク セ ル で 作 り , 作 業 時 に 必 要 な 情 報 を 作 業

(30)

用 の

wiki 19

ペ ー ジ で 確 認 で き る よ う な 形 に す る 。 作 業 者 は 担 当 分 を

wiki

ペ ー ジ 上 に コ ピ ー

& ペ ー ス ト す れ ば , タ グ 付 け が 開 始 で き る 状 況 に な っ て い る

20

【図 11:作 業 ページ(書 籍 用 )】

【図 12:作 業 ページ(雑 誌 用 )】

※ 同 種 の サ ン プ ル が 集 め て あ る ペ ー ジ へ の リ ン ク と , 取 得 し た 最 大 限 の 画 像 の パ ス が あ る

※ デ ー タ ベ ー ス か ら 取 得 し た 情 報 が 参 照 で き る

※ 「 著 作 権 処 理 」 が 「 拒 否 」 の 場 合 は , 作 業 者 が 無 駄 に 作 業 し な い よ う に 赤 く 表 示 さ れ る

【図 13:sample info.をクリックしたところ】

19

ウ ェ ブ ブ ラ ウ ザ を 利 用 し て

Web

サ ー バ 上 の ハ イ パ ー テ キ ス ト 文 書 を 書 き 換 え る シ ス テ ム の 一 種 。

wiki

シ ス テ ム を 利 用 し 様 々 な オ リ ジ ナ ル の プ ラ グ イ ン を 組 み 込 み カ ス タ マ イ ズ し た ,本 電 子 化 作 業 用 に 準 備 し た サ イ ト 上 で , ア ノ テ ー シ ョ ン 作 業 お よ び 作 業 簡 易 を 行 っ て い る 。

20

詳 細 は 第 1 部 参 考 資 料 「 タ グ 付 け マ ニ ュ ア ル 」 参 照

(31)

ア ノ テ ー シ ョ ン 開 始 時 に は , 作 業 者 は 各 サ ン プ ル の 当 該 サ ン プ ル の ヘ ッ ダ に 「 作 業 者 名 」 を 登 録 す る 。( 日 時 も 自 動 的 に 登 録 さ れ る 。) ま た 「 作 業 中 」「 終 了 」 と い う 進 捗 状 況 も 残 す 。 こ れ が

DB

に 登 録 さ れ , 作 業 中 の セ ッ ト の 作 業 状 況 が 管 理 で き る シ ス テ ム に な っ て い る 。

【図 14:サンプルヘッダ部 の例 】(☆には作 業 者 名 ,★には外 注 入 力 会 社 名 が入 る)

作 業 時 に は ,質 問 や メ モ な ど を 記 せ る よ う に ,

comment

memo

2

種 類 の コ メ ン ト

21

を 用 意 し て い る 。 口 頭 で の 質 問 対 応 も も ち ろ ん 行 う が , そ の 場 に い な い 作 業 者 ・ 管 理 者 に も 質 問 内 容 や 対 処 法 等 が 伝 わ る よ う , 極 力 サ ン プ ル 内 に 記 述 す る よ う に し て い る 。

memo

は , 作 業 時 の 覚 え 書 き と し て 用 い , 管 理 者 が ま と め る こ と は し な い 。 そ の 構 造 化 を 選 択 し た 理 由 や , 誤 入 力 に 見 え る が 原 文 通 り で あ る 旨 等 , 他 の 人 に 無 駄 な 作 業 を さ せ な い た め に 伝 え て お く べ き 事 項 な ど の 情 報 を 残 す と き に 使 う 。「 テ キ ス ト 移 動 」「 改 行 削 除 」「 原 文 マ マ 」「 そ の 他 」 の 四 つ の タ イ プ が あ る 。

comment

は , 処 理 を 必 要 と す る も の に 対 し て 用 い ,

type

を つ け て , 管 理 者 が 情 報 を 抽 出 で き る よ う に な っ て い る 。主 な も の を 下 に 挙 げ る 。「 質 問 」と「 タ グ 修 正 」に 関 し て は ,作 業 期 間 中 は 管 理 者 が 毎 日 抽 出 し ,フ ィ ー ド バ ッ ク し て い る 。「 テ キ ス ト 修 正 」は ,先 述 の 外 注 入 力 の エ ラ ー を 発 見 し た 場 合 に つ け る コ メ ン ト で , こ れ が つ い た も の は , オ リ ジ ナ ル デ ー タ フ ァ イ ル も 同 様 に 修 正 す る 。

【表 2:コメントの type(抜 粋 )】

Type

処 理

質 問 管 理 者 が 定 期 的 に 確 認 , フ ィ ー ド バ ッ ク タ グ 修 正 管 理 者 が 定 期 的 に 確 認 , フ ィ ー ド バ ッ ク テ キ ス ト 修 正 管 理 者 が 確 認 , オ リ ジ ナ ル デ ー タ フ ァ イ ル も 同 期 固 定 長 文 字 不 足 管 理 者 が 確 認 , 追 加 入 力

範 囲 誤 認 定 管 理 者 が 確 認 , 修 正

1 セ ッ ト 分 の タ グ 付 け が 終 わ っ た 後 は , チ ェ ッ ク を 行 う 。 時 間 に 余 裕 が あ る と き に は , 別 作 業 者 に よ る 全 チ ェ ッ ク を 行 っ た 。 そ れ 以 外 の と き は , ア ノ テ ー シ ョ ン さ れ た 要 素 数 の リ ス ト を 作 成 , 注 意 を 要 す る 構 造 , 誤 り の 起 こ り や す い 構 造 な ど , チ ェ ッ ク す べ き サ ン プ ル を 検 出 し て チ ェ ッ ク 用 リ ス ト を 作 り , 別 作 業 者 に よ る チ ェ ッ ク を 行 っ た 。 た と え ば 次 の よ う な も の を チ ェ ッ ク す る 。

● 記 事 関 連 : article 3 以 上 (

article

要 素 は 認 定 に 注 意 を 要 す る た め )

● 図 表 関 連 : figureBlock 10 以 上 か つ

list 10

以 上 ,

figureBlcok 10

以 上 か つ

list 9

以 下

figureBlock

要 素 や

list

要 素 が 多 い サ ン プ ル は , 構 造 化 が 困 難 な 可 能 性 が

21

詳 細 は 第 1 部 参 考 資 料 「

m-mode

に よ る メ モ ・ コ メ ン ト の 挿 入 」 参 照

参照

関連したドキュメント

From the results of the study, the language with high status increases the ability, and the language with low status decreases the ability.. Therefore, it is hypothesized that

日 日本 本経 経済 済の の変 変化 化に にお おけ ける る運 運用 用機 機関 関と と監 監督 督機 機関 関の の関 関係 係: : 均 均衡 衡シ シフ

いる.Tim らは 2018 年に MOOCs

日本語接触場面における参加者母語話者と非母語話者のインターアクション行動お

Japanese food has predominantly been gaishoku ( eating out ) for Thai people, which means that people have tended to eat Japanese food outside their homes.. In recent

 日本語教育現場における音声教育が困難な原因は、いつ、何を、どのように指

Hoekstra, Hyams and Becker (1997) はこの現象を Number 素性の未指定の結果と 捉えている。彼らの分析によると (12a) のように時制辞などの T

Tone sandhi rule for pattern substitution in Suzhou Chinese: Verification using words beginning with a Ru syllable Masahiko MASUDA Kyushu University It is well known that in Wu