三
①
ユーザーAが作業テーブ ルにデータを読み込む。
⑤………
ユーザーBと同じ箇所を轡
更新しようとすると、該 当するレコードが短単位 テーブルにないので処 理がキャンセルされる。
短単位 テーブル
②
ユーザーBが短単位テー ブルを更新する。
図49 連番の端数によるデータ整合性維持
6．4．4，全文検索機能
全文検索は、単純に短単位テーブルのみを使用して処理を行おうとすると短単位境界を 越えて検索することになるので、データベースに負荷がかかってしまう。また、全文検索 用のシステムで通常用いられる転置インデックスは1億語規模のコーパスデータベースで はインデックスのサイズが巨大になってしまうため適切ではない。そこで、大納言ではSQL Serverの全文検索機能を利用した独自の全文検索処理を行っている。
大納言の全文検索の仕組みでは、全文検索用の文テーブルを使用している。文テーブル にはサンプル名と文と、そのサンプル内での文の開始位置が格納されている。一方短単位 テーブルには文テーブルと対応する形でサンプル内での語の開始位置が格納されている
（表22・表23）。
全文検索の処理の流れは以下の通りである（図50参照）。作業者が大納言を使用して全 文検索を実行すると、検索文字列を受け取った全文検索プログラムは一次処理として文テ ーブルに対して文字列の検索を行い、該当する文字列を含むレコードのサンプルIDと文開 始位置、その文中における検索文字列の出現頻度を求め、一次検索結果テーブルに格納す
る。次に二次処理として、一次処理結果で出現頻度が1のレコードについて、詳細な文開 始位置を求め、二次検索結果テーブルに格納する。更に三次処理で、一次処理結果で出現 頻度が2以上のレコードについて、文中に存在する検索文字列の全ての詳細な文開始位置
61
を求め、三次検索結果テーブルに格納する。こうして調べられた文開始位置について短単 位テーブルを検索し、その結果を作業テーブルに格納する。
表22短単位テーブルと文テーブルのデータ例（短単位テーブル）
サンプルID 文境界 出現書字形 文開始位置 文終了位置
OW6X＿00000 B 1 10 20
OW6X＿00000 1 20 30
OW6X＿00000 1 日本 30 50
OW6X＿00000 1 文化 50 70
OW6X＿00000 B ︵
220 230
OW6X＿00000 1 1 230 240
OW6X＿00000 1
︶ 240 250
OW6X＿00000 B 1 350 360
OW6X＿00000 1 360 370
OW6X＿00000 1 文化 370 390
OW6X＿00000 1 庁 390 400
表23 短単位テーブルと文テーブルのデータ例（文テーブル）
サンプルID 文開始位置 文
OW6X＿00000 10 1 日本文化の発信による国際文化交流の推進 OW6X＿00000 220 （1）文化庁文化交流使事業
OW6X＿00000 350 1 文化庁文化交流使事業
なお、文字修正処理や数値変換処理によって本文が変更された場合には、文テーブルの 該当箇所も変更する必要があるが、この処理はジョブによって行われる。ジョブ処理では 文テーブルと短単位テーブルの間の不整合を検出し、整合性を維持するようそれぞれのテ ーブルを毎日自動的に更新している。
6．コーパスデータベース用アプリケーション・大納言
一次検索結果
ダでロの ロひロ コつラココロロエサエサの きロコの サヘ ロ ロ
i I一次検索】 ｛ 1 文テーブルから i ；文字列を検索して 1
ル ロ
…一イ 次の情報を取得 尺一一一一 i ・サンプルの 1
ほ タ
i ・文開始位置 1
タ セ
｛ ・出現数 ｛
峯 し㎏一P冶一一鍾鋼，聯∋一一，険，．一ラ牟吟，一一」
文テーブル
∂ は の 勺、
、、
、 z
、 、、
＼、 ／〆 ⇒＜㌔〜・、、 ／
、、 ， 、、、、 ！ 、 ， 、、
ロ プ ト び ハ げノ ヘヘ ノ ハ ノ シ び
＿＿＿＿遅＿＿＿＿＿＿＿一呈．一＿＿＿
ほ エ ド の キ ロ の コ ロ ロ
i 【三次検索】 ii 区二次検索】 i i 一次検索結果の li 一次検索結果の i i 出現数2以上について ii 出現数1について i
ほ コ ぎ コ
i 検索文字列の詳細な li検索文字列の詳細なi
ぼ ベ コ コ
｝ 位置を検索 il 位置を検索 l
l 皐 ， − 1 ロ ぽ コ
・ l l ， 亀サ㌔一一一香＿一一一一一旨 −w 一万 桓一垣⇒⇔−w冶・一指■．戸一一白己杏一w≠φ一●妬一●一●一◆一軸◆ぬ痴一≠●由句括培夢 l I
l l I l l
短単位テーブル
図50 全文検索処理の概念図
63
6．5．分割結合処理
6．5．1．分割結合処理の概要
分割結合処理は語の区切り位置を修正して、さらに語に属性を付与するための処理であ
る。
㌫㌘〔竺響三【三燃讐響＝㎜ 一一漂㌻⊆一藷竺鷺『｛
畳ぺ●え ≡
① 冴鵜 1門 雌 再1 ㎜ ▼百繧繊−°鋲 一鍋』 ㎜奮
領0凱●号入り）．【■し込み】碗含●留で、メダルの 積類 ．住昂、臨電音6号を萌記C甲100−61買取蓼：シュルイ 1550を賢いこ泉て、遠した．でも、アスビノメこUヴら 竈掴 があって祉の場合は処方せんが撮こなったといって、〜シュルイ η0 口循の「ヒプペンギン」のよプこ循定千五壱万竃ら 稽熱 撚だが、爾衆チリ、ペルー二噛：すむ「フンボルトシュルイ
羽30トニ月煮ま〔ご六芳古を0ぬた．撹●と綱洪 種含 のソフト相巨」五月までこ二十六タイトル、靹こ五十：シュルイ
㎜出て、モの隼に■一一、三■創鴨の2 竈類 を作，九とこど遥人モの絵、，子■‡ごぷさた．励てσシュルイ 1田0刷抱う唱唆在日本で室GされていbW、4×4の全 稽類 のブうモデルも9本一の在■量でとりモうえクル笥コ曽シュルイ 10■0㌔兵が●コ3怠のも♂めてか組∫の健本、二 枝類 のブC杉クとちょっと■鳳たコルクの岐み木ヨこミニカーシュルイ 1鮪0ユバント、口3スクイズ、ひさ1‡ヒット・エンド・ランと4 種居 しかなかった．上力魂字芭とリヨロめわせで「飛ズシュルイ 習獅〇五％の邑縞庖兵違化するととtJこプレードを三刊9 種類 から二十七種■；二1嘱図し甲均二・九禄四）弁の0シュルイ
？789適ヒするととUこラレードを三†四種斑｝、ら二十七 種類 に＝額 胤平均二・吐％（四方円｝の借得アップ珊えシュルイ 捌〕 3 種類 のジイ7ントバ：ノダを「中口旬巳監見」 人艮日冑【フ慣ソユルイ 610Z薗め扇うく中《舗二ある山岳塘書て「3これま唱コ 種笥 のジ◆イアントパ，ヴ汀梶丸きれ、パン釧時｜工，るシュルイ
Wl 「」ら ｛ぽ 4一
膿頒 檎欄 栢綱 韻口 口届 口口 胎舗
名冊皆過名卜験 馴一1…一鹸 名肩遜臼←噛 名冊看途名舟一績
名一トー良
老胡一菅違名防一曽
名斑晋脚一偵 鍋昔緬一黄 名肝笛一一曽
名梼看違名訓トー鍍 名冊昔追名詞一一鮫
名研●道梧コ賃 ▼
レ
②③
フ ノ
■
烈〕旬 22goη
抽冷汲
2？go刃
㎜
．？2goη レコード H 1！20
計用の﹄乱た゜呼
． ︵
』1−−1111−1凡
㍉㎜蒜醤翌器
オ 外
− ︐ 三留 ひM
；クル
1債素
ロ ワ ロ ン ロ ト ト ひ
簡 一 用 一の 崩叶栢踊n 二 名問ト始司
萄■ − 1 を 崩●幡廟同
ロる ゆサ ば お ぴ ヨジロぽロゆ
｝ 綴嵜一旬ぱ脳i頼 γ止形会一鏡