変 動 エ ン トロ ピー に よ る有 声 破 裂 音 の順 序 付 け と、
そ の計 算 機 シ ミ ュ レー シ ョン
鈴 木 昇 一,前 田 英 明
A Total Ordering of Voiced Affricates by Making Use of a Variation Entropy and its Computer Simulation
Shoichi Suzuki and Hideaki Maeda
あ ら ま し
1つ の カ テ ゴ リ に帰 属 す るパ タ ー ンは そ の 帰 属 す る カ テ ゴ リを保 存 し た ま ま、 どの 程 度 の 変 形 に耐 え ら れ る で あ ろ う か?最 小 距 離 分 類 器 、 最 大 相 関分 類 器 、不 動 点 探 索 形 構 造 受 精 多 段 階 帰 納 推 理 の働 き でパ ター ン認 識 を行 う シス テ ムRECOGNITRONな どで は、 典 型 と して の 代 表 パ ター ン を 中心 と した緩 や か な カ テ ゴ リ を想 定 して い る。 、第j∈J番 目 の カ テ ゴ リ 亀 の 変 動 エ ン トロ ピー VEp(j),そ の他 の 付 随量 な ど を予 め 、 求 め て お くと、 各 種 パ タ ー ン認 識 の働 きが 正 常 に機 能 した か ど うか が検 討 で き る。
本 計 算 機 シ ミュ レー シ ョ ンで は 、9個 の 有 声 破 裂 音/ba/,/be1,/bo/,1da/,1de/,do/,1ga/,/ge1,/go1の波 形 パ ター ン ψ を変 換 して得 ら れ る2値 化 パ ター ンモ デ ルTψ を用 い 、 そ の 変 形 の程 度 を計 量 で きる 変 動 エ ン トロ ピーVEp(j)な.ど が 求 め られ る。9個 の:有声 破 裂 音 が 各VEp(j)の 大 小 関 係 で ほ ぼ 意 味
あ る順 序 に並 ぶ な どの 事 実 が 本 シ ミュ レ ー シ ョンで 得 られ て い る。
キ ー ワ ー ド
有 声 破 裂音 変 動 エ ン トロ ピ ー2値 化 パ ター ン モ デ ル 全 順 序 再 帰 領 域 方 程 式 不 動 点 探 索 形 認 識
Abstract
Something in the shape of a pattern which is not as it should be is problematic.How much an amount of deformation can the pattern permit a recognition sysytem in question that preserves its category to which it belongs ? A gentle definition of each category having a prototypical pattern as a centroid must be adopted in a minimum-distance classifier, a maximum-correlation classifier, a nearest neighbor classifier and a multi- stage inductive-inference recognition-system RECOGNITRON using structural-fertilization transformations
of fixed-point searching type.By making use of a variation entropy VEp(j ) of the j-th category; and so on suggested here, we can estimate whether or not a performance of these recognitions was satisfactory.VEp(j ) is an index of an allowable amount of within-category deformation of patterns belonging to ~j .
We adopt nine voiced affricates (/ba/, /be/, /bo/, /da/, /de/, do/, /gal, /ge/, /go/) as a whole set of categories, and compute a corresponding two-valued pattern-model T 9 of the input speech-sound pattern c by the use of personal computer Macintosh IIcx. For example, a result of its computer simulation indicates that nine voiced affricates have a meaningful total ordering according to variation entropies.
Key words : voiced affricates variation entropy two-valued pattern-model total ordering reflective domain equation recognition of fixed-point searching type
1.ま え が き
変 動 エ ン トロ ピ ー と い う概 念 は 先 ず 、 文 献[3],[4]で 文 字 パ タ ー ン の 変 形 に つ い て 提 案 さ れ 、 s.Suzukiに よ っ て 、 パ タ ー ン か ら 抽 出 さ れ た 非 負 実 数 値 特 徴 量 の 組 の 集 合 に つ い て の 変 動 エ ン トロ
ピ ー に 一 般 化 さ れ て い る(文 献[2]の 第14章)。 文 献[3] ,[4]の 変 動 エ ン ト ロ ピ ー は 、 方 向 線 素 パ タ ー ン に 対 し適 用 さ れ 、 方 向 線 素 変 動 土 ン トロ ピ ー も提 案 さ れ て い る[33]。
モ デ ルTψ を 見 た り 聞 い た り し た な ら ば 、 原 パ タ ー ン ψ と 同 じ に 見 え た り 、 同 じ に 聞 こ え た り す る こ と だ と解 釈 可 能 な モ デ ル 構 成 作 用 素Tは 少 な く と も 、axiom1[13]を 満 た す べ き で あ る と、 s.Suzukiは 主 張 し て い る[5]〜[12]。 こ の よ う な 写 像Tの 典 型 的 な も の は 、 本 研 究 で 学 習 で 決 定 さ れ る 各 カ テ ゴ リ(Σjの 代 表 パ タ ー ン ωjの 集 ま り Ω を 用 い て 構 成 さ れ る(文 献[8]の 定 理Al .2, そ'め系1、 定 理7.3を 参 照)。
本 論 文 で は 、 エ ン トロ ピ ー(平 均 情 報 量)、 ク ロ ス エ ン トロ ピ ー の 観 点 か ら 設 定 さ れ た 認 識 の 働
きの 善 し悪 しを検 討 す る場 百 に役 立 つ 変 勇 エ ン トロ ピ ーVEpが 提 案 され 、 そ の 計 算 機 シ ミュ レー
シ ョ ン 結 果 が 説 明 さ れ る 。本 論 文 で は 、 有 声 破 裂 音 パ タ ー ψ の パ タ ー ン モ デ ルTψ を 求 め 、 有 声 破 裂 音 の パ タ ー ン 集 合 に つ い て 、 そ の 変 動 エ ン トロ ピ ー を 計 算 機 シ ミ ュ レ ー シ ョ ン で 求 め る。 パ タ ー ン モ デ ル に 対 し適 用 し た こ と 、 並 び に 、 音 声 に 対 し適 用 し た こ と が 本 研 究 の 新 規 性 で あ り 、 変 動 エ ン ト ロ ピ ー が 有 声 破 裂 音 の 順 序 付 け に 役 立 つ 可 能 性 を 計 算 機 シ ミ ュ レ ー シ ョ ン 結 果 で 示 し た こ と が 本 研 究 の 有 効 性
で あ ろ う 。
通 信 の 数 学 的 理 論(amathematicaltheoryofcommmunication)と 称 し て 、ClaudeEShannonが 1948年 、BellSystemTechnicalJournalに 発 表 し た 論 文 で 採 用 さ れ て い る 命 題
或 る 系.の 秩 序(order)は こ の 系 を 表 現 す る の に 必 要
な 情 報 量(amountofinformation)に 等 し い(1 .1)
は 、 現 在 に い た っ て も 生 き 生 き と し た"情 報 処 理 原 理"で あ る 。
情 報 を運 ん で い る も の(carriersofinformation)の 離 散 的 な 表 現(discreterepresentation)を 可 能 に す る シ ン ボ ル(symbol)の 系 列 の 、 意 味 に 関 す る 側 面 を 無 視 し た 通 信 の 手 段 を 取 り 扱 っ て い る の がShannonの 情 報 理 論(informationtheory)で あ る 。 一 方 、S.Suzuldが1984年 以 来 発 表 し続 け て い る パ タ ー ン 認 識 の 数 学 的 理 論[5]〜[8] ,[13]で は 、 情 報 を 運 ん で い る も の が 、 変 形 を 全 く 許 さ な い"シ ン ボ ル 系 列"と 対 比 さ れ る"意 味 を 失 わ な い 程 度 の 変 形 が 存 在 す る パ タ ー ン
(pattern)"の;場 合 で あ り・{・パ タ ー ン の 意 味 に 関 す る 側 面 を も 考 慮 し た 認 識 の 働 き を 取 り扱 お う と し て い る 。
S.Suzukiの.パ タ ー ン 認 識 の 数 学 的 理 論(SS理 論)で は 、SS公 理 系 ・(axiom1〜axiom4)[7]の
下 で 、 認 識 シ ス テ ムRECOGNITRONが 処 理 の 対 象 と す る 問 題 の パ タ ー ン ψ に 関 し持 つ カ テ ゴ リ 帰 属 知 識 が 直 交 分 解 さ れ る こ とが 証 明 さ れ(ss分 解)、 不 動 点 探 索 形 多 段 階 構 造 受 精 帰 納 推 理 の 働 き に よ る パ タ ー ン 認 識 の 働 き が ど の 程 度 、 収 束 し て い る か の 指 標 と し て の 、 カ テ ゴ リ 帰 属 知 識 の ポ テ ン シ ャ ル(SSポ テ ン シ ャ ル)が 提 案 さ れ 、 シ ス テ ムRECOGNITRONが 任 意 の 従 来 の 認 識 の 働 き を 単 認 識 段 階 で シ ミ ュ レ ー ト訂 能 な こ と が 証 明 さ れ て い る 。
こ のSS理 論 で は 、
"獲 得 さ れ た 情 報 量" ="解 消 さ れ た 不 確 定 さ"(1 .2) と い う"シ ャ ノ ン 情 報 理 論 の 基 本 思 想"に 従 い 、 認 識 情 報 量(1個 の パ タ ー ン を 処 理 し たパ タ ー ン
・認 識 シ ス テ ム が 獲 得 す る 認 識 工 ・ン トロ ピ ー;recognitionentropy)が 提 案 ・計 算 機 シ ミ ュ レ ー シ ョ ン さ れ .[13],[12]、Kolmogorovの 大 数 の 強 法 則 を 適 用 し て 、 多 数 の パ タ ー ン の 、 シ ス テ ム に よ る 認 識 処 理 に 伴 う パ タ ー ン 情 報 処 理 量 定 理 が 提 出 さ れ て い る[8]。
パ タ ー ン(pattern)ψ と・は 、 ヒ トの 顔 画 像 、 ヒ トの 発 し た 音 響 波 形 、 言 語 音 声 、 会 話 音 声 、 ヒ トの 描 い た 文 字 形 、 印 刷 文 字 形 、 文 書 内 文 章 列 、 静 止 画 像 、 動 画 像 、 幾 何 学 的 形 状 な ど の 総 称 で あ る 。 .ある 程 度 の 変 形 が 許 さ れ 、 冗 長 性(redundancy)が あ る 情 報 の 表 現 で あ る 。
数 理 科 学(mathematicalscience)の 対 象 と 出 来 る.よ う に 、S.Suzukiは 予 め 、 パ タ ー ン と 判 明 し て い る パ タ ー ン 集 合(基 本 顰 域;basicdomain)ΦBを 想 定 し ・ 認 識 の 働 き と 関 連 付 け て 、 ζ の タ う な 類 の パ タ ー ン の 再 帰 的 定 義(recursivedefinition)が 可 能 な こ と を 初 め て 明 ら か に し 、 再 帰 領 域 方 程 式(refiectivedomainequation)の 解 .とし て の"処 理 の 対 象 と す る 問 題 の パ タ ー ン ψ の 集 合 Φ
(⊃ ΦB)"が 構 成 的 で あ る こ と を 指 摘 した[7],[13]。
パ タ ー ンSPに 対 す る 認 識 の 働 き(recognition)[5] ,[19].と は 、
① 正 規 化(nomalization;パ タ ー ン整 形 化 を 目 的 と し た 事 前 処 理)
② 特 徴 抽 出(feature‑extraction;識 別 に 役 立 つ 示 唆 的(distinctive)量 と し て の 特 徴 量 を 求 め る こ と)
③ 識 別(classification;パ タ ー ン の 表 す 類 概 念 を 決 定 す る こ と) な る3つ の 働 き を 連 動 し た 処 理 の 総 称 で あ る 。
パ タ ー ン 認 識 技 術 は 当 初 、 人 工 知 能 技 術 の1分 野 と 考 え ら れ て い た が 、 そ の 後 、 記 号 処 理 を 主 目 的 とす る知 能 工 学(intelligenceengineering)[32]・ 、か ら離 反 し た 存 在 と し て 、 扱 わ れ た 。 人 工 知 能 分 野 が 人 間 の 苦 手 な 処 理 を 扱 う よ う に な っ て い っ た か ら で あ る 。 と こ ろ が 、 人 間 の 得 意 な 処 理 を 扱 お う と い う 気 運 が 漂 う に な り 、 当 初 か ら 人 工 頭 脳(artificialbrain)と し て 扱 わ れ て い たdigital computersの 構 成 原 理 に 疑 問 を 抱 き再 登 場 し た ニ ュ ー ラ ル ネ ッ ト理 論(theoryofneuralnetworks)
[6]は 、 記 号 系 列 に よ る 情 報 処 理 体 系 に 依 存 す る 人 工 知 能 理 論 で は 容 易 に 扱 え な い"知 識 の 獲 得 技 術"の 存 在 を そ の 学 習 法 を 介 し 、 明 ら か に し 、 併 せ て 、 認 識 技 術 を 再 構 築 す る 役 割 を 積 極 的 に 果 た し た 。 最 近 で は 、 パ タ ー ン 認 識 学 は 、 知 能 情 報 学(intelligenceinformatics)の1分 野 と し て 、 扱 わ れ て い る[7],[8]。 ニ ュ ー ラ ル ネ ッ トが そ の 学 習 過 程(learningprocess>を 介 し、 計 算 要 素
と し て の 神 経 細 胞 、 ニ ュ ー ロ ン ・(neuron)問 の そ の シ ナ プ ス 荷 重(synaptic‑connectionweights)の 組 に 記 憶 し 間 接 的 に 獰 得 す る 不 動 点 形 吸 引 点(attractorsasfixed‑points)は 或 る カ テ ゴ リ の 代 表 パ
タ ー ン に 相 当 す る だ ろ う 。
S.Suzukiは 、.、各 層 内 の 二.ユ ー ・ロ ン(neur n;情 報 処 理 を す る 神 経 細 胞)同 士 に は 結 合 が な ぐ て 、
前 段 の 層 の ニ ュ ー ロ ン か ら そ の 次 の 層 の ニ ュ ー ロ ン へ の 結 合 の み あ る 前 進 形 多 層 ニ ュ ー ラ ル ネ ッ ト(multi‑layerfeedforwardnetwork)、 或 い は 、 階 層 形 ニ ュ ー ラ ル ネ ッ ト(hierarchicalnetwork)の 逐 次 学 習 問 題 を 適 応 誤 差 の 確 率 分 布 を想 定 し て 、 最 尤 法(methodofmaximumlikelihood)で 一 般 的 に 取 り扱 い 、 こ れ ま で の 標 準 的 な"適 応 誤 差 の 確 率 分 布 を 想 定 し な い(distribution‑free)最 ・亅・自 乗 学 習 法 に 基 づ く 階 層 形 ニ ュ ー ラ ル ネ ッ ト"の 誤 差 逆 伝 播 学 習 が 、 平 均 値 ゼ ロ ・等 分 散 の 正 規 分 布 を 誤 差 の 確 率 分 布 と す る 特 別 な 場 合 で あ る こ と を 導 い た[6]。
認 識 技 術 の 総 称 と し て の"認 識 工 学(recognitionengineering)"を 初 め て 提 唱 し た の は 、 量 子 力 学 的 原 理(principlesofquantummechanics .)を 多 少 意 味 を 違 え て 、
2つ の ノ ル ム 規 格 化 パ タ ー ン 問 の 内 積 の 絶 対 値 の 自 乗 は 、 一 方 の パ タ ー ン が 部 分 的 に 他 方 の パ タ ー ン の 状 態 に あ 「る こ と の 確 率 で あ る[20],[9](1.3)
と い う解 釈 が 採 用 し て 得 ら れ た 認 識 の 量 子 論(aquantumtheoryofrecognition)[5]を 構 築 し たS.
Suzikiで あ る[21]。
パ タ ー ン は 座 標 変 換(achangeofcoordinates)、 歪 み 、 変 形.(distortion)に 耐 え 、 冗 長 性 あ る 表 現 な の で 、 似 た パ タ ー ン の 集 ま り を1つ の 表 象(代 表 パ タ ー ン;prototypicalpattem)で 指 示 す る こ
と は 素 直 な こ と で あ る 。
1つ の カ テ ゴ リ に 帰 属 す る パ タ ー ン は そ の 帰 属 す る カ テ ゴ リ を 保 存 し た ま ま 、 そ の 代 表 パ タ ー ン か ら の ど の 程 度 の 変 形 に 耐 え ら れ る で あ ろ う か?変 形 の 程 度 が あ ま り 、 大 で な い 場 合 に は 変 形 の 程 度 を 解 析 的 に 表 現 で き る[30]。
S.Suzukiは 、 パ タ ー ン か ら の 特 徴 抽 出 の 働 き に 関 し複 数 の パ タ ー ン(波 動 関 数;wavefunction>
の 和 は パ タ ー ン と は 限 ら な い と い う解 釈 の 下 で 、 量 子 力 学 的 原 理 を 適 用 し て 得 ら れ た そ の 提 案 し た"認 識 の 量 子 論"に 従 っ て 、1枚 の 手 書 き漢 字 パ タ ー ン の 、 位 置 ず れ に 不 変 な 画 像 情 報 量(エ ン
トロ ピ ー;平 均 情 報 量)を フ ー リ ェ 変 換 を 使 っ て 定 義 し、
同 一 カ テ ゴ リ に 帰 属 す る パ タ ー ン の 画 像 情 報 量 の 算 術 平 均 値 に よ る"カ テ ゴ リ の 、 そ の 幾 何 学 的 形 状 の 複 雑 さ に 基 づ く順 序 付 け"(1.5)
に 成 功 し て い る[9]。
最 小 距 離 分 類 器 、 最 大 相 関 分 類 器 、 不 動 点 探 索 形 構 造 受 精 多 段 階 帰 納 推 理 の 働 き で パ タ ー ン 認 識 を 行 う シ ス テ ムRECOGNITRONな ど で は 、 典 型 と し て の 代 表 パ タ ー ン を 中 心 と し た 緩 や か な カ テ ゴ リ を 想 定 し て い る[7]。 こ の よ う な 緩 や か な カ テ ゴ リ を 想 定 す る 認 識 手 法 で は 、 各 カ テ ゴ リ の 代 表 パ タ ー ン を 予 め 、 決 定 し て お く必 要 が あ る(認 識 工 学[5]に お け る 必 要 性)。
前 研 究 で は 、9つ の 有 声 破 裂 音/ba/,/be/,/bo/,/da/,/de/,do1,1ga/,1ge/,/go1を 全 カ テ ゴ リ集 合 とす る 場 合 の 代 表 パ タ ー ン の 集 合 Ω ・が 、Kohonenな ど に よ り提 唱 さ れ て い る 学 習 ベ ク トル 量 子 化LVQ(LearningVectorQuantization)を 多 少 簡 単 化 し て 得 ら れ た ア ル ゴ リ ズ ム で 決 定 さ れ て お り、
こ の ア ル ゴ リ ズ ム で 使 わ れ る 減 少 関 数 α(t)「が 新 し く提:案 さ れ て い る 。 得 ら れ た 結 果 は 人 の 耳 で 聞
く限 り、 大 旨 良 好 で あ る 。 ・ ノ
本 研 究 で は 、 前 研 究 で 採 録 さ れ て い る9つ の 有 声 破 裂 音 の 、81個 の2式(2.25),(2.26)の 有 声 破 裂 音 声 波 形 を 用 い 、9個 の 各 有 声 破 裂 音 カ テ ゴ リ を 順 序 付 け 可 能 な 変 動 エ ン ト ロ ピ ーVEp(j)
を 式(3.44)の 形 で 提 案 し、 そ の 計 算 機 シ ミ ュ レ ー シ ョ ン 結 果 が 明 ら か に さ れ る 。
変 動 エ ン トロ ピ ー と い う 概 念 の 定 義 は 、o,1の2値 を と る パ タ ー ン ψ の 集 合 に 関 し 、 文 献[3],
[4]で 初 め て 導 入 さ れ た 。 文 献[2]の14章 で は 、 パ タ ー ン か ら 抽 出 さ れ た 非 負 特 徴 量 の 組 の 集 合 に 関 し ・ 情 報 の 量 子 論(Quantumtheoryofinformation)[5],[9]の 観 点 か ら ・ 変 動 エ ン ト ロ ピ ー が 定 義 さ れ て い る 。 本 節 で は 、 定 理2.1で の2値 化 パ タ ー ン モ デ ルTψ の 集 合 を 想 定 し 、 各 カ テ ゴ リ
◎jの 変 動 エ ン ト ロ ピ ーVEp(j)を 新 た に 、 ク ロ ス エ ン トロ ピ ー と し て 定 義 す る(新 規 性,信 頼 性)。
本 論 文 で は 、 処 理 の 対 象 と な る 入 力 パ タ ー ンSPの 、 式(2.29)の 集 合 ΦBを 各 カ テ ゴ リ(Σ」 に 帰 属 す る パ タ ー ン 集 合 Ψ 」に 有 限 分 割 し、 そ の 変 動 エ ン ト ロ ピ ーVEp(j),そ の 他 の 付 随 量 な ど を 求 め る 手 法 に つ い て 、 説 明 さ れ る 。 カ テ ゴ リ 変 動 性 の 計 量 化 機 能 を 備 え た 変 動 エ ン ト ロ ピ ーVEp(j) は3.4節 で 説 明 さ れ る が 、 そ の た め の 準 備 と し て 、 Ψjの 全 エ ン トロ ピ ーEntr(j)が3.3節 で 説 明 さ れ る 。 両 者VEp(j),Entr(j)の 間 に 存 在 す る 関 係 も指 摘 さ れ る(定 理3.1)。
各 変 動 エ ン ト ロ ピ ーVEp(j),そ の 他 の 付 随 量 な ど を 予 め 、 求 め て お く と 、 認 識 の 働 き が 正 常 に機 能 し た か ど う か が 検 討 で き る(有 効 性)。
マ ル チ メ デ ィ ア 時 代 に 突 入 し た 現 在 、 音 声 処 理[15],[16],[18]と 自 然 言 語 処 理[29]と を 統 合 的 な 観 点 か ら研 究 し よ う と す る"音 声 言 語 処 理(spokenlanguageprocessing)"の 技 術[17]は 、 マ ル チ メ デ ィ ア 時 代 の 後 期 に 重 な っ て 到 来 す る 知 能 情 報 メ デ ィ ア 時 代 に 要 求 さ れ る 基 幹 技 術 の1つ で あ る 。
電 子 化 さ れ 、 機 械 で 可 読 な 大 量 の 音 声 ・言 語 デ ー タ 、 つ ま り、 コ ー パ ス(corpus)は 、 音 声 言 語 処 理 技 術 の 確 保 に 必 要 不 可 欠 な も の に な っ て お り 、 言 語 現 象 を 把 握 し、 モ デ ル 化 す る の に そ の 威 力 を 発 揮 し て い る 。
例 え ば 、 音 声 デ ー タ を 何 ら か の 属 性 に 従 っ て 分 類 す る と い う'クラ ス タ リ ン グ(clustering)の 手 法 に は 、 シ ャ ノ ン相 互 情 報 量 、 カ ル バ ッ ク ・リ ー ブ ラ ー 情 報 量(Kullback‑Lieblerdistance)、 ク ロ ス エ ン トロ ピ ー[31]が 用 い ら れ 、 情 報 理 論 の 役 割 が 正 当 に 認 識 さ れ て い る 。
本 論 文 で は 、S.Suzukiの 「パ タ ー ン 認 識 の 数 学 的 理 論 」[7],[8],[13]で 登 場 し、 式(2.51)で 定 義 さ れ る2値 化 パ タ ー ン モ デ ルTψ を 使 っ て 、 第j∈ 」番 目 の カ テ ゴ リ(∫jの 変 動 エ ン ト ロ ピ ー VEp(j)が 提 案 さ れ 、9個 の 有 声 破 裂 音 に 関 し 、 各 変 動 エ ン トロ ピ ーVEp(j)(j∈J)を 計 算 機 シ ミ ュ レ ー シ ョ ン で 求 め 、 変 動 エ ン トロ ピ ーVEp(j)が カ テ ゴ リ(Σjを 保 存 す る パ タ ー ン 変 形 を 特 性 付 け る 一 面 を 明 ら か に す る 。
本 計 算 機 シ ミ ュ レ ー シ ョ ン で は 、9個 の 、 式(2.22)の 有 声 破 裂 音/ba/,/be1,/bo/,1da1,1de/, do/,/ga/,1ge1,1go/の 音 声 波 形 ψ を 変 換 し て 得 ら れ る2値 化 パ タ ー ン モ デ ルTψ を 用 い 、 そ の カ テ ゴ リ 内 変 形 の 程 度 を 計 量 で き る 変 動 エ ン トロ ピ ーVEp(j)(j=1〜9)の 大 小 関 係 で 、9個 の 有 声 破 裂 音 が 意 味 あ る順 序 に ほ ぼ 並 ぶ な ど の 事 実 が 指 摘 さ れ る(有 効 性)。
本 論 文 で は 、 処 理 の 対 象 と な る 問 題 の パ タ ー ン ψ の 集 ま り の な す"再 帰 領 域 方 程 式(2.18)の 解 と し て の 誘 導 領 域 Φ 内 の 基 本 領 域 ΦB"内 の パ タ ー ン ψ の 、 式(2.51)で 定 義 さ れ る2値 化 パ タ ー ン モ デ ルTψ を構 成 し た 後、 式(2.29)のn(j,q)を 用 い て 、 各 変 動 エ ン トロ ピ ーVEp(j)を 式 (3.44)の 如 く 定 義 した 。 式(2.29)のn(j,q)は 、 定 理2.1を 適 用 す る と 、 式(3.44)の 如 く定 義 さ れ る 各 カ テ ゴ リ(Σjの 変 動 エ ン トロ ピ ーVEp(j)は 、 式(2.8)の モ デ ル 構i成作 用 素.Tの 下 で 不 変 で あ る(新 規 性)
2.採 用 さ れ た2値 化 パ タ ー ン モ デ ルTψ 、 並 び に 、 計 算 機 シ ミ ュ レ ーシ ョ ン 諸 条 件
本 章 で は 、本 計 算 機 シ ミュ レ ー シ ョ ン で使 用 さ れ た 音 声 波 形 パ タ ー ン集 合 ΦB、並 び に 、本 計 算 機 シ ミ ュ レー シ ョン諸 条 件 が 説 明 され た 後 、 採 用 さ れ た パ タ ー ンモ デ ルTψ につ い て 、 説 明
され る 。
2.1処 理 の 対 象 と す る パ タ ー ン ψ の 集 合 Φ と 、 モ デ ル 構 成 作 用 素Tと の 対 【Φ ,T) 2.1.1可 分 な 一 般 抽 象 ヒ ル ベ ル ト空 間 命
処 理 の 対 象 とす る パ タ ー ン ψ は 可 分 な(separable)或 る 一 般 抽 象 ヒ ル ベ ル ト空 間(Hilbertspace) 拿 の 元 と す る 。 ψ の 集 合 Φ は 夢 の 或 る 部 分 集 合(subset)で あ っ て 、 一 般 に Φ は 命 の 部 分 空 間 (subspace)で は な い 。 つ ま り、
一 般 に、 ψ,η ∈ Φ で あ っ て も 、a,bを 任 意 の 複
素 定 数 と して 、 一 般 に 、a・ ψ+b・ ηζ Φ で あ る(2 .1)
とす る(パ タ ー ン の 帰 納 的 定 義[7]を 参 照)。 こ こ に 、Eはnotbelongtoの 意 で あ る 。 可 分 な 一 般 抽 象 ヒ ル ベ ル ト空 間 夢 に つ い て 、 説 明 し て お こ う 。
内 積 、 ノ ル ム を 各 々 、
(〜o,η)・1ゆll≡ 禰 ,(2.2)
と す る 可 分 な 一 般 抽 象 ヒ ル ベ ル ト空 間 夢 が 可 分 と は 、 稠 密 な(dense)可 算 部 分 集 合 が 磨 に 存 在 す る こ と を 指 す 。 ψ,η ∈ 桓 間 の ノ ル ム 距 離1ψ 一 ηiiは 無 論 、
llψ 一 ηii一 縮)(2.3) 'と定 義 さ れ る
。
理 解 を 容 易 に す る た め に 、 夢 の1例 を 挙 げ て お こ う。
ヒ ル ベ ル ト空 間 夢=L2(M;dm)で は 、 内 積(ψ,η)は 、 (ψ,η)一fdm
M(・)ψ(・)・i(・)(2.4)
こ こ に 、 万 は η の 複 素 共 役 で あ り、
M:q次 元 ユ ー ク リ ツ ド空 間Rqの 可 測 部 分 集 合(2 .5)
dm(x):正 値Lebesgue‑Stieltjes式 測 度(2 .6)
x=〈x1,x2,…,Xq>∈M(=Rq)(2 .7)
・と定 義 さ れ る[5] ,[7],[8]。 可 分 で あ る よ う に 、 測 度dm(x)が 選 定 さ れ て い な け れ ば な ら な い 。 可 分 な ヒ ル ベ ル ト空 間 夢 の7例 に つ い て は 、 文 献[7]の2.2.1項 に あ る 。
2.1.2axiom1を 満 た す[Φ,T]
次 のaxiom1[13],[7],[8]を 満 た す 写 像
T:Φ → Φ(2 .8)
を 導 入 す る 。 パ タ ー ン ψ ∈ Φ を 写 像Tで 変 換 し て 得 ら れ る パ タ ー ンTψ ∈ Φ は 、 パ タ ー ン ψ ∈ Φ に 対 応 す る パ タ ー ン モ デ ル[10]と 称 せ ら れ る 。
パ タ ー ン の 知 覚 情 報 処 理 は 、 ψ ∈ Φ に 対 応 す る 知 覚 モ デ ルTψ ∈ Φ を 形 成 す る こ と(モ デ ル 形 成 過 程)か ら 始 ま る 。
Axiom1(パ タ ー ン 集 合 Φ と モ デ ル 構 成 作 用 素Tと の 対 【m,T】 の 満 た す べ き 公 理)
(i)(零 元 のT一 不 動 点 性;fixed‑pointpropertyofzeroelementundermappingT)0∈ Φ 〈TO=0.
(ii)(錐 性,正 定 数 倍 吸 収 性;coneproperty)
∀ ψ ∈ Φ,a・ 〜iZi)∈Φ 〈T(a・ ψ)=Tψ foranypositiverealnumbera.
(iii)(ベ キ 等 性,埋 込 性;idempotency,embeddedness)
∀ ψ ∈ Φ,TgP∈ Φ 〈T(Tψ)=Tψ.
(iv)(写 像Tの 非 零 写 像 性;non‑zeromappingpropertyofT)ヨ ψ ∈ Φ,Tψ ≠0.□
上 述 のaxiom1を 発 見 し 、 パ タ ー ン モ デ ル と い う 概 念 を初 め て 明 ら か に し た の は 、S.Suzukiで あ る[7],・[10],[13]Q
2.1.3初 期 過 程 と 結 合 過 程 と か ら な る モ デ ル 形 成 過 程
【Φ,T】 がaxiom1を 満 た す と い う 意 味 で モ デ ル 構 成 作 用 素(model‑constructionoperator)と 呼 ば れ る 式(2.8)の 写 像Tを 使 っ て 得 ら れ る モ デ ル 形 成 過 程
ψ ∈Φ →T9)∈ Φ.(2.9) は 、
① 対 象 ψ に 存 在 す る 諸 特 徴 が 抽 出 さ れ 、 独 立 に 処 理 さ れ る 初 期 過 程 ψ ∈ Φ → 』L(ψ)≡{u((ii),の ∈zie∈L}∈zlLI(2.10)
② 抽 出 さ れ た そ れ ら の 諸 特 徴 が 統 合 さ れ て1つ の 知 覚 モ デ ルTqが 形 成 さ れ る 結 合 過 程
』L(ψ)∈z江}→T〜0∈ Φ(2.ll)
か ら な る 。 こ こ に 、lLiは 集 合Lに 含 ま れ る 要 素 の 総 数(cardinality)の 意 で あ る 。 ま た 、 特 徴 抽 出 写 像
u:Φ ×L→Z(複 素 数 の 集 合)(2.12)
が 導 入 し て 、 パ タ ー ン ψ ∈ Φ か ら抽 出 さ れ た 第e∈L番 目 の 特 徴 量 をu(ψ,の ∈Zと 表 現 し て い る 。 2.1.4最 小 特 徴 間 距 離 に よ る 認 識 法
パ タ ー ン ψ ∈ Φ か ら抽 出 さ れ た 第k∈L番 目 の 複 素 数 値 特 徴 量 を 、 u(ψ,k)∈Z(複 素 数 の 集 合 〉(2.13)
と表 す 。 正 ・有 限 条 件
[∀k∈L,0<Wk〈 ΣWk<Oo(2.14) をし
を 満 た す 重 みwkの 組{wk}k。Lを 導 入 し て 、2つ の パ タ ー ン ψ,η ∈ Φ 問 の 特 徴 間 距 離(featuredistance) Fdis(ψ,η)
≡[濃
。w・ 、 ・(q・k)一 ・(η・k)12]1/2(2・15)
と、 各 カ テ ゴ リ ◎iの 代 表 パ タ ー ン ω{の モ デ ルTω 三と を 用 意 し て 、1つ の カ テ ゴ リ番 号 j=argmini∈ 」Fdis(T{;ρ,Tωi)∈J(2.16)
を 求 め 、
ψbelongstothej‑thcategory(iSlj(2.17)
の 如 く、 認 識 す る 手 法 が 最 小 特 徴 問 距 離 に よ る 認 識 法 ・(methodofminimumfeature‑distance)で あ る 。[21]
2.2動 作 領 域 Φ を 決 定 す る 再 帰 領 域 方 程 式
処 理 の 対 象 と す る 問 題 の パ タ ー ン ψ の 集 合(認 識 シ ス テ ムRECOGNITRONの 動 作 領 域;
operatingregion)Φ に つ い て 適 切 な 式(2.8)の モ デ ル 構 成 作 用 素Tを 選 定 す る 。 Φ,Tか ら な る 対
【Φ,T】 は2.1.2項 のaxiom1を 満 た さ な け れ ば な ら な い こ と[7]か ら、 パ タ ー ン で あ る こ と が 判 明 し て い る パ タ ー ン 集 合(基 本 領 域;basicdomain)ΦBを 用 意 す る と 、 Φ は 集 合 論 的 方 程 式(再
帰 領 域 方 程 式;reflectivedomainequaion)
Φ=ΦBUT・ ΦUR++・ Φ(2 .18)
where
T・ Φ ≡{T〜 ρ[ψ ∈ Φ}(2.19)
R++・ Φ
≡{aψla∈R++(正 の 実 数 全 体 の 集 合) ,ψ ∈ Φ}(2.20)
を 満 た さ な け れ ば な ら な い 。 文 献[7]の 定 理2.1(再 帰 領 域 定 理)に よ れ ば 、 Φ は 誘 導 領 域 .(deriveddomain)と して
Φ=R++・(ΦBUT・ ΦB) 、 、 「(2.21).
と 、 決 定 さ れ る 。 式(2.21)の 決 定 さ れ た .再帰 領 域 方 程 式(2.18)の 解 Φ は 、 構 成 的 集 合 (constructibleset)で あ る こ と を 示 して お り、 Φ は 原 点(=0∈ ΦB)を 始 点 と し、 ΦBUT・ Φ 、の 任 意 の 点 を 通 る 任 意 の 半 直 線 を 含 む よ う な 集 合(錐;cone)で あ る こ と に 注 意 し て お く。
2.3音 声 デ ー タ の 収 集 と番 号 付 け
音 声 波 形 は 、 時 間 の 関 数 で あ り 、 音 素 と 共 に 変 化 し て い る 。 調 音 位 置 に よ っ て 日本 語 子 音 を 分 類 す れ ば 、 唇 音,歯 音 ・歯 茎 音,口 蓋 音,声 門 音 とい う こ と に な る 。 破 裂 音,破 擦 音,摩 擦 音,弾 音,鼻 音,半 母 音 と い う 調 音 様 式 の 差 に よ る 分 類 も あ る 。
微 視 的 に は 、 母 音 や 摩 擦 音 は 殆 ど 一 定 の 波 形(定 常 的 な 波 形)の 繰 り返 し で あ る 。 破 裂 音 は 閉 鎖 、 破 裂 、 摩 擦 の 連 続 し た 波 形 で あ る 。 音 声 全 体 は 、 非 定 常 な 信 号 で あ り 、、短 時 間 的 に は 、 定 常 信 号 で あ る 。
無 声 破 裂 音 に は 、1p1(唇 音),/t/(歯 音 ・歯 茎 音),1k/(ロ 蓋 音)が あ り、 有 音 破 裂 音 に は 、/b/
(唇 音),'/d1(歯 音 ・歯 茎 音),/91(口 蓋 音)が あ る 。 有 声 音 と は 発 声 の 時 に声 帯 の 振 動 を伴 う も の で あ る 。
有 声 破 裂 音
/ba/,/be1,/bo1,1da1,1de1,/do1,/ga/,/ge1,/go1.:(2.22) の 大 学 生 男5人,大 学 生 女4人 の 計9人 分 の 音 声 デ ー タ
{P正,q2,.'●,ψ8i・ 』(2.23)
を テ ー プ レ コ ー ダ に 採 集 し 、 フ ロ ッ ピ ィ'ディ ス ク に 振 幅 を 符 号 な し8ビ ッ トで 表 現 し た キ ャ ラ ク タ 表 示
か ら128を 差 し引 い た 値 一128〜 十127.』 、(2.24)
と し て 記 録 し た 。1番 目 の 学 生 の 音 声 デ ー タ は 、
q,[fba/],ψ ・[/b・1],q'・[/b・1],ψ・[/da/],q,[1d・/],q、[/d・1],ψ,[!ga/],q、[19・/],ψ,[/9・1]
(2.25)・
で あ る 。 以 下 、 こ の 順 に2,3,…,9人 目 の 音 声 デ ー タ が q,o・qii・.●●・ψ81 .「(2.26)
の 如 く番 号 付 け ら れ て い る 。
・.各 パ タtンqn(n=1〜81)は 、 内 積(ψ ,η)を 、 (ψ,η)
キ 一
.乙d・ ψ(・)・ 万(・)
={d・q(・)'万(・)1「 『■'・(2
・27)
where
M≡ …{XI一 ∞<x<十 〇〇}』(2.28)
と す る 可 分 なHilbert空 間 夢=L2(M;dx)(=L2(一 ∞,+・ ・))の 元.と 見 做 さ れ 、2.2項 の 基 本 領 域 ΦB と ーし て 、
Φ■B≡{g冫1,〜ρ2,。・。,9フ811∪{0}(2.29) が 選 ば れ た 。
2.4カ テ ゴ リ の 番 号 付 け
2.4.1全 カ テ ゴ リ集 合 旦 を 表 現 す る全 代 表 パ ダ ー ン 集 合 Ω
正 常 な パ タ ー ン ψ は あ る1つ の カ テ ゴ リ 、例 え ば 、 第 」∈J番 目 の カ テ ゴ リ(Svljのみ を 表 現 し て い な け れ ば な ら な い 。 こ の よ う な(ISIjの集 ま り(全 カ テ ゴ リ 集 合)
旦 ≡{(llljlj∈J}'.(2.30)
を 想 定 し、(Ejの 備 え て い る 諸 性 質 を 典 型 的 に 代 表 し て い る 代 表 パ タ ー ン(prototypicalpattem)ωj (≠0)を1つ 選 定 す る 。 こ の よ う な 代 表 パ タ ー ン ω」の 、1次 独 立 で あ ら ね ば な ら な い 集 合 全 体(全 代 表 パ タ ー ン 集 合)
Ω ≡{ωjlj∈J}⊂ Φ ⊂ 夢 .』(231)
を 導 入 し、 式(2.22)の 有 声 破 裂 音 を こ の 順 に
◎1,(S2,(S.3,(箪4,(S5,(並,,(Sv7,(芭8,(芭,'(2.32) と 、 カ テ ゴ リ付 け た 。
式(2.30)の 全 カ テ ゴ リ 集 合 ◎ で の 全 カ テ ゴ リ番 号 集 合Jに つ い て は J={1,2,…,9}'・(2.33)
JSIZE=IJI=・9(totalnumberofcategoies)..1(2.34) と い う こ と に な る 。 確 率 条 件
[∀j∈J,0<p((E]j)<1]〈 Σp((illlj)=1 .(2.35)
エ
、を 満 た す 第j∈ 」番 目 の カ テ ゴ リ(ISIjの 、 生 起 確 率P((ISIj)は 、 一 P(◎ 」)
=lJI‑1(theprobabilityofoccurrenceofthej‑thcategory(Σj)』(2 .36)
と 設 定 す る 。
2.5計 算 機 シ ミ ユ レ ー シ ョ ン の 諸 条 件
本 計 算 機iシ ミ ュ レ ー シ ョ ン で は 、 音 声 波 形 の 標 本 化 周 波 数(samplingfrequency)W。 と して 、 WO=5500[HZ](2.37)
を 採 用 した 。
さ て 、 次 の 命 題2.1に 注 目す る 。
[命 題2.1](染 谷 一Shannonの 標 本 化 定 理)
式(2.27)の 内 積 を 採 用 し た 可 分 なHilbert空 間 嶺=L、(一 ∞,+・ 。)の 任 意 の 元 ψ=ψ(x)が 、 角 周 波 数 低 域 制 限
ヨW∈R++(asetofpositiverealnumbers),
∀ λ∈{μll,al>2πW}, キ
∫dx〜P(x)・exp(一 〜厂;「 ・λx)=0
一一〇Q
を満 た す な らば 、
キ
1ψ(x)一 Σ ψ(ln/(2W))
ロ コ
・[2πWx一 πm]、 ・sin(2πWx一 πm)II=0 . 上 述 のShannonの 標 本 化 定 理 に よ り 、 標 本 化 間 隔 △xは 、
△x=(2Wo)一1[sec]=0.0909[msec]
と い う こ と に な る 。
音 声 波 形 ψ=ψ(x)は 、 ψ(x)… ≡ ψ(q・ △x),q=0〜TSIZE‑1 と 表 さ れ 、 こ れ を 便 宜 的 に 、
q[q]≡ ψ(q・ △x),q=0〜TSIZE‑1 と 表 す こ と に す る 。 こ こ に 、
Xq=q。 △X
TSIZE=2048(maximumofquantizedtimes) と 表 さ れ 、
TS】匚ZE× △x=・186.1818[msec]
が そ の 継 続 時 間 で あ る 。
式(2.27)の 内 積(ψ,η)の 近 似 式 と し て 、
が 謀 用1禦 塙 △X.ψ(q●△X)●万(q.△X)
0
(2.38)
(2.3ﾟ) (2.40)
(2.41) (2.42) (2.43)
(2.44)
2.6本 計 算機 シ ミ ュ レー シ ョン で採 用 され たパ タ ー ン モ デ ルTψ 2.6.1音 声 波 形 の 振 幅 規 格 化 変 換
式(2.40)の 音 声 波 形 ψ[q]に ム 対 し、 振 幅 規 格 化 条 件
∀q∈Q,一1≦ ψ[q]≦ 十1・1(2.45) こ こ に 、
Q≡{qlq=0〜TSIzE‑1}(2.46)「
を 満 た す"振 幅 最 大 値 に よ る 規 格 化 変 換"
q[q]=
0…maXqlψ[q]1=0の と き
ψ[q]1maxqlψ[q]【 …maxqiq[q]【>0の と き ・.「.1(2.47) を 導 入 し 、 音 声 波 形 変 換
バ
ψ[q]→ ψ[q],q∈Q(2.48) を 定 義 す る 。.
2.6.2モ デ ル 構 成 作 用 素Tの 導 入
式(2.29)の ΦBに つ い て 式(2.21)の Φ で 与 え ら れ るaxiom1を 満 た す 対[Φ,T]を 具 体 的 に 、 定 義 す る た め に 、 式(2.8)の 写 像Tを 次 の よ う に 定 義 す る:
不 等 式
∀q,0≦ ε(Xq)≦1'(2 .49)
を 満 た す 閾 値 関 数
・(M),q∈Q』 』(2.50)
を 導 入 し 、
(Tψ)[q]=(Tψ)(Xq)
Oif‑1≦ ψ[q]≦1一
ム
ε(Xq) 、 1if1一 ε(xq)<q[q]≦1(2.51) こ こ に 、∀q,一1<r[1一 ・(・,)]<0
〈 十[1一 ε(Xq)]〈 十1(2.52) を 定 義 す る 。
[定 理2.1](2値 化 パ タ ー ン モ デ ル 定 理)
式(2.51)の 如 く 定 義 さ れ た 式(2.8)の 写 像Tと 、 式(2.21)の パ タ ー ン 集 合 Φ と の な す 対 [Φ,T]は 、axiomlを 満 た す 。1
(証 明)明 ら か に 、axiom1の(i),(ii>,(iii)の3後 半 と(iv)と の 成 立 を 示 せ ば よ い 。 何 故 な ら ば 、
2式(2.29))か ら0∈ ΦBで あ り 、 よ っ て 、 式(2.21) の Φ よ り 、0∈ Φ'.、(2.53)
を 得 、axiom1の(i)の 前 半 は 満 た さ れ て い る 。 ま た 、 式(2.21)の Φ はaxiom1の(ii)の 前 半 を 満 た す こ と は 直 ち に わ か る 。 最 後 に 、 式(2.21)の Φ はaxiom1の(iii)の 前 半 を 満 た す こ と は 、 axiom1の(ii),(iii)の2後 半 を 使 え ば 容 易 に 示 さ れ る 。
よ っ て 、axiomlの(i),(ii),(iii)の3後 半 と(iv)と の 成 立 を 示 そ う 。3定 義 式(2.47),(2 .51), (252)に 絶 え ず 、 注 意 し て お く 。
axiom1の(ii)の 後 半 の 成 立:∀q,ψ[q]=0と す る 。 maxlIliii)[q]1=0を 得 、 ∀q,φ[q]=0
よ っ て 、 ∀q,(Tq>[q]=0(=ψ[q]) が 得 ら れ る 。
axiom1の(ii)の 成 立:aを 任 意 の 正 定 数 と す る 。 (1)∀q,ψ[q]=・oと す れ ば 、
∀q,(a・ge,)[q]=0 を 得 る 。
∀q,
T(a・ ψ)[q]=0∵axiom1の(i>の 後 半
=(Tq)[q] .'.●axiom1の(i)の 後.半.
(2)ヨqうq[q]≠0と
ム
す れ ば 、max,1ψ[q].1,>qで あ る 。』よ っ て 、∀q,ψ[q]=ψ[q]/maXq【q[q]1 で あ る 。1ま た 、
ヨq,(a・ ψ)[q]≠0で あ り、maxq1(a・ 〜ρ)[q]1>0で あ る 。 よ っ て 、
∀q,(命[q]
=a・ ψ[q]1maX
q【a・ ψ[q]1
=gz》[q]/maX
qI〜P[q]1
=ψ[q]∴T(a・9i))[q]=T(ψ)[q] .
axiom1の(iii)の 後 半 の 成 立:ηEETψ と お く 。 (3)∀q,η[q]=0と す れ ば 、
∀q,(Tη)[q]=0.∵axiom1の(i)の 後 半
を 得 る 。
ま た 、 ∀q,η[q]=oを 書 き 直 せ ば 、
∀q,(Tψ)[q]=0 を 得 る 。 よ っ て 、
∀q,(T(Tψ))[q]=(Tψ)[q]==O.
(4)ヨq,η[q]≠0と す れ ば 、 [∀q,η[q]∈{0,1}]〈[ヨq,η[q]=1]〈
maXq「 η[q]1=1>0 で あ る 。 よ っ て 、
(5>η[q]一1⇒ ラ[q]
・「 η[q]/maX
qlη[q]1
=1/1=1∴(Tη)[q]=1=η[q]
(6)η[q]=0⇒?〉[q]
一 .η[q]/m・x,1η[q]L
=0/1=0∴(Tη)[q]=0=η[q]
で あ る 。 よ っ て 、
∀q,(T(Tq))[q]=(T￠))[q].
axiom1の(iv)の 球 立:
[∀q;ψ[q]∈{0,1}]〈[ヨq,ψ[q]=1]と す れ ば 、maxq[ψ 、[q]1=1>0で あ る 。 よ っ て 、
(7)ψ[q]=1⇒ ψ[q]
=q[q]/maX
ql9)[q]1
=1/1=1∴(Tψ)[q]=1=̀Zi)[q]
(8)q[q]一6⇒ φ[q]
=・ψ[q]/maX
qlψ[q][
=0/1=0∴(Tq)[q]=0=ψ[q]
で あ る 。 ・ □
[定 理2.1の 系1](2値 化 パ タ ー ン モ デ ル の 不 動 点 定 理)
∀q,ψ[q]∈{0,1}
⇒ ∀q,(TgP)[q]=ψ[q].
(証 明)ヨq,ψ[q]=1の 場 合 、 本 定 理 の 成 立 は 、(5),(6)か ら 明 ら か で あ る 。
ま た 、 ∀q,ψ[q]=0の 場 合 、 本 定 理 の 成 立 は 、axiom1の(i)の 後 半 の 成 立 の 証 明 か ら 明 ら か で
あ る ・ ..一 □
本 計 算 機 シ ミ ュ レ ー シ ョ ン で は 、 不 等 式(2.49)を 満 た す 式(2.50)の 閾 値 関 数 ε(Xq)を
・(・,)一1一(龠)[q] .(2.54)
と 、 設 定 し た 。
式 、(2.54)で 登 場 し た パ タ ー ン ξ の 説 明 は 次 の 通 り で あ る:
式(2.35)を 満 た す 生 起 確 率 分 布{p(¥ニj)「j∈J}と 、 式(2。31)の 全 代 表 パ タ ー ン 集 合 Ω を 用 い て 定 義 さ れ る パ タ ー ン
ξ 「 書,P(◎ ・)●ω・IIω・ii一1(2.55)
は 、 式(2.30)の 全 カ テ ゴ リ 集 合 旦 上 の 平 均 化 パ タ ー ン と 称 せ ら れ る もの で あ る 。
全 代 表 パ タ ー ン 集 合 Ω は 文 献[28]で 決 定 さ れ た も の を 用 い て い る 。 □
3.変 動 エ ン トロ ピ ーVEp(1),そ の 他 の 付 随 量
本 章 で は、 処 理 の 対 象 と な る入 力 パ タ ー ン ψ の 、 式(2.29)の 集 合 ΦBを 各 カ テ ゴ リ(Σjに帰 属 す るパ タ ー ン集 合 曳 に有 限 分 割 し、 そ の 変 動 エ ン トロ ピ ーVEp(j),そ の他 の付 随 量 な どを 求 め る手 法 に つ い て 、 説 明 さ れ る 。
各 変 動 エ ン トロ ピーVEp(j),そ の他 の 付 随 量 な ど を予 め 、 求 め て お くと、 パ タ ー ン認 識 の働 きが 正 常 に機 能 した か ど うか が検 討 で きる 。
3.1パ タ ー ン 認 識 に 関 連 し た エ ン トロ ピ ー
本 節 で は 、 エ ン ト ロ ピ ー(平 均 情 報 量)の 観 点 か ら認 識 の 働 き を 説 明 し て み よ う 。 或 る 系 の 秩 序(order)は こ の 系 を 表 現 す る の に 必 要 な
情 報 量(amountofinformation)に 等 し い(3.1)
と い う命 題 は 、 通 信 の 数 学 的 理 論(amathematicaltheoryofcommmunication)と 称 して 、ClaudeE.
Shannonが1948年 、BellSystemTechnicalJournalに 発 表 し た 論 文 で 採 用 さ れ て い る 。 こ の 論 文 で は 、 情 報 を 運 ん で い る も の(carriersofinformation)は 離 散 的 な 表 現(discreterepresentation)を も た ら す シ ン ボ ル(symbol)の 系 列 の 場 合 で あ り、 意 味 に 関 す る 側 面 を 無 視 し た 通 信 の 手 段 を 取 り扱 っ て い る 。 一 方 、S.Suzukiが1984年 以 来 発 表 し 続 け て い る パ タ ー ン 認 識 の 数 学 的 理 論(a mathematicaltheoryofrecognizingpatterns)[13],SS理 論[5]〜[8]で は 、 情 報 を 運 ん で い る も の が 意 味 を 失 わ な い 程 度 の 変 形 が 存 在 し て も よ い パ タ ー ン(pattern)の 場 合 で あ り 、 意 味 に 関 す る 側 面 を も考 慮 し た 認 識 の 手 段 を 取 り扱 お う と し て い る 。
s.Suzukiの パ タ ー ン 認 識 の 数 学 的 理 論 で は 、
"獲 得 さ れ た 情 報 量" ="解 消 さ れ た 不 確 定 さ"(3 .2) と い う"シ ャ ノ ン 情 報 理 論 の 基 本 思 想"に 従 い 、 認 識 情 報 量(1個 の パ タ ー ン を 処 理 し た パ タ ー ン 認 識 シ ス テ ム が 獲 得 す る 認 識 エ ン ト ロ ピ ー;recognitionentropy)[12]が 提 案 さ れ 、 多 数 の パ タ ー ン の 、 シ ス テ ム に よ る 認 識 処 理 に 伴 う パ タ ー ・ン 情 報 処 理 量 に 関 す る 定 理 がKolmogorovの 大 数 の 強 法 則 を 適 用 し て 、 提 出 さ れ て い る[8]。
3.2エ ン ト ロ ピ ー の 基 本 的3性 質
本 節 で は 、 エ ン ト ロ ピ ー の 持 つ3つ の 基 本 的 性 質 に つ い て 、 説 明 さ れ る 。 3.2.1a者 択 一 操 作 の 平 均 回 数 と エ ン トロ ピ ー と の 関 係
lim。→o‑x'logex=lim。 →1‑x・logex=0 が 成 立 して い る エ ン ト ロ ピ ー 関 数
一X・1・9
。X(0≦x≦1)
(3.3)
(3.4)
に 先 ず 、 注 意 す る 。
事 象(event)が 複 数 回 のa者 択 一(互 い に 同 等 に 確 か ら しいa個 の 内 か ら1つ を 選 択 す る 操 作) を 繰 り返 し て 確 定 す る と し よ う 。a者 択 一 の 各 操 作 が1/aの 確 率 で 実 施 さ れ る と 想 定 す る の は 自 然 で あ る 。a者 択 一 の 操 作 が 非 負 整 数njの 回 数 で 実 施 さ れ 、 第j(=1〜n)番 目 の 事 象ejが 確 定 す る と 判 明 し た 場 合 、ejの 確 率P」 は
pj=a、 ・a‑i・… ・a‑1(nj回 の 積)=a‑nj(35) で あ っ た と考 え る こ と が で き る 。
よ っ て 、 起 こ り う る 可 能 性 の あ る 事 象 が 多 数 回 生 起 し て 、 こ の 内 の 任 意 の1つ の 事 象 の 生 起 を 知 る 場 合 、M=ΣPj・nj'(3.6)
ニ
は 、1つ の 任 意 の 事 象 を 選 択 し確 定 さ せ る た め に 必 要 な"a者 択 一 操 作 の 平 均 回 数"を 表 し て い る 。 こ のMを1事 象 当 た り の エ ン ト ロ ピ ー(entropy)、 或 い は 、 平 均 情 報 量(averageamountof
information)と い う 。 式(3.5)か ら 、 等 式
一109aPj=】lj(3.7) が 成 立 し て い る が 、 こ の 非 負 量
一logapj=logapj‑1(3.8)
をa者 択 一 操 作 か ら 眺 め た 事 象ejの 情 報 量 とい う。
a者 択 一 操 作 の 平 均 回 数 と し て の 平 均 清 報 量Mは
、
M=一 ΣPj・lo9。Pj(3.9) ニ
と 再 表 現 さ れ る が 、 各 事 象ejの 確 率Pjが 式(3.5)の 形 に 表 現 さ れ 得 な い 場 合 で も 、 確 率 事 象ejの 系 を 表 す 確 率 列 ベ ク トル
̲P̲=col(PlP2.…Pn)
,where匚 ∀ 」,0≦pj≦1]〈 Σpj=1(3.10)
ニ
の エ ン トロ ピ ー,平 均 情 報 量H(2)の 定 義 式(3.12)と して 採 用 さ れ る 。 対 数 の 底 の 変 換 公 式
logba=logca/logcわ(b≠1〈c≠1) ..(3.11)
か ら 、 わ か る よ う に 、 式(3.12)の エ ン トロ ピ ーH(2)の 諸 性 質 は 対 数 の 底 に 依 存 す る も の で は な い 。
次 の3補 助 定 理3.1〜3.3が 成 り立 つ が 、 下 の 命 題3.1の 成 立 は 補 助 定 理3.1を 適 用 す れ ば 、 明 ら か で あ り、H(2)はa者 択 一 操 作 の 平 均 回 数Mを 越 え な い こ と が わ か る 。
[命 題3.1](a者 択 一 操 作 の 平 均 回 数Mの
下 限 と し て の エ ン トロ ピ ーH(p))
H(p)≡ ≡『 ΣPj'log、Pj・(3.12)
nj=1
≦MEΣPj・nj.(3.13)
こ こ に 、 等 号 の成 立 は す べ て のj=1〜nに
ニつ きPj=a‑njの 成 立 す る場 合 に 限 る 。 『 □
確 率 的情 報 源 か ら生 成 され る事 象 を 特 定 す る た め に 必 要 な情 報 量 と して の エ ン トロ ピ ーH(2) は確 率 的 情 報 源 か ら生 成 され る 事 象 を特 定 す る た め に必 要 な 回 数 に 関係 して お り(命 題3.1)、 補 助 定 理3.3の(ii)か らわ か る よ うに 、 最 大
aH(P)=IKI(3.14)
通 りの選 択 の 分 岐 数 が あ り、 或 る1つ の 事 象 の後 に平 均 して生 起 可 能 な事 象 の個 数 と考 え られ る量
aH(P)'』(3 .15) は パ ー プ レ キ シ テ ィ(perplexity)と 呼 ば れ る も の で あ る[17]。
1個 の パ タ ー ン か ら 抽 出 さ れ た 特 徴 量 の 分 布 を エ ン ト ロ ピ ー 化 す る と 、 パ ー プ レ キ シ デ ィ は そ の パ タ ー ン に 含 ま れ て い る1次 独 立 な パ タ ー ン 形 状 素 の 個 数 を 表 し て い る と い う 解 釈 が 可 能 で あ る
[10]。
3.2.2ク ロ ス エ ン.卜ロ ピ ー の 下 限 と して の エ ン トロ ピ ー の 減 少 性,最 小 値,最 大 値 次 の3補 助 定 理3.1〜3.3が 成 り立 つ 。
[補 助 定 理3.1](エ ン ト ロ ピ ー 関 数 の 最 小 性)
Xk>o〈 ど Σyk≦ ビ キΣXk(3 .16)
を 満 た す 添 字kの 集 合K+(⊆K)(3 ・17)
を 導 入 す る と 、2つ の 数 列{Xk}k。K,{yk}k。 、に 関 し 、 不 等 式 職 轟.x・'1・9・x・ ≦ 一 、盈+xk●1・9・y・ ・(3・18) が 成 り立 つ 。 こ こ で 、 等 号 は 、
[∀k∈K+,yk/Xk=1]
〈[Σyk=ΣXk]
キ
が 成 立 す る と き 、 且 つ 、 そ の 時 に 限 る6 補 助 定 理3.1に 登 場 し た 非 負 量 は
一 ΣX
k・IOgeyk キ
は ク ロ ス ・エ ン ト ロ ピ ー(cross‑entropy)[31]と 呼 ば れ る こ と が あ る 。 エ ン ト ロ ピ ー 一 ΣX
k。109eXk
は ク ロ ス ・エ ン ト ロ ピ ー の 下 限 で あ る こ と を 、 補 助 定 理3 .1は 指 摘 し て い る 。 [補 助 定 理3.2](エ ン .トロ ピ ー の 減 少 定 理)
確 率 条 件
[∀q∈K,0≦Xq≦1]〈 ΣXq=1
q∈K
の 下 で は 、
相 異 な るk,m∈Kに 対 し 、 あ る 非 負 実 数 δが 存 在 し て 、 0≦Xk≦Xm≦1〈
ノ ノ
0≦Xk≡Xk一 δ ≦Xm≡Xm+δ ≦1
〈[∀q∈K‑lk,m},Xq!≡ ・,]
で あ れ ば 、 不 等 式
ノ ノ
ー ΣX
q。10geXq≦ 一 ΣXq。10geXq
が 颪 施 っ 、 等 号 が 晟 ず立 つ の は 、 δ一。の と き に 限 る 。
次 の 補 助 定 理3.3は 補 助 定 理3.2を 使 え ば 、 容 易 に 証 明 さ れ る 。[補 助 定 理3.3](エ ン トロ ピ ー の 最 小 値 ・最 大 値 定 理) 確 率 条 件
[∀q∈K,0≦Xq≦1]〈 ΣXq=1
q∈K
の 下 で は 、 不 等 式 0≦ ㍉ 書
。X・'1・9・Xq≦1・9・1KI が 成 り 立 ち 、
(i)0=一 ΣXq。logeXq
q∈iK
(3.19) 0 (3.20) (3.21)
(3.22)
(3.23) (3.24) (3.25)
(3.26)
□
(3.27)
(3.28)
⇔[ヨq∈ …K,Xq=1]〈[∀r∈K一{q},Xr=0].
(ii)lo9。IKI=一 Σxq・log。xq
⇔ ∀q∈K,Xq=1/1Kl.
□
3.3第j∈J番 目 の カ テ ゴ リ(Sljの全 エ ン トロ ピ ー一・Entr(j)
カ テ ゴ リ 変 動 性 の 計 量 化 機 能 を 備 え た 変 動 エ ン トロ ピ'一VEp(j)は 次 節 で 説 明 さ れ る が 、 本 節 で は 、 そ の た め の 準 備 と し て 、 Ψjの 全 エ ン トロ ピ ーEntr(j)が 説 明 さ れ る 。
第 」∈ 」番 目 の カ テ ゴ リ(Σjに 帰 属 す る 音 声 波 形 パ タ ー ン の 有 限 集 合 を 働 と す る 。 定 理2.1の モ デ ル 構 成 作 用 素Tを 使 っ て 、 非 負 整 数 値
n(j,q)≡ Σ(Tq)(Xq)(3.29)
ヲ
を 定 義 す る 。(Tq)(Xq)∈{0,1}で あ る か ら 、 有 限 パ タ ー ン 集 合
TΨj≡{Tψ ゆ ∈ Ψ 」}(3.30)
に 注 目 す る と 、(Tq)(Xq)∈{0,1}(∵ 式(2.51))で あ る か ら 、 n(j,q)は 、TΨ1内 の 、(Tq)(Xq)=1と な る
(つ ま り、2値 化 パ タ ー ン モ デ ルTgoの2つ の 値0,1の 内 、 そ の1つ の 値 が 整 数 値 座 標Xqで1と な る)パ タ ー ン q∈TΨjの 個i数 で あ る(3.31)
と い う 解 釈 を得 、 不 等 式 0≦n(j,q)≦1驚1
が 成 り立 っ て い る 。1Ψj1は 有 限 集 合 働 ・に 含 ま れ る 要 素 の 総 数(cardinality)で あ る 。 N(j)『
1≧もn(j・q) は 、
整 数 値 座 標Xqで2値 化 パ タ ー ン モ デ ルTψ の 値 が1と な る よ う な パ タ ー ン ψ ∈ 鳩 の 個 数n( .1,q)
をq∈Qに わ た っ て 総 和 し た 値 で あ り、 不 等 式
0≦N(j)≦lQl・1働1 が 成 り立 っ て い る 。
(3.32) (3.33)
(3.34) (3.35)
第j∈ 」番 目 の カ テ ゴ リ(Σjに 帰 属 す る 音 声 波 形 パ タ ー ン ψ ∈ Φ,の 集 合 は Ψjで あ る が 、 こ の よ う な パ タ ー ン ψ の 総 数 をm(j)(、 働1)と 表 し 、
b(j)ｰN(j)/m(j)(3.36) を 導 入 す る 。b(j)は 、
パ タ ー ン 集 合 働 内 の1個 の パ タ ー ン 当 り の 、 2値 化 パ タ ー ン モ デ ルTψ の 値 が 各 整 数 値 座 標 Xqで1と な る パ タ ー ン ψ ∈ Ψjの 個 数n(j,q)を q∈Qに わ た っ て 総 和 し た 値N(j)(3.37)
で あ り、 本 計 算 機 シ ミ ュ レ ー シ ョ ン で は 、 式(2.29)の ΦBか ら わ か る よ う に 、 パ タ ー ン 集 合 働 は 、 Ψj≡ ゆ 、it‑」+k・IJ[,k=0〜8}⊂ ΦB・(3,38)
で あ り、
m(j)=9(3 .39) で あ る 。
確 率 分 布
{n(j,q)/N(j)lq∈Q}(3.40) が 、 一 様 確 率 分 布
{n(j,q)/N(j)=1/1QHq∈Q}(3・41)
に 近 づ け ば 近 づ く ほ ど そ の 最 大 値log21Qlに 近 く な る"非 一 様 性 の 指 数"と し て の エ ン トロ ピ ー (entropy)
Entr(j)
≡ 一 Σ[n(j
,q)/N(j)]
・lo92[n(j
,q)/N(j)]・(3.42)
を 導 入 す る 。 こ のEntr(j)は 第j∈J番 目 の カ テ ゴ リ(iSij、或 い は 、 第j∈J番 目 の パ タ ー ン 集 合 働 の 全 エ ン ト ロ ピ ー(totalentropy)と 呼 ば れ る 。
3.4カ テ ゴ リ(Σ1の 変 動 エ ン トロ ピ ーVEp(1)
変 動 エ ン トロ ピ ー と い う概 念 の 定 義 は、0,1の2値 を とるパ ター ン の集 合 に 関 し、 文 献[3],[4]
で初 め て 導 入 され た。 文 献[2]の14章 で は 、 パ タ ー ンか ら抽 出 さ れ た非 負 特徴 量 の組 の集 合 に 関 し、 変 動 エ ン トロ ピ ーが 定 義 さ れ て い る。 本 節 で は、 定 理2.1で の2値 化 パ タ ー ンモ デ ルTψ の 集 合 を想 定 し、 各 カ テ ゴ リ ◎1の変 動 エ ン トロ ピーVEp(j)を 新 た に、 定 義 す る 。
更 に 、
対 象 とな る第j∈J番 目の カ テ ゴ リ(Σiに 帰 属 す る入 力 パ ター ン集 合 働 の 変 動 エ ントロ ピーVEp(j), そ の 他 の付 随 量 な ど を予 め 、 求 め て お く と、5種 類 の 、"単 段 階"で 認 識 の 働 きを実 現 す る認 識 法
[5],[7]
(一)最 小 距 離 認 識 法 (二)最 大 相 関認 識 法 (三)最 近 近 傍 認 識 法 (四)最 大 事 後 確 率 認 識 法
(五)最 大 類 似 度 認 識 法((一)〜(四)の 一 般 化) と、
(六)"多 段 階"に わ た っ て構 造 受 精 変 換 を使 っ て 、 不 動 点 を探 索 す る 形 式 を採 用 した 認 識 法 』 (任意 の 認 識 の働 き を シ ミュ レ・ 一 ト可 能 な 認 識 シ ス テ ムRECOGNITRONで の 、 不 動 点 探 索 形 構 造 受 精 多 段 階 帰 納 推 理 の働 きで 得 ら れ るパ タ ー ン認 識 法)[7],[8]
な どに お い て 、 認 識 の働 きが正 常 に機 能 した か どう か を検 討 で き る。
第j6J番 目 の カ テ ゴ リ(Σ1に 帰 属 す る 音 声 波 形 パ ター ンSP∈ ΦBの 第 」∈J番 目の部 分 集 合 Ψj
の変 動 エ ン トロ ピー(variationentropy)'(3 .43)
と称 され る非 負 量 VEp(j)
≡ 一裔 Q[n(j・q)/N(j)]
・lo92[n(j
,q)/m(j)](3.44)
=一[b(j)]一1・ Σ[n(j
,q)1m(j)]
・lo92[n(j,q)/m(j)](3.45)
を 導 入 し よ う 。VEp(j)は 第j∈J番 目の カ テ ゴ リ ◎ の 変 動 エ ン トロ ピ ー と 呼 ば れ る 。
式(3.42)の 各 全 エ ン トロ ピ ーEntr(j)(j∈ 」)は 式(3.44)の 変 動 エ ン トロ ピ ーVEp(j)と 、 文 章 表 現 式(3.37)の 意 味 を 持 つ 式(3.36)のb(j)の 対 数 と の 和 に 分 解 さ れ る と指 摘 す る の が 、 次 の 定 理3.1で あ る 。
[定 理3.1](全 エ ン ト ロ ピ ーEntr(j)の 、 変 動 エ ン トロ ピ ーVEp(1)へ の 和 分 解 定 理)
∀jfiiJ,Entr(j)=VEp(j)+lo92b(j).
(証 明)式(3.42)の 各 全 エ ン ト ロ ピ ーEntr(j)を 変 形 し て ゆ け ば 、 Entr(j)
≡ 一 Σ[n(j ,q)/N(j)]
・lo92[n(j こ
,q)∠N(jン]
=一 Σ[n(j ,q)/N(j)]
・lo92[n(j む
,q)/{m(j)・b(j)}]
=一 Σ[n(j
,q)/N(j)]
・皚 、n(j
,q)/m(j)+1。9,1ib(j)].
=一 Σ[n(j
,q)!N(j)]
・[lo92n(j
,q)/m(j)]一log211b(j)
=VEp(j)+lo92b(j)∵ 式(3 .44) を 得 、 証 明 が 終 わ っ た 。
∵ 式(3.36)
∵ 式(3.33)
0
3.5変 動 エ ン ト ロ ピ ーVEp(」)の3性 質
変 動 エ ン トロ ピーVEp(」)の2定 義 式(3.44),(3.45)に よ れ ば 、VEp(j)は 非 負 量 で あ る 。VEp(j) が 最:小値 一log2b(j),中 間 値0,最 大 値 を と る 場 合 を 明 ら か に し よ う 。
3.5.1如 何 な る 場 合 に 変 動 エ ン トロ ピ ーVEp(j)が 零 と な る か?
第j∈J番 目 の カ テ ゴ リ(Σ1に帰 属 す るm(j)個 の パ タ ー ン 集 合 Ψjが 、 式(2.51)で 定 義 さ れ た モ 』 デ ル 構 成 作 用 素Tに よ っ て 変 換 さ れ て 得 ら れ る 式(3.30)の 集 合T黙 が
[TΨ 」内 の 各 パ タ ー ン モ デ ル の 同 一 性]
ヨ ψ ∈ ΦB,∀Tψ ∈TΨj,
∀q∈Q,(Tψ)[q]=(Tψ)[q]・(3 .46)
を 備 え て い る と し て み よ う 。 例 え ば 、 Ψjが 、 同 一 パ タ ー ンvの 、m(j)個 か ら な っ て い る 場 合 、 式(3.46)が 満 た さ れ る 。
次 の 定 理3.2は 、VEp(j)が0を と る 場 合 を 明 ら か に し て い る 。 第j∈J番 目 の カ テ ゴ リ(Σ」に 帰 属 す る 同 一 の 音 声 波 形 パ タ ー ン ψ をm(j)個 重 ね た と き 、VEp(j)が0を と る こ と を 指 摘 し て い る 。
[定 理3.2](変 動 エ ン トロ ピ ーVEp(1)の 零 定 理)
式(3.46)が 満 た さ れ て い る よ う な 空 集 合 で な い 鳩 に つ い て は 、
VEp(j)=0.(3 .47)
(証 明)式(3.46)が 満 た さ れ て い る と し よ う 。
先 ず ・ 時 間 座 標 軸Xqの 添 字qの ・ 式(2・46)の 全 集 合Qの 部 分 集 合Q(j)を 、 Q(j)={q∈Ql(Tψ)[q]=1}(3.48)
と 定 義 す る 。
①Q(j)≠ φ(theemptyset)の 場 合
パ タ ー ン ψ の 定 義 式(2.40)を 考 慮 し たn(j,q)の 定 義 式'(3.29)か ら 、 n(j,q)=
m(j)if(T9,)[q]=1 0if.(T9冫)[q]=0(3.49)
が 成 り立 つ こ と が わ か る 。 よ っ て 、 n(j,q)/m(j)=
lif(T〜 ρ)[q]=1 0if(Tψ)[q]=0'(3.50) で あ る 。
ま た 、N(j)の 定 義 式(3.33)か ら 、 .N(j)=lQ(」)1・m(j)1「(3.51)
で あ る こ と も わ か る 。 従 っ て 、b(j)の 定 義 式(3.36)か ら 、 b(」)=iQ(j)1(3.52)
で あ る 。
定 義 式(3.3)を 考 慮 し、2式(3.49),(3.52)を 式(3.45)のVEp(j)に 代 入 す る と、VEp(j)=
0を 得 る 。
②Q(j)=φ(theemptyset)の 場 合 式(3.49)に つ い て は 、 』
bqEQ,n(j,q)=0(3.53)
で あ り 、 式(3.50)に つ い て は 、
̀dqEQ
,n(j,q)/m(j)=0(3.54) を 得 る 。 式(3.51)广 に つ い て は 、
N(j)=0(3.55)
で あ る 。 式(3.52)に つ い て は 、 b(j)=0(3.56)
で あ る 。0/0=0と 約 束 す る と 、 式(3.44)か ら
∀q∈Q,n(j,q)/N(j)=0●.● 式(3.55)"(3.57) で あ る こ と も わ か る 。
定 義 式(3.3)を 考 慮 し、2式(3.57),(3.54)を 式(3.44)のVEp(j)に 代 入 す る と 、VEp(j)=
0を 得 る 。 ・'・ □
次 の 定 理3.2の 系1は 、
logeb(j)が 、 第j∈J番 目 の カ テ ゴ リ(臥 に 帰 属 す る 同 一 の 音 声 波 形 パ タ ー ン ψ をm(j)個
重 ね た と き の 全 エ ン トロ ピ ーEntr(j)で あ る1(3.58) こ と を 指 摘 し て い る 。 こ こ で 、
b(j)は 、 こ の ψ に 関 し 、(Tψ)(Xq)≠Qで あ る よ う な
時 間 座 標 軸 値Xqの 添 字qの 総 数(音 声 波 形 パ タ ー ン1個 当 り の 平 均 非 零 時 間 座 標 軸 値Xqの 添 字qの 総 数)で あ る .』(359)
こ と に 注 意 し て お く。
[定 理3。2の 系1](全 エ ン トロ ピ ーEntr(Pの 、Iog2b(Pへ の 還 元 定 理) 式(3.46)が 満 た さ れ て い る よ う な 空 集 合 で な い 働 に つ い て は 、
Entr(j)=logab(j).(3 .60)
(証 明)式(3.47)を 定 理2.1に 考 慮 す れ ば よ い 。 □
3.5.2如 何 な る 場 合 に 変 動 エ ン トロ ピ ーVEp(1)が 最 小 値 を と る か?
次 の 定 理3.3は 、 変 動 エ ン ト ロ ピ ーVEp(j)が 最 小 値 一log2b(j)を と る 場 合 を 明 ら か に し て い る 。 [定 理3.3](変 動 エ ン ト ロ ピ ーVEp(Pの 最 小 値 定 理)
式(3。40)の 確 率 分 布 に 関 し 、 ヨq∈Q,n(j,q)/N(j)=1
〈[∀q∈Q,n(j,q)/N(j)=0]
が 成 り 立 つ と き 、 か つ 、 そ の 時 に 限 り、VEp(j)は 最 小 値 一log、b(j)を と る 、 つ ま り 、 VEp(j)=一logab(j)
=minVEp(j) が 成 り 立 つ 。
(証 明)2式(3.61),(3.62)が 成 り 立 つ と き 、 か つ 、 そ の 時 に 限 り 、 Entr(j)=0
が 成 り立 つ こ と は 、 補 助 定 理3.3の(i)よ り わ か る 。
こ こ で 、 定 理3.1を 適 用 す れ ば 、 本 定 理3 .3が 成 り立 つ こ と が わ か る 。 3.5.3如 何 な る 場 合 に 変 動 エ ン トロ ピ ーVEp(j)が 最 大 値 を と る か?
(3.61) (3.62)
(3.63)
(3.64)
□
式(3.42)の 全 エ ン トロ ピ ーEntr(j)は 、 各 座 標 値x,で の 、 第j∈J番 目 の カ テ ゴ リ ◎jに 帰 属 す る 各 音 声 波 形 パ タ ー ン ψkの 振 幅 値 の 変 動 が 一 様 で あ り、 式(3 .40)の 確 率 分 布 が 、
n(j,q)/N(j)=1/1Ql,q∈Q(3 ●65)
で あ れ ば 、 最 大 値
maxEntr(j)=lo921Ql(3 .66)
・を と る(補 助 定 理3.3)。
従 っ て 、 定 理3.1を 適 用 して 、 b(j)を 一 定 に 保 つ と き 、 maxVEp(j)=maxEntr(j)一log2b(j)
=lo92[IQI/b(j)]・(3 .67)
が 得 ら れ る 。
以 上 を整 理 し て 得 ら れ る 次 の 定 理3.4は 、VEp(j)が 最 大 値 を と る 場 合 を 明 ら か に し て い る 。 [定 理3.4](変 動 エ ン トロ ピ ーVEp(1)の 最 大 値 定 理)
式(3.65)が 成 り立 つ と き 、m(j)を 一 定 に 保 て ば 、 式(3.67)が 成 り立 つ 。 (証 明)式(3.65)が 成 り 立 つ と き 、
ヨc,∀q∈Q,n(j,q)=c>0
と お け る か ら、 式(3.36)のb(j)は 、 b(j)≡N(j)1m(j)
=Σn(j ,q)/m(j)∵(3.33>
=IQl・c/m(j)
と表 さ れ 、
b(j)を 一 定 に 保 つ ⇔m(j)を 一 定 に 保 つ
が わ か る 。 よ っ て 、 本 定 理3.4が 成 り 立 つ こ と が わ か っ た 。
0
4.計 算 機 シ ミ ュ レrシ ョ ン 結 果
式(2.30)の 全 カ テ ゴ リ 集 合 旦 と し て9個 の 有 音 破 裂 音 を 採 用 し た 場 合 、3式(3.42),(3.44), (3.36)の 対 数 で あ る 全 エ ン ト ロ ピ ーEntr(j),変 動 エ ン ドロ ピ ーVEp(」),log、b(j)の 間 に は 、 定 理3.1で 指 摘 さ れ て い る 等 式 が 成 り立 っ て い る 。 本 章 で は 、pers・nalc・mpute・Ma・int・shII,x上 の 言 語Cで か か れ た プ ロ グ ラ ム に よ る 計 算 機 シ ミ ュ レ ー シ ョ ン で 得 ら れ た こ の3量 の 計 算 結 果 が 示 さ れ 、 そ の 検 討 が な さ れ る 。
4、19個 の 有 声 破 裂 音 の 変 動 エ ン トロ ピ ー の 算 出 結 果
9個 の 、 式(2。22)の 有 声 破 裂 音 の 、 式(3.44)の 変 動 エ ン トX1ピ ーVEp(j)(j=1〜9)が 算 出 さ れ た が 、 そ の 結 果 が 表1に 示 さ れ て お り、 そ の 棒 状 グ ラ フ が 図1に 表 さ れ て い る 。
voicedaffricates
variationentropyVEp(j)[bit]
be 0.862
de 0.893
do 0.902
bo 0.904
go 0.906
ge 0.909
da 0.936
ga 0.95
ba 0.995
Table1.9個 の 有 声 破 裂 音/ba!(j=1),/be/(j=2),/bo/(j=3)/da/(」=4),/de/(j=5 .),do/(j・=6), /ga/(j=7),/ge/(j=8),/go/(j=9)の 変 動 エ ン トロ ピ ーVEp(j)(j=1〜9)
variationentropyVEp[bit]
1 0.98 0.96 0.94 0.92 ｻ..0.9 Ω0 .88
0.86 0.84 0.s2 0.s O.78
be dedobogogedagaba
Figure1.9個 の 有 声 破 裂 音/ba/(j=1),/be/(」=2),/bo/(j=3),/da/(亅=4),/de/(j=5),do/q=6), /ga/(j=7),/ge/(1=8),/go/(j=9)の 変 動 エ ン ト ロ ピ ーVEp(」)(j=1〜9)
＼
表1,図1に よ る と 、 次 の3事 項1一 ① 〜1一 ③ が 指 摘 さ れ る:
1一 ①9個 の 有 声 破 裂 音 の 変 動 エ ン トロ ピ ーVEp(j)G=1〜9)は 、 何 れ も 、1[bit]以 下 で あ り、
最 小 値0.862を 与 え て い る の が ノbe/であ り、 最 大 値0.995を 与 え て い る の が/ba/で あ る 。
1一 ②3個 の 有 声 破 裂 音1da/,/ga/,/ba/は 残 りの6個 の 有 声 破 裂 音/be/,1de1,/ge/,/do1,/bo/,1go/か ら 変 動 エ ン トロ ピ ーVEpで 分 離 さ れ て い る 。
1一 ③/ge/を 除 い て 、 ほ ぼ 、 母 音1e/,/01,/a1の 順 に 変 動 エ ン トロ ピ ーVEpが 並 ん で い る(母 音 の 順 序 付 け)。
4.29個 の 有 声 破 裂 音 の 全 エ ン ト ロ ピ ーEntr(Pの 算 出 結 果
9個 の 、 式(2.22)の 有 声 破 裂 音 の 、 式(3.42)の 全 エ ン ト ロ ピ ーEntr(j)(j=1〜9)が 算 出 さ れ
有 声 破 裂 音 の 全 エ ン トロ ピ ーEntr[bit:]
voiced totalentropy
affricates Entr
da 10.859
go 10.863
ga 10.873
do 10.874
ge 10.878
ba 10.88
bo 10.88
de 10.88
be 10.881
Table2.9個 の 有 声 破 裂 音/ba/(j=1),/be/(j=2),/bo/(j=3),/da/(j=4),/de/(j=5),do/(j=6), /ga/(j=7),/ge/(1=8),/go/(j=9)の 全 エ ン トロ ピ ーEntr(」)(j=1〜9)
totalentropyEntr[bit]
10.885
10.88
10.875
10.87
に 610.865
10.86 10.855 10.85 10.845
dagogadogebabodebe
voicedaffricates
Figure2.9個 の 有 声 破 裂 音 ノba/(1=1),/be/(j=2),/bo/(j=3),/da/(」=4),/de/(j=5),do/(j=6), /ga/(」=7),/ge/(j=8),/go/(j=9)の 全 エ ン ト ロ ピ ーEntr(j)(j=1〜9)
た が 、 そ の 結 果 が 表2に 示 さ れ て お り 、 そ の 棒 状 グ ラ フ が 図2に 表 さ れ て い る 。 表2,図2に よ る と 、 次 の2事 項2一 ①,2一 ② が 指 摘 さ れ る:
2一 ①9個 の 有 声 破 裂 音 の 全 エ ン ト ロ ピ ーEntr(j)(j=1〜9)は 、10.859[bit]か ら10.881[bit]
の 範 囲 に あ り 、 最 小 値10.859を 与 え て い る の が/da/で あ り、 最 大 値10.881を 与 え て い る の が1be/
で あ る 。
2一 ②9個 の 有 声 破 裂 音 の 全 エ ン トロ ピ ーE慮(j)(j=1〜9)は 、 ほ ぼ 、 一 定 で あ る と 考 え て よ いo
4.39個 の 有 声 破 裂 音 のlogeb(j)の 算 出 結 果
9個 の 、 式(2.22)の 有 声 破 裂 音 の 式(3.36)のb(j)の 対 数log2b(j)(j=1〜9)が 定 理3.1で 指 摘 さ れ て い る 等 式 に 従 っ て 、 算 出 さ れ た が 、 そ の 結 果 が 表3に 示 さ れ て お り、 そ の 棒 状 グ ラ フ が 図3
voicedaffricares logb(亅)[bit]
ba 9.885
da 9.923
ga 9.923
9a 9.957
ge 9.969
do 9.972
bo 9.976
de 9.987
be 10.019
Table3.9個 の 有 声 破 裂 音/ba/(j=1),/be/(j=2),/bo/(j=3),/da/(j=4),/de/(j=5),do/(j=6), /ga/(j=7),/ge/(j=8),/go/(j=9)のEntr(j)一VEp(j)=logeb(j)(j=1〜9)
Figure3.9個 の 有 声 破 裂 音/ba/(j=1),/be/q=2),/bo/q=3),/da/(j=4) ,̲̲!de/(j=5),do/(j=6), /ga/(j=7),/ge/(j=8),/go/(j=9)のEntr(P‑VEp(j)=1092b(」)(1=1〜9)
に 表 さ れ て い る 。
表3,図3に よ る と 、 次 の 事 項 ③ 一 ① が 指 摘 さ れ る:
3一 ①9個 の 、 式(2.22)の 有 声 破 裂 音 のlogeb(j)(j=1〜9)に よ る 順 序 付 け は 、 変 動 エ ン ト ロ ピ ーVEp(j)G=1〜9)に よ る 順 序 付 け と ほ ぼ 、 逆 に な っ て お り 、 最 小 値9.885を 与 え て い る の が/ba1で あ り、 最 大 値10.019を 与 え て い る の が1be/で あ る 。
5.む す び