舌変形による舌筋の収縮パターンの 推定に関する研究

JAIST Repository

https://dspace.jaist.ac.jp/

Title 舌変形による舌筋の収縮パターンの推定に関する研究

Author(s) 横江, 麻美

Citation

Issue Date 2008‑03

Type Thesis or Dissertation Text version author

URL http://hdl.handle.net/10119/4341 Rights

Description Supervisor:党 建武  教授, 情報科学研究科, 修士

修 士 論 文

舌変形による舌筋の収縮パターンの 推定に関する研究

北陸先端科学技術大学院大学 情報科学研究科情報処理学専攻

横江 麻美

2008年3月

修 士 論 文

舌変形による舌筋の収縮パターンの 推定に関する研究

指導教官

党建武 教授

審査委員主査

党建武 教授

審査委員

徳田功 准教授

審査委員

鵜木祐史 准教授

北陸先端科学技術大学院大学 情報科学研究科情報処理学専攻

610092 横江 麻美

提出年月: 2008年2月

概要

人間の発話器官の解剖学的および生体力学的性質の理解は長音動作，発話運動

制御，音声パターン認識などの研究に不可欠である．本研究では， tagged-MRI

の測定を用いて筋の活性状態を調査する．単純な運動である突出し - 引込み運動

において，分析合成 (Analysis-by-Synthesis) を用いて舌運動中の筋の活性を評価

し，将来的に筋活性は AbS によって評価することが可能であることを示す．

目次

第１章 はじめに 1

1.1 研究の背景と目的 1

1.2 本論文の構成 2

第２章 tMRI による舌運動中の内部変形の観察 3

2.1 tMRI について 3

2.2 運動タスクと画像収録データ 3

2.3 主ひずみの解析 5

2.4 HARP 画像処理における人為的影響 6

第３章 速度場を基とした解析 7

3.1 速度場による解析 7

3.2 速度場解析における人為的影響 11 第４章 3D 生理学的発話機構モデルと筋構成 13 4.1 3D 生理学的発話モデル 13

4.2 筋制御構成単位 15

第５章 分析合成を用いた舌運動のシミュレーション 17 5.1 単時間中で 1 箇所に負荷 17 5.2 単時間中で 2 箇所に負荷 19

5.3 連続時間における突出し - 引込み運動 20

5.3.1 V ， T と SL による連続運動 20

5.3.2 V ， T ， SL と GGp 22

5.3.3 V ， T ， SL ， GGp における SL の変化 23

5.4 まとめ 26

第６章 舌の輪郭の変形による筋の活動パターンの推定 29 6.1 マイクロビーム観測データと 3D モデルの関係 30 6.2 線形重回帰による投影 31

第７章 まとめと今後の課題 34

第１章 はじめに

1.1 研究の背景と目的

舌は日ごろの生活において最も大切な器官の１つであり，咀嚼や嚥下・音声生成におい て大切な役割を果たしている．人間の舌は経験上，部分的な内部変形やその時に引き起こ す舌表面の形状変化がある．その舌運動中における舌表面と内部の運動の理解は，発話制 御や舌の病理学の理解において重要となる．

舌の表面形状を調査するために，超音波・X線・EMAなどによって画像化された [1-3]．

また，舌の運動と筋活動の関係を調べるために，EMGのような実験的手法を用いて評価が 行われてきた[4]．しかしながら，EMG実験は外舌筋のような舌の表層に存在する少数の大 きな筋にのみ成功した．対照的に，tMRI画像観測では，舌が運動している間の外形や内部 の変形を観測し，その時の筋の活性を内部の変形状態に予測することができる．数々の研 究者によって tMRI を用いた舌筋の機能を調査されてきた[5-7]．しかしながら，単純な運 動でさえもいくつかの筋が活性しているために，正確な筋活動パターンの推定が難しく，

精度が疑問視されていた．これらは，主に２つの要因が難しい状況を作りだしている．そ れは，筋の複雑な組織編成と筋の収縮における実用的な運動制御方法である．もし，生理 学的発話モデルが人間のメカニズムを正確に実現できれば，この問題はおおいに減らすこ とができる．そこで，人間のメカニズムをその推定に取り入れるために発話器官の3D生理 学的発話機構モデルが開発された[8]．このモデルに tagged-MRIによる推測筋活動パター ンを取り入れて，分析合成法（analysis-by-synthesis：AbS）に基づいた分析推定手法が検 討された[9]．先行研究ではAbSを用いた筋の活動パターンに関するフレームワークを提案 しているが，精度の高い推定法はまだ確立されていない．そこで本研究では，分析合成

（analysis-by-synthesis：AbS）を用いて，舌運動中の筋の活性を評価し，シミュレーショ ンを通して新しい推定法を確立し，筋の活性を推定することを目的とする．図1.1はこの研 究手法をフローチャートで表したものである．この研究の始めは， tMRIで運動を観測し，

舌の内部の変形状態よりひずみと速度パターンを，HARP を用いて解析し内舌筋の活性パ ターンを見つける．筋活性はモデルシミュレーションにおいて，与えられた筋力により筋 収縮を模倣することで評価した．また，舌の外部の形状変化によって，外舌筋の活性パタ ーンを見つけ，その外部と内部の双方によって真の活性パターンを見つけるための手立て として，マイクロビームの舌形状情報をモデルに適応させる手法を提案することによって 将来，観測による収縮パターンを推定するアルゴリズムの確立に役立てる．

図1.1 分析合成を用いた分析推定法

1.2 本論文の構成

構成を簡単にまとめる．

第2章ではtMRIによる舌の内部変形についての観測について考察する 第3章ではHARPを用いた舌内部の速度場の解析を行う

第4章では本研究で用いる3D生理学的発話モデルと筋構成についてまとめる 第5章では観測データとモデルによるシミュレーションとの評価を行う 第6章では外部の舌の形状の運動解析に用いるデータの投影について行う 第7章ではまとめと今後の課題を考察する

第２章 tMRI による舌運動中の内部変形の 観察

本章では，Tagged cine MRI(tMRI)を用いた舌運動中の内部変形について観察し，大き な規模の変形における筋の寄与を評価することを試みる．

2.1 tMRI について

このMRI撮影法は心臓運動の観察用に開発されたものであり，ヒト心臓におけるねじ れ運動を定量化する際に非侵襲に計測する手法の１つとして用いられている[10]．tMRIは あらかじめ生体内の指定した領域にタグ(格子)を付与する電磁波を照射し，対象の変形を観 測する手法である．舌は心臓と同様に軟組織で構成され，内部の変形を研究するのにも用 いられている[5-7]．本章では，tMRI画像で得られた運動による格子のひずみ量を利用して 運動を解析する．

2.2 運動タスクと収録画像データ

舌の張力とひずみを調べるために，大きな規模の変形を調査する．そこで，１つのタ スクを提案し，突出し-引込みの運動について検証した．被験者は成人男性１人である．反 復の正確さはtMRIデータ収集において，単一画像列はいくつかの反復の和であるために批 判されている．質の高いtMRIデータを観測するために，タスク回数を非常に多く撮影した．

舌の運動中は，できるだけ舌根の部分を動かさないように保ち，舌尖の部分を運動させる ように指示した．突出し運動の実験は，木製舌圧子を口唇の前方の終端に設置し，運動中 のどの反復も接触するようにした．この運動は２秒間隔のtMRI騒音破裂メトロノームによ って構成されている．これは被験者の突出し周期を測るために実施した．

tMRIの画像収録は，１枚のスライスに対して８回のタスクを繰り返す．８回の突出し において，奇数回目は設定手段に用い，偶数回目は画像スライスを構成するために使用し た．tMRI データは 18Hz，１つのタスクに対して 25 スライスを収録した．矢状方向面 (saggital)において，隣り合ったスライスの空間分解能は 1.56×1.56×5mm³で，タスク毎 に全225フレームを収録した．軸方向面(axial)の分解能は2.19×2.19×7mm³である．tMRI 画像は突出し-引込み運動において矢状方向面と軸方向面を撮影した．画像データは MICSR(Magnitude Image C-SPAMM Reconstruction Method)を用いて選出した．

図2.1 矢状方向面(saggital)と軸方向面(axial)

図2.2は突出し-収縮-突出しの運動を示したtMRI画像である．図2.1(a)は正中矢状断 面の初期状態の図であり，舌は極端な突出しの形状を形成している．図2.1(b)は正中矢状断 面の1cm隣の傍矢状断面であり，引込みの状態である．図2.1 (c)では２回目の突出し運動 であり，(b)と同じスライスである．その異なった面は筋の構成の調査に利用した．

図2.2 突出し-収縮-突出しのtMRI画像：(a)は極度に突出している状態における正

中矢状断面の１フレーム目，(b)は引込みの状態における矢状断面の12フレーム目，

(c)は再び突出した状態における(b)と同じ矢状断面の25フレーム目

2.3 主ひずみの解析

舌の動きはHarmonic Phase (HARP-MRI)を用いてtMRIから観測した．これは，画像 処理方法でtMRIの初期自動処理に効果がある．HARP-MRIにおける舌運動の解析方法は，

Pathasarathy ら[11]によって舌の内部変形により筋の活性を見積もるために開発された．

HARPを用いる利点は以下のことが挙げられる[12]．

・ 動作測定はタグの交差ラインの点に制限されない

・ HARPは、タグ付けをされたイメージのフーリエスペクトルの小さい部分だけを使 用し，動きを再建する．これは連続画像における反復数を減らしフレームレートを 向上させる

・ 同じ医療用画像から異なった測量を得られる

・ 人の介入は最小限でおさえられ，計算時間が非常に早い(組織の軌跡解析：1sec 以 内，ひずみ・速度：1min以内)

そこで，本章ではHARPを用いて主ひずみの解析を行った．図2.3は図2.2とフレー ムが一致した主ひずみの図である．赤色は軟組織の膨張を示し，青色は軟組織の収縮を示 す．図2.3において，正中矢状断面の１フレーム目において非常に小さい圧縮が見られた．

タグは突出しを最大にしているときに決められており，わずかに16msより早く，そしてそ れはまだ完全に突出しの状態である．その16msに舌尖は膨張し，舌根は圧縮し始めた．舌 尖は舌圧子に押しつけるので，舌尖の膨張はおそらく圧接による引き戻しが原因であると 考えられる．

図2.3(b)において，フレーム12は正中矢状断面から1cm離れた傍状断面において最大

引込みの状態である．舌の上部分は平行に圧縮（青色）が見られ，その部分は茎突舌筋 SG(syloglossus)で構成されている．膨張（赤色）は舌と軟口蓋の間に人為的な結果として 現れ，要因は空気であると考えられる．舌根において，垂直方向の圧縮がある．これはお そらく引込み運動において受動的な反応であるか，HG(hyoglossus)が真っ直ぐ引き戻すた めにSGと共に作用したと考えられる．他の圧縮は，舌根や舌を安定するために作用してい ると考えられる．フレームの最下の層は顎の筋である．顎の筋は顎を下げ，舌骨を上げ，

もしくは舌を押し上げるので舌収縮における活性として予測できない．これらのいずれも，

舌の引込みには起こらない．よって圧縮はおそらく能動的作動であると考えられ，舌の体 積保存により引込みとして下方へ動く．

図 2.3(c)において，フレーム 25 は突出しの過程である．舌は平行に圧縮するように表

現されているが，実際は参照フレーム以上に全く膨張していないときでも，主ひずみはあ る参照フレーム（例えば突出しの最大）によって全てを定義しているためこのようになる．

図2.3(b) を比較して確かめる．図2.3(c)の水平方向圧縮は図2.3(b)より小さい．加えて垂直 方向の圧縮は図2.3(b)で表されるように，垂直方向に広げることができる．

図2.3 この主ひずみはHARPを用いて解析され，図2.2と同様のフレームである．

2.4 HARP 画像処理における人為的影響

上記のように， HARPの解析から観測された主ひずみはいつも信頼できる結果を提供 できるわけではない．要因の１つとして，参照している層がMRI画像を取り込む前の固定 点であるためである．それゆえに，いくつかの人為的影響は大きな時間間隔での参照で重 く見られる．図2.4はそれらの事例の例である．左の２つのパネルは主ひずみの正中矢状断 面における，参照相の最大間隔であるフレーム24と25を示す．突出し中に鼻や硬口蓋や 喉頭壁の部分においていくらかの膨張と収縮と収縮が確認できる．それらの膨張と収縮は 軟組織の実際の活性以上に簡単に構成される．対照的に，速度場は隣のフレームの参照を 取得するので，軟組織の変形において信頼できる情報を提供することが可能である．図2.4 の一番右の図は，フレーム24と25のHARPによる速度場の観測である．速度場では，主 ひずみで見られた人為的要因は消え，通常の軟組織運動が観測された．このような理由か ら，速度場を用いて主ひずみの代わりに筋活性を評価することとした．

図2.4 主ひずみと速度ベクトルの比較

第３章 速度場を基とした解析

3.1 速度場による解析

より信頼できる評価を取得するために，突出しのフレームと引込みのフレームにおい て速度場を計算した．図3.1は，フレーム18から23における突出しの過程の速度場であ る．始めに，軟組織の運動は舌の前方の中央部分で見ることができる．舌の突出しでは，

軟組織の運動はより多くの場所で見られる．それは，突出し方向に沿って速度場が波のよ うに伝播することが見られる．同じ方法を用いて，図3.2に引込みの相も速度場を計算した．

突出しで見られるように，速度場は波の伝播のように見えるが鮮明ではない．

これらのパターンの意味は何か．舌の軟組織は非圧縮の組織で構成され，流体静力学 の法則に従うことから，舌の活性について説明するために風船を使用する．風船の中央部 分を囲むように負荷がかかると仮定した場合，風船は負荷のかかった方向に対し垂直の方 向に膨張し，負荷をかけた方向に対し断面積が減ると考えることができる[図 3.3(a)参照]．

風船の内側の速度場において，負荷をかけた場所の両側には，対になる反対方向の微量の 速度を持たなければならない．反対に負荷がなくなった場合，負荷をかけた場所の両側に，

対になる内側方向の微量の速度を持たなければならない．この場合，両側の微量の速度方 向は，互いに対して示さなければならない[図3.3(b)]．これらの分析をtMRIの観測に適応 させるために，速度パターンは風船として機能したかのように，舌組織が突出し状態の間 に縦方向に沿って収縮した部分であろうと推測した．このパターンを筆者らは“風船効果”

と呼ぶ．

図3.1 突出し状態におけるフレーム18から23までの速度場である．矢印は垂直方 向における縦方向の圧縮の状態を表す．

図3.2 引込み状態におけるフレーム4から9までの速度場である．矢印は垂直方向 における縦方向の膨張の状態を表す．

図 3.3 風船効果：(a)は中央部分に負荷がかかった場合，その両側に対になる反対

方向の速度を持つイメージである．(b)は負荷を解除した場合，負荷をかけた場所の両 側に，対になる内側方向の微量の速度を持つイメージである．

舌の筋構造は垂直舌筋（verticalis : V）と横舌筋(transversus : T)が舌の縦方向に沿っ

垂直力が舌の経度に発生する．この根拠に基づいて，突出し運動は垂直舌筋と横舌筋の同 時活性によって主に遂行されている可能性が高いと考えられる．風船に負荷をかけると，

負荷をかけた地点の速度はゼロである．これを図3.1に示す．負荷をかけた場所の両側の速 度の方向は，負荷のかけた地点から放射状になっている．対照的に，突出しから引込む段 階において，図3.2より，速度方向は負荷がかかっていた場所の方向へ向いていることがわ かる．

信頼できる証拠を見つけるために，軸方向の速度場も調査した．図3.4は突出しと引込 みの同じ場所である正中矢状断面スライス 5 の速度状態である．その断面は，対であるデ ータにおける干渉した部分である．軸方向のフレームにおいても波のようなパターンを観 察することができる．特に，その地点は垂直舌筋によって示される垂直方向に関わってい る場所が活性している．これは筋，垂直舌筋はこの運動中に活性しているという意味を含 む．

図3.4 軸方向(axial)断面による引込み状態におけるフレーム4から6までと，20

から22までの速度場である．矢印は垂直方向における縦方向の膨張の状態を表す．

v v

3.2 速度場における人為的影響

ここでは，速度場を用いた場合のHARPによる人為的影響があるかどうかを考察する．

そこで，フィルタによる影響を考える．可能性として，フィルタの大きさにより，解析結 果が変わることが考えられるので，フィルタの大きさによる解析結果を比較することで考 察する．また，他のサンプルデータとも比較することでも影響を考える．

フィルタによる影響を調べるために，同じフレームにおいてそれぞれ違うフィルタを かけた場合の3種類の速度場の解析結果を図3.5に示す．

図3.5 同フレームにおけるフィルタの違い

図3.5はフレーム20における突出し運動中の様子である．左から右にかけてフィルタ を小さくしている．3.1章で見られたような，負荷がかかっているであろう地点の速度はゼ ロである様子がどのフィルタでも見ることができる．また，どのフィルタにおいても負荷 をかけた場所の両側の速度の方向は，負荷のかけた地点から放射状に広がっている様子が 見られる．これらにより，フィルタの大きさによって解析結果が異ならないことがわかっ た．

次に，他のサンプルデータを用いて比較検討する．比較するサンプルは，同じ突出し- 引込み運動タスクで，撮影条件がスライス数7枚の計175スライスである．図3.6にその 突出しの過程と引込みの過程を示す．

図3.6 図3.1,3.2と同様な突出し-引込み運動をさせた場合の正中矢状断面(スライ

ス4)における速度場

図3.6の上段は引込み過程中の速度場を，下段は突出し過程中の速度場を示す．引き込 みの過程において，図3.2と同様な速度場の分布を確認した．また，突出しの過程において，

図3.1のような波の伝播は確認できなかったが，速度パターンは風船として機能したかのよ うに，舌組織が突出し状態の間に縦方向に沿って収縮していると考えられる傾向が図3.1と 同様に見られた．このことにより，データサンプルが異なっても速度場は同様な傾向がみ られることが わかった．

以上のことより，フィルタの違いやデータサンプルの違いを検討しても解析の結果が 変わらないことがわかった．よって本研究では，HARP の解析により得られた速度場の観 測情報を用いて，舌が部分ごとに活性し，風船のような運動をしているという仮定を用い てモデルシミュレーションでこの観測を再現することで舌の運動と筋活性を検討する．

第４章 ３Ｄ生理学的発話モデルと筋構成

4.1 3D 生理学的発話モデル

以上のことより，HARP MRI解析を用いて筋の活性を評価する．より正確に評価する ために，本研究ではモデルを基にした分析合成法(analysis-by-synthesis : AbS )を評価とし て用いた．この項目では，生理学的発話モデルと舌モデルにおける筋構成の要約説明をす る．

完全3Ｄ舌モデル[13]は，部分的な3Ｄモデル[8]からきている．それは，日本人話者男 性から観測されたMRI容積測定を基としてつくられたモデルである．モデル計算は質量と 体積が共に粘弾性シリンダであるトラス構造を採用した．モデルの舌の初期状態は，日本 語母音の[e]である．完全3Ｄモデルを図4.1に示す．また，略称を表4.1に示す．舌の輪郭 は容積測定 MR 画像より抽出した．軟組織のメッシュ分割は，おおよそオトガイ舌筋の繊 維方向を複製している．舌の矢状断面における輪郭はオトガイ舌筋の付け根である顎から 舌の表面に向けて扇形に広がる１０の放射状の区分に分割される．垂直方向においては，

舌の軟組織は６の区分の同心円状に分割されている．3Ｄメッシュモデルは近隣の矢状断面 のノードに一致するようにつながり構成されている．その結果，モデルの左右方向の幅は，

前方部分で狭く後方部分では広がりがあり，舌の付け根部分では約5cmの幅である．同じ MRIデータセットを基に，声道壁と顎を2.8cmの幅で3Ｄを構成している．

図4.1 3D生理学的発話モデルの舌筋配置

表4.1 3D生理学的発話モデルにおける舌筋(○は区分けがあることを表す)

和名 英語名 英略称 左右 その他区分

オトガイ舌筋 Genioglossus GG 前・中・後

舌骨舌筋 Hyoglossus HG ○

茎突舌筋 Styloglossus SG ○

横舌筋 Transversus T ○ 前・中・後

垂直舌筋 Verticalis V ○ 前・中・後

上縦舌筋 Superior Longitudinalis SL ○ 前・後・上・側 下縦舌筋 Inferior Longitudinalis IL ○ 前・後

オトガイ舌骨筋 Gniohyoid GH ○

顎舌骨筋 Mylohyoid MH ○

目標話者から観察されたMR画像から大きな筋を透写し[14]，舌筋の方向は，文献を調 査した[15]．図4.1のオトガイ舌筋(GG)を見ると，主に舌の中央部分に走り，同じ構造の細 い繊維は２つの層から次の正中矢状断面層中に複製される．GGの繊維は中で三角形を分配 し、GGの中のブロックが異なった部分は舌の変形に異なった効果を生む．そこで，機能を 赤い線を含む前方部分(GGa)，青い線で見られる中央部分(GGm)，黒い線で表示した後方部 分(GGp) の３つに分類することができる．図4.1を見ると，茎突舌筋(styloglossus : SG)と 舌骨舌筋(hyoglossus : HG)の配置は外にある．SGの左右束は２対の点に各々固定され，そ の繊維は外から内部層を通って前方部分の頂点領域へ走っている．HGは舌骨につながって いる．図4.1(d)の図は，上縦舌筋(superior longitudinalis : SL)と(inferior longitudinalis : IL)である．図4.1(e)は横舌筋(transversus : T)と垂直舌筋(verticalis : V)の構造であり，T は左右に走り，Vは放射状に走る．図4.1(f)は舌の床面にあるオトガイ舌骨筋(geniohyoid :

GH)と顎舌骨筋(mylohyoid : MH)の２つの筋である．MHの対の頂点は，下顎の中間表面

につながっている．

通常の発話では対称運動を，咀嚼運動中では非対称運動をする傾向がある．それらの 機能を理解するために，モデルではすべての筋を左右対称に設計し，左右独立に制御でき るようになっている．第5章では，このモデルによって生じた筋の活性による運動とtMRI の観測とを比較する．

4.2 筋制御構成単位

筋はたくさんの筋繊維から成る．一般に，筋の収縮はすべての筋繊維が与えられたタ スクに対して同じ時間で活性する．HARP の解析において，筋繊維は部分的であるか部分 ごとに活性している様に見られる．この発見によって，モデルシミュレーションの制御構 成単位を再考する．先行研究[13]では，SGのように右部分と左部分として分離し，前方部 分，中央部分，後方部分と分かれており，筋は37の制御構成単位となっている．本研究で は，VとTの前方(a)と中央(m)のを再建し，縦方向に沿ってノードごとに制御できるように し，43 の制御構成単位とした．その制御構成を図4.2 に示す．その図の中に，シミュレー ションで用いる制御構成単位の例を示した(例：tran_8 これはtransversusの8番目を示 す)．また，再建前後の区分の違いを表4.2に示す．

図4.2 筋の制御構成再建：左は横舌筋，右は垂直舌筋

表4.2 TとVの再建前後の区分

再建前 区分

横舌筋：T 左右，前・中・後の 全 6 分割

縦舌筋：V 左右，前・中・後の 全 6 分割

再建後 区分

横舌筋：T 前・中を 7 分割(左右は統合)，後 の全 9 分割

縦舌筋：V 前・中を 7 分割(左右は統合)，後 の全 9 分割

vert_11 vert_8

tran_8

vert_11

第５章 分析合成 (analysis-by-synthesis) を用 いた舌運動のシミュレーション

単純な運動においてさえ多くの筋が活性しており，筋の機械的負荷を正確に把握する ことは難しい．なぜならば，他の筋の状況に依存するからである．本研究では，合成分析 (analysis-by-synthesis : AbS)を用いてシミュレーションと観察との比較によって，筋の寄 与を評価する．再建された筋構成における生理学的発話モデルを用いて図3.1で観測された 速度パターンを再現するために，VとTにおける活性パターンを用いて検証した．

5.1 単時間中で 1 箇所に負荷

まず始めに，図3.1のフレーム19のように1箇所に負荷がかかっている状態を図5.1.1 のシミュレーションで示す．また，その際の舌尖の軌跡を図5.1.2に示す．

図5.1.1 フレーム19のシミュレーション：左はVのみ3N，右はTとVを1.5Nず つ黒太矢印の部分で負荷．正中矢状断面で，計算時間は0.1secで，0.04secから4ス テップ分(1ステップ0.01sec)の速度場を表示

[cm] [cm]

図5.1.2 図5.1における舌尖の軌跡：赤線△印はVのみ3N，緑線○印はVとTの それぞれ1.5N計算時間は0.1secで10ステップ分を表示,左上が舌尖の初期位置

図5.1.1は，矢印の部分にそれぞれ負荷をかけた場合の速度場のシミュレーションの結 果である．3.1章の考え方により，VとTによって運動する過程と，舌を前方移動させる作 用のあるVのみとを比較する．どちらの場合も前方に突出すという突出し運動を成せるこ

とが図5.1.2からもわかった．しかし，Vのみの負荷の場合，負荷のかかっている場所から

舌根方向への速度場がほとんど見られない．この2種類の負荷のかけ方においては，V と Tの両方負荷をかけた場合の方が，図3.1のフレーム19で観測された速度場をよく表すこ とができることがわかった．これにより，VとTが同時に活性しているとシミュレーショ ンからも考えることができる．

[cm]

5.2 単時間中で 2 箇所に負荷

次に，図3.1のフレーム21で見られるような2箇所に負荷がかかっている状態をシミ ュレーションで再現することを試みる．図5.2.1にシミュレーションで示す．また，その際 の舌尖の軌跡を図5.4に示す．

図5.2.1 2箇所に負荷がかかった場合の速度場のシミュレーション結果：左はVとT

をそれぞれ3N，右はV，T3NとSL0.5Nを負荷した．どちらも正中矢状断面で，計 算時間は0.2secで，0.04secから4ステップ分(1ステップ0.01sec)の速度場を表示

図 5.2.2 図 5.2.1 における舌尖の軌跡：赤線△印は VT3N，緑線※印は VT3N と

SL0.5Nの負荷である．計算時間は0.2secで20ステップ分を表示，左上が舌尖の初

期位置

図5.2.1の左を見ると，2箇所で負荷がかかっている場合，3.1章で考察されたVとT のみでのシミュレーションでは図 3.1 で見られた風船効果のような明瞭な速度パターンが 観察できなかった．負荷をかけた太い矢印の間の速度場がすべて突出しの方向へ向かって いるのがわかる．この問題を解消するために，AbSの過程において思考錯誤の結果，SLが

[cm]

[cm]

水平の運動をつくるためのもので，もし SL を考慮に入れなかった場合，舌は重く下向き に突出してしまう[図5.2.2参照]．

5.3 連続時間における突出し-引込み運動

5.1章と5.2章の解析結果を受けて，図3.1で見られたような連続フレームによる運動 の再現シミュレーションを行う．

5.3.1 V ， T と SL による連続運動

5.1章と5.2章の解析結果を受けて，本章ではVとTとSLの入力によりどのような速 度場のシミュレーション結果が得られるかを検証する．表5.3.1に本章で用いたシミュレー ション入力値を示す．また，シミュレーション結果を図 5.3.1.1 に示し，舌尖の軌跡を図 5.3.2.2に示す．

表5.3.1 シミュレーション入力値[N]：シミュレーション時間0.54sec,一番上の数字

はシミュレーション時間幅(sec) を表し，左から右へ時間が経過するように計算され る．左縦の11-5までの数字は，ノードの番号を示す(舌尖11,舌根1 図4.2参照)．vert はV，tranはT，lg_u_aはSLの表層前方，lg_u_mは表層後方，lg_s は SL の側面を 表す．

0.08 0.06 0.06 0.06 0.06 0.06 0.06 0.1

vert_11 0 0 0 0 0 0 0 0

vert_10 0 0 3 0 0 0 0 0

vert_9 0 3 0 4 0 0 1 0

vert_8 3 0 0 0 1 0 0 0

vert_7 0 0 0 0 0 0 0 0

vert_6 0 0 3 4 0 1 0 0

vert_5 0 3 0 0 1 0 0 0

tran_11 0 0 0 0 1 0 0 0

tran_10 0 0 4 0 0 1 0 0

tran_9 0 4 0 5 0 0 2 0

tran_8 4 0 0 0 2 0 0 0

tran_7 0 0 0 0 0 0 0 0

tran_6 0 0 4 5 0 2 0 0

tran_5 0 4 0 0 2 0 0 0

lg_u_a 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0

図 5.3.1.1 連続時間における速度場のシミュレーション結果：上段-突出し運動，下 段-引込み運動．正中矢状断面で左上からフレーム3,9,12,15,18,21の順である．1フ レーム0.02sec．全28フレーム．

図5.3.1.2 表5.3.1の入力値による舌尖の軌跡：左上が舌尖の初期位置

図5.3.1.1を見ると，フレーム3,12は図3.1の観測と似た解析結果が得られたが，引戻 しの運動については得られなかった．また，舌尖の軌跡図5.3.1.2を見ると，舌尖は斜め前 方に突出し引戻す様子が見られた．図 3.1 より，突出しには約 1cm の前方移動と平行移動

[cm]

[cm]

る．

5.3.2 V ， T ， SL と GGp

5.3.1章の結果より，他の筋の関与を考えた場合，前方に突出す作用をする筋としてGG

の関与を考える．そこで，前方エリアの速度場の解析結果が極力変わらず，かつ前方へ突 出す運動をさせるために，GGの後方であるGGpを5.3.1章で提案した入力値に加えると どのような結果になるか考察する．新たに入力値として加えた値を表5.3.2に示す．また，

そのシミュレーション結果を図5.3.2.1に示す

表5.3.2 表5.3.1に新たに加えたシミュレーション入力値[N]：シミュレーション

時間0.54sec,一番上の数字はシミュレーション時間幅(sec) を表す．

0.08 0.06 0.06 0.06 0.06 0.06 0.06 0.1

ggp 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0

図 5.3.2.1 連続時間における速度場のシミュレーション結果：上段-突出し運動，下

[cm]

図5.3.2.2 V，T，SLにさらにGGpを加えた場合の入力値による舌尖の軌跡：左上 が舌尖の初期位置．水色▽印は本章の舌尖の軌跡であり，比較のために，赤○印は5.3.1 章における解析結果を示す．

図5.3.2.1を見ると，速度場の様子は図5.3.1.1とほぼ変わらないことがわかる．しか

し，図5.3.2.2 を見るとわかるように，舌尖の軌跡は前方により突出ていることがわかる．

しかし，舌尖は下方向に下がり，自然な突出し運動にはほど遠い．よって次は，舌を平行 に保つ働きがあるSLに注目して運動を検証する．

5.3.3 V ， T ， SL ， GGp における SL の変化

る．表5.3.3に，新たに設定したシミュレーション入力値を示す．

表5.3.3 新たに設定したシミュレーション入力値[N]：シミュレーション時間0.54sec,

一番上の数字はシミュレーション時間幅(sec) を表す．

0.08 0.06 0.06 0.06 0.06 0.06 0.06 0.1 lg_u_a 0.4 0.6 0.6 0.6 0.4 0.2 0.2 0 lg_u_m 0.4 0.6 0.6 0.6 0.4 0.2 0.2 0 lg_s 0.4 0.6 0.6 0.6 0.4 0.2 0.2 0

[cm]

図 5.5.3.1 連続時間における速度場のシミュレーション結果：上段-突出し運動，下 段-引込み運動．V，T，SL，GGpのSLに時間変化を持たせた．正中矢状断面で左上 からフレーム3,9,12,15,18,21の順である．1フレーム0.02sec．全28フレーム．

図5.5.3.2 V，T，SL，GGpを加え，SLに時間変化をもたせたときの舌尖の軌跡：

左上が舌尖の初期位置．橙△が本章における舌尖の解析結果である．比較のために，

赤○印は5.3.1章，水色▽印は5.3.2章の舌尖の軌跡における解析結果を示す．

図5.5.3.2の軌跡において，舌尖は下がることなく水平方向へ軌跡を描いていることが確認 できる．しかし，フレーム3や15において，上向きの速度場が確認され，舌尖の軌跡は突 出しが弱くなっていることが確認できる．これは，SLが原因と考えられる．5.2章の図5.2.2 から，SLを入力すると5ステップ(0.05sec)ほどは水平に保つようにはたらいていることが わかるが，それ以降は舌尖を持ち上げ引戻るようにはたらくことがわかる．このことによ り，SLにより舌が平行に保たれるのと同時に，前方へ進むのが抑制されてしまったと考え られる．

5.4 まとめ

ここではシミュレーションにおける一連の流れをまとめ，最終的なシミュレーション 結果を示す．

5.1章，5.2章では単時間中のシミュレーションによってV，TとSLの関与を見つけ 出した．そこで，この特徴を用いて5.3章では連続時間においてシミュレーションを行い，

GGpは突出しと引込みの運動において安定した状態をつくりだす適格な活性をも見つけ出 した．SLの入力値はVとTに対応した0.2Nから0.6Nの変化をつけることによって安定 させた．これらをまとめ，速度場と舌尖運動がより最適になるように表 5.4 のシミュレー ション入力値を用いて検証する．

表 5.4 5 章のまとめによるシミュレーション入力値[N]：シミュレーション時間

0.54sec,一番上の数字はシミュレーション時間幅(sec) を表す．

0.08 0.06 0.06 0.06 0.06 0.06 0.06 0.1

vert_11 0 0 0 0 0.5 0 0 0

vert_10 0 0.5 3.5 0.5 0 0.5 0 0

vert_9 0.5 3 0.5 4 0.5 0 1 0

vert_8 2.5 0.5 0 0 1 0 0 0

vert_7 0 0 0 0 0 0 0 0

vert_6 0 0.5 3.5 4 0.5 1 0 0

vert_5 0.5 3 0.5 0 1 0 0 0

tran_11 0 0 0 0 1 0 0 0

tran_10 0 0.5 4.5 0.5 0 1 0 0

tran_9 0.5 4 0.5 5 0.5 0 2 0

tran_8 3.5 0.5 0 0 2 0 0 0

tran_7 0 0 0 0 0 0 0 0

tran_6 0 0.5 3.5 5 0.5 2 0 0

tran_5 0.5 4 0.5 0 2 0 0 0

ggp 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0

lg_u_a 0.4 0.6 0.6 0.6 0.4 0.2 0.2 0

lg_u_m 0.4 0.6 0.6 0.6 0.4 0.2 0.2 0

lg_s 0.4 0.6 0.6 0.6 0.4 0.2 0.2 0

図5.4.1 連続時間における速度場のシミュレーション結果：上段-突出し運動，下段- 引込み運動．正中矢状断面で左上からフレーム3,9,12,15,18,21の順である．1フレー ム0.02sec．全28フレーム．

図5.4.2 ^表5.4を入力としたときの舌尖の軌跡：左上が舌尖の初期位置．紫○が本章における舌尖の解 析結果である．比較のために，赤○印は5.3.1章，水色▽印は5.3.2章，橙△5.3.3章の舌尖の軌跡におけ る解析結果を示す．

シミュレーション入力は，これまでの結果を考慮し，よりスムーズに運動するように 入力時間の前後には微量な入力を与えた．また，同時刻に入力エリア近隣にも微量な入力 を与えることでスムーズに運動がなされるように設定した．図5.4.1のフレーム3はスムー ズに速度場を持ち，フレーム9，12では図3.1のフレーム20，21のような速度場を再現す ることができた．また，図5.4.2において，舌尖の運動はV，T，SLのみの赤○線やV，T，

SL，GGpの水色▽線より水平に保ち，SLに変化を持たせた橙△線より突出しが確認でき

た．よって，HARPの解析において筋活性パターンの評価を基にAbSを用いたシミュレー ションにより，似た速度パターンが観察された．しかし，引込みのシミュレーションにお いて，舌尖の軌跡はほぼ水平に引込み運動をしているが，HARP の観測に似た速度場を再 現することができなかった．これにより，さらなるAbSの繰り返しが必要なことがわかっ た．また，複雑な筋の構成が問題をより複雑にし，単純な運動でさえも解析が難解である ことも再確認した．

第６章 舌の輪郭の変形による筋の活動パター ンの推定

本章では３Dモデル[8]と人間の調音観測データであるx線マイクロビームの運動位置 データを基にし，舌変形による筋活動を推定するアルゴリズムを開発するために，3Dモデ ルに運動位置データをどう投影するかを検討する．３D モデルと観測データとの関係は回 帰分析法を用いて検討する．

図6.1 筋の収縮パターン推定の流れ

筋の収縮パターンの推定について説明する．図6.1に示すように，①初期値である筋運 動指令を入力する．②３Ｄモデル内で運動パターンを生成する．③人間で計測されたマイ クロビーム観測値と比較する．④誤差があれば再度筋運動指令を推定する．そのときには 筋運動指令とノード力との関係式において最急降下法を用いて筋運動指令を導出する．誤 差が最小になるまで繰り返し，最小になったときの筋運動指令を最適の筋の収縮パターン とする．本章ではこのフローチャートのマイクロビームデータをモデルにどう投影するの かを検討する．

6.1 マイクロビーム観測データと 3D モデルの関係

本研究では観測データとしてｘ線マイクロビームを用いた．ｘ線マイクロビームによ る観測データは３D 生理学的モデルのモデル被験者と同一人物の男性話者１人である．観 測データは5母音である．

本章で問題としているのは図6.2における観測データと3Dモデルとのフィッティング についてである．

図6.2 3Dモデル(赤○線)とマイクロビーム観測点(黒 母音/e/)との関係

図6.2のように本研究で用いる観測データは4点であり，筋の収縮パターンの推定を行 うにはノード点の１１点が必要となる．そこで、観測データ４点をノードの１１点にマッ ピングする方法として線形回帰によるマッピングを試みた．

6.2 線形重回帰による投影

線形重回帰により観測データをモデルにマッピングする式を以下に示す。

（１）

式（１）は観測データ T すべてにおけるｘ座標とｙ座標を同時に考慮してノード点を 導出する線形重回帰の式である。

最小２乗法を用いて誤差の和を最小とするような、定数 a を求めた。ここで、実測値のＰ は音声生成モデルシミュレーションにより合成された音声を聴取実験によって５母音に分 類されたものを用いた。実測値は５母音各５０点の計２５０点、観測データは単母音５つ 各５０点の計２５０点を用いた。

図6.3 シミュレーション(実線)と観測店を考慮した予測値(破線)：

赤/a/:青/i/:緑/u/:ピンク/e/:黒/o/

Pˆ : ノード点 a : 定数 T : 観測データ e : 誤差

i : 1(x),2(y)

d:1~11(モデル点数) k : 1(x),2(y) j : 1~4（観測点数）

∑∑

+

=

1 4

1

ˆ

k j

jk ijk id

id

a a T

P

投影結果を図6.3に示す．この図はあるデータにおける投影結果を示している．この図 を見ると，舌尖で線が大きく異なっていることがわかる．また，この予測値がどの程度妥 当なものなのか検討するために，平均誤差を用いて評価する．

予測値と実測値のx,y座標の位置関係より，平均誤差を導出した．導出に用いた式を以下に 示す．

(2)

ここで，Ｐは実測値、Ｐｓは予測値を表す．母音ごとの平均誤差を示したものを図6.4に示 す．ノード点が１は舌根であり、番号が大きくなるにつれ舌先になる．

0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7

0 2

4 6

8 10 12

ノード点

予測値の誤差[cm]

a i u e o

図6.3 平均誤差

図6.3を見ると，音素によって誤差の分布状態が異なることが分かる．これは、シミュ レーション実測値の分布状態によるものであると考えられる．特に母音/o/の誤差がノード 点全体を通して大きいのは、/o/は舌の形状より口蓋や口唇の形状に依存するところが大き いため舌の形状に大きなばらつきが見られるためだと考えられる．/i/,/e/は舌の形状に依存 するところが多く舌の形状にばらつきがないために誤差が少なくなっていると考えられる．

また，どの母音でも舌根より舌先の方が誤差が大きくなっている．これは舌先は活動範囲 広く活発に動くためだと考えられる．

シミュレーション実測値は静的なデータ，つまり，同じ音声を何回も発話した個々の 状態からデータを抽出しているのに対して，マイクロビーム観測値は１回の発話音声から 複数のデータを抽出するために，動的なデータとなっている．そのため、データの分散に

2

2 ( ( ) ( ))

)) ( ) (

(P x P x P y P y

error = − _s + − _s

舌尖 舌根

タが少数なため，動的なデータとなったため結果は単母音のみと変わらなかった．単語デ ータではシミュレーション実測値と同じような分散のあるデータが抽出できたが，単母音 の場合より誤差が増幅した．分散がある分，データの組み合わせによって誤差に影響が出 やすいと考えられ，似たデータを組み合わせるなどの改善が必要となると考えられえる．

また，今後の課題として，今回導出した観測データの関係をさらに精度を改善し，AbS シ ステムの３Ｄモデルシミュレーションのフィードバック部分の実装を行う．その際の初期 値の筋指令の決定方法や，筋運動の拘束条件を与えて推定しやすい状態からはじめるなど の必要があると考えられる．

第 7 章 まとめと今後の課題

本研究では，舌筋の筋活性パターンを評価するために合成分析法を提案した．筋活 性はtMRIの観測を基に評価し，モデルシミュレーションによって絞り込まれた．

本稿では，舌の突出しと収縮の単純な運動において，焦点を置いた．HARP の解 析法は，運動中の軟組織変形から舌軟組織の主ひずみと速度を計算するために用いた．

速度場は，少量の人為的影響でより信頼できる情報を備えることができることがわかっ た．速度場は，突出し運動において波の伝播のように負荷されていることが示された．

速度パターンと解剖学的筋構成を基に，はじめはVとTを突出しの際に活性する 筋だと考察した．しかし，V と T のみを活性させた場合では，速度パターンの観測は モデルシミュレーションによって再現することができなかった．言い換えれば，AbS 法を基としたモデルを用いると，突出し運動を作り出すことにおいて，より複雑な筋活 性パターンを要求することができる．

この初期研究は tagged-MRI 観測とモデルシミュレーションの機械的組み合わせ は，より複雑な筋活性を正確に評価することができる．今後の課題として，tMRIデー タとシミュレーション結果がより正確に，より複雑な筋活性を評価できるようにするこ とと，AbS法のシステムをどう自動化するかである．

謝辞

本研究を進めるにあたり，日頃から多くの貴重な御助言，ご指導をいただきました，

北陸先端科学技術大学院大学 情報科学研究科 党建武教授，赤木正人教授，徳田功准教 授，鵜木裕史准教授，Lu Xugang助教，並びに党研究室，徳田研究室，赤木研究室，鵜木 研究室の皆様に深く感謝いたします．

最後に，研究を進めるにあたり日頃からあたたかくご指導いただきました私の周りの すべての関係者の方々にもう一度深く感謝するとともに，何年も続くこの研究の一年に関 わることができましたことに深く感謝の意を表します．

参考文献

1. Hashi, M., Westbury, J., & Honda, K., Vowel posture normalization. JASA, 1998.

104(4): p. 2426-2437.

2. Okadome, T., and Honda, M. , Generation of articulatory movements by using a kinematic triphone model. J. Acoust. Soc. Am., 2001: p. 453-463.

3. Stone, M., Tissue strains and tongue shapes: Combining tMRI and Ultrasound. 15th ICPhS, 2003: p. 273-276.

4. Baer, T., Alfonso, J., & Honda, K., Electromyography of the tongue muscle during vowels in /epvp/ environment. Ann. Bull. R. I. L. P., Univ. Tokyo, 1988. 7: p. 7-18.

5. Stone, M., Davis, E., Douglas, A., Ness Aiver, M., Gullapalli, R., Levine, W., and Lundberg, A., Modeling motion of the internal tongue from tagged cine-MRI images. J. Acoust. Soc. Am. , 2001. 109(6): p.

2974-2982.

6. Epstein, M., & Stone, M. Speech task and timing considerations in MRI research. in ASA Nashville Conference. 2003.

7. Takano, S., & Honda, K.Observation of tongue deformation during vowel production by tagging-MRI. in Proc. ASJ Fall Meeting. 2004.

8. Dang, J., K., Honda Construction and control of a physiological articulatory model. J.

Acoust. Soc. Am., 2004. 115: p. 853-870.

9. Dang,J.,Fujita,S.,Murano,E.,Stone,M.”Observation and Simulation of Large-scale Deformation of Tongue”International Seminars on Speech Production,43-50,2006, Dec

10. 北村達也，正木信夫，MRI観測を基礎にした音声生成系研究の進展,日本音響学会誌，

2006 , 62(5): p.385-390.

11. Parthasarathy, V., CHARACTERIZATION OF HARMONIC PHASE MRI: THEORY, SIMULATIONS, AND APPLICAT. 2006, The Johns Hopkins University: Baltimore, Maryland.

12. Parthasarathy, V., Prince,J.L, Stone,M., Murano,E.Z,. NessAiver,M,. Measureing tongue motion from tagged cine-MRI using harmonic phase (HARP) processing, J.Acoust.Soc.Am., 2007, 121(1) : p491-504

13. Satoru, F., Jianwu, Dang, Noriko, Suzuki, Kiyoshi Honda, A Computational Tongue Model and its Clinical Application. Oral Science International, 2007. 4(2): p. 97-109.

14. Dang, J., & Honda, K., A physiological model of a dynamic vocal tract for speech production. Acoustical Science and Technology, 2001. 22,(6): p. 415-425.

15. Takemoto, H., Morphological Analyses of the Human Tongue Musculature for Three-dimensional Modeling. J. SLHR, 2001. 44: p. 95-107.