高臨場感歌唱体験システムの提案に関するまとめ

0 % 25 % 50 % 75 % 100 % Answered ratio Case 1

Case 2 Case 3

Case 4 Score 1

Score 2 Score 3 Score 4 Score 5

(a) Opinion score

Case 1 Case 2 Case 3 Case 4 1

2 3 4 5

Sc ore

Vocal indivisuality

(b) MOS

図54 声の個人性に関するスコア

0 % 25 % 50 % 75 % 100 % Answered ratio Case 1

Case 2 Case 3

Case 4 Score 1

Score 2 Score 3 Score 4 Score 5

(a) Opinion score

Case 1 Case 2 Case 3 Case 4 1

2 3 4 5

Sc ore

Usuality

(b) MOS

図55 カラオケシステムとしての自然さに関するスコア

0 % 25 % 50 % 75 % 100 % Answered ratio Case 1

Case 2 Case 3

Case 4 Score 1

Score 2 Score 3 Score 4 Score 5

(a) Opinion score

Case 1 Case 2 Case 3 Case 4 1

2 3 4 5

Sc ore

Joy

(b) MOS

図56 カラオケシステムとしての楽しさに関するスコア

0 % 25 % 50 % 75 % 100 % Answered ratio Case 1

Case 2 Case 3

Case 4 Score 1

Score 2 Score 3 Score 4 Score 5

(a) Opinion score

Case 1 Case 2 Case 3 Case 4 1

2 3 4 5

Sc ore

Effectiveness for tone-deaf people

(b) MOS

図57 歌唱が不得意な使用者に対する効果の期待度に関するスコア

5. 結論

本博士論文では誰でも熟練した歌手の歌唱様式および高臨場な歌唱体験を使用者 に提供するシステムを提案した．

第2章では，使用者の歌唱を実時間で分析し熟練者の歌唱様式を転写するシステ ムの構築を目的として，線形分離等価回路モデルに基づく様々な手法の比較をした．

とくに品質面ではSTRAIGHTが最も高いとされていたが，民生カラオケ機など低 コスト機器への実装を視野にいれると演算コストが問題であった．そこで本論文で は，STRAIGHTにおける非周期性指標の推定が実時間処理を阻害するボトルネック であることを示し，LPC法の残差およびSTRAIGHTスペクトルを逆フィルタ法に 利用することで，非周期性指標に対応する信号を符号化せず実時間で推定する手法 を提案した．また歌唱様式として基本周波数の軌跡に着目し，同一の伴奏に基づく 歌唱ではアライメントが不要となる着想から基本周波数の転写に基づく歌唱様式の 転写システムを提案した．

第3章では高臨場に音場を再現する手法について提案し，音場模擬技術とセミト ランスオーラルシステムに基づく音場再現システムを提案した．従来の両耳に向け たトランスオーラルでは領域が狭いため，受聴者の首振りや移動に頑健でなかった．

境界音場制御は制御可能な領域が広いものの境界線をなめらかに積分できるよう制 御するため膨大な設備が必要となる．また，系の変動にも影響を受けやすい．そこで 本論文では，受聴者の頭部周辺にスピーカアレイを配置し，受聴者の頭部を最初か ら想定して系を組むことで簡便に処理できる音場制御手法を提案した．またスピー カアレイの配置を音場模擬技術に取り入れることで，直接のインパルス応答計測を 行わず，計算機による音場模擬技術で達成される音場再現システムを提案した．

また，音場模擬技術は連続の式である波動方程式を離散領域で解くため誤差を生 じやすい．とくに有限差分時間領域法では偏微分方程式を差分スキームで扱うため 数値分散と呼ばれる演算誤差を生じる．そこで本論文では空間周波数領域で偏微分 方程式を解くスペクトル法を極座標表現されたミンコフスキー空間で解くことによ り，数値分散や空間の循環性を回避した演算を達成した．また音場模擬とセミトラ ンスオーラルシステムを組み合わせることで音像を構築する手法について評価実験 を実施し，実用性を示した．

第4章では第2章の熟練者の歌唱様式を転写するシステムと第3章の高臨場感音場 再現システムを併用することで，誰でも高臨場に熟練者の歌唱様式を体験できるシ ステムを提案した．評価実験により，熟練者の歌唱様式を転写するシステムは，使用 者の歌唱を支援するシステムとして優秀であり，高臨場感音場再現システムはカラ オケにおける歌唱の楽しさの向上に有効であり，かつ熟練者の歌唱様式を転写する システムの合成音声の品質を改善させる点でも有効性が確認された．以上から，音 声分析合成技術，セミトランスオーラルシステム，音場模擬技術を統合した高臨場 感歌唱体験システムは，歌唱の不得意な使用者に対し解の一つを提供する十分な性 能であることが示された．

今後の課題として，柔軟な歌唱様式の転写法，音場制御の多次元化，視覚など多 感覚なインタラクションとの統合，およびミドルウェアの拡充が挙げられる．現状 では歌唱様式の転写において基本周波数を完全に置換しているが，今後は使用者の 歌唱速度にあわせて熟練者の歌唱様式を転写するような手法の検討が必要である．

具体的には動的計画法などを用いて基本周波数の包絡に関する対応点を取り，微細 な表現と音高の遷移を分離して転写する，など．また現状のセミトランスオーラル システムではスピーカは水平面上に全て存在している．そのため，矢状面への音像 の構築では従来と同様にHRTFか境界音場制御が必要となる．そこでセミトランス オーラルシステム側でスピーカの配置を立体化し，三次元のスピーカ配置を音場模 擬に反映させることで矢状面への音像構築にも対応させる．そのほか，現状では高 臨場感を音響信号のみで達成しているため，視覚など他の感覚器を併用させること で臨場感の向上が期待される．最後に，本システムをプラットフォームとして普及 させるには楽曲の製作や提供などのインフラストラクチャが必要となる．そこで本 システムで扱う技術をパッケージ化したミドルウェアを公開することで，楽曲の製 作など新規参入のリスク・コストを下げることで周囲の環境の活性化を目指す予定 である．

謝辞

本博士論文は，立命館大学大学院情報理工学研究科博士後期課程において筆者で ある中野皓太が実施した研究の成果である．研究を遂行するにあたり，多くの方に ご指導・ご鞭撻を賜りました．この場をお借りして深く御礼申し上げます．

立命館大学情報理工学部の西浦敬信教授には，筆者が学部生として研究室に所属 してから実に六年と半年という長き期間にわたり多大なご指導を頂きました．研究 の推進だけでなく，社会から一人前の研究者に求められる能力の鍛錬など，研究の みならず様々な方面からご指導を頂きました．西浦先生のご指導は時に厳しくもあ りましたが，筆者の生涯において至宝となる気づきと成長を得た事実に変わりはあ りません．心より深く感謝申し上げます．

同学部の山下洋一教授には，指導教員として懇切丁寧なご指導を頂きました．山 下先生の厳しくも本質を突いたディスカッションは，自らの研究をより深く理解し 発展できる原動力になりました．山下先生のご指導無くしては，本論文の執筆に至 るまで良い研究の推進が得られませんでした．この場をお借りして感謝の意を表し ます．

同学部の中山雅人助教は，筆者の在学中に懇意なご指導を下さりました．特に指 導だけでなく，原稿の書き方や研究の発展に対する相談など，幅広い主題について 親身にご指導いただきました．深く感謝いたします．

同学部のJeremy Stewart White准教授には，本論文の英文執筆にあたり有益なご

助言をいただきました．ここに感謝を申し上げます．

また，山梨大学大学院医学工学総合研究部の森勢将雅助教，和歌山大学システム 工学部の河原英樹教授には，本論文の手法に関して熱心なご指導・ご討論をしてい ただきました．心より感謝いたします．

慶應義塾大学の安村通晃教授には，2009年度未踏ユースプロジェクトにおいてプ ロジェクトマネージャを引き受けていただき，こちらの拙い研究計画について熱心 にご指導いただきました．心より感謝申し上げます．また，同プロジェクトにおいて は歌手の押谷洋子氏に，歌唱データの提供をしていただいたほか，研究者とは違った 歌手としての貴重な意見を多くいただきました．貴重な経験をさせていただき，誠 にありがとうございます．

NICTの木村敏幸博士およびその他スタッフの方々には，筆者がインターンとし てNICTに在籍中にご指導をいただきました．大学外の研究機関として貴重な体験 を得ることができ，非常に感謝しております．

フランスUniversite de BordeauxのSCRIMEスタッフの方々およびMyriam Desainte-Catherine教授，Pierre-Henri Vulliard氏には，筆者の留学中に刺激的なご指導をいた だきました．また友人であるLevyさん，Michaelさんには同留学中の生活など様々 な面でお世話をしていただきました．この場をお借りしてお礼申し上げます．

個々にはお名前を申し上げられませんが，筆者の研究場の議論に付き合っていた だき，筆者の至らない点をご援助いただきました立命館大学情報理工学部音情報処 理研究室の研究室の先輩，同期，後輩，秘書の皆様．そして学会の討論を通じて様々 な気づきを与えてくださいました他大学の先生，学生の方々に心よりお礼申し上げ ます．

最後になりましたが，深い愛情と広い心で今日まで筆者を支えいていただいた家 族に心から感謝いたします．