v.connect 開発当初素片接続型合成器入力 VSQファイルコーパス UTAU音源分析合成 STRAIGHT Vocaloid2用シーケンス UTAU用ライブラリ v.connect STRAIGHT STRAIGHT版は開発終了合成音

(1)

The University of Electro-Communications

Cadencii Project Cadencii Project

v.Connect

ユーザが声色操作を

指定できる歌声合成器

電気通信大学情報工学科

小川　真，矢崎俊志，阿部公輝

(

阿部公輝研究室

₎

(2)

The University of Electro-Communications

v.Connect（開発当初）

●

素片接続型合成器

●

入力　　：

VSQファイル

●

コーパス：

UTAU音源

●

分析合成：

STRAIGHT

●

STRAIGHT版は

開発終了

Vocaloid2用シーケンス v.Connect UTAU用ライブラリ STRAIGHT 合成音

(3)

The University of Electro-Communications

v.Connect（現在）

●

素片接続型合成器

●

GUI 　　：Cadencii

●

コーパス：

UTAU音源

●

分析合成：

WORLD

●

Cadencii Projectにて

現在も開発中

v.Connect UTAU用ライブラリ WORLD 合成音 GUI Cadencii

(4)

The University of Electro-Communications

Cadencii

●

HN: kbinani 氏制作

GUI アプリケーション

●

歌声合成器向け

ピアノロールシーケンサ

●

様々な合成器に対し

統一的な操作が可能

●

v.Connect を

合成器として添付

(5)

The University of Electro-Communications

合成例

(1)

●

v.Connect デモンストレーション

●

「

Toss Up」

●

本発表の技術を使用

●

sm15561654

【歌声合成器デモ】Toss Up【波音リツコネクト】

(6)

The University of Electro-Communications

発表の流れ

●

v.Connect 開発の経緯

●

研究背景・動機・目的

●

提案法

●

課題点

●

研究成果

●

まとめ

(7)

The University of Electro-Communications

歌声合成ツール

UTAU

●

フリーの歌声合成器

●

HN : 飴屋／菖蒲氏開発

●

規格がオープン

– 自由にライブラリを作成可能 – 3,000 以上のライブラリ

(8)

The University of Electro-Communications

UTAU 向けライブラリ

●

アライメント情報つき波形データ

●

多くはキャラクタと共に配布

●

声色別の収録

波形データアライメント先行発音 300ms 固定長区間 600ms ファイル名あえ.wav VCV音素名 a え

(9)

The University of Electro-Communications

UTAU 向けライブラリ例 (1)

●

櫻歌ミコ

●

2ch VIP 発

●

声

: HN: 赤ずきん氏

●

絵

: HN: 縣氏

●

収録内容

– CV / VCV 音素片 – 「パワー」「ささやき」などの声色別の収録 7 種類 – キャラクタイラスト ●

http://miko35.is-mine.net/

(10)

The University of Electro-Communications

UTAU 向けライブラリ例 (2)

●

歌う音ナミ

●

マレーシア発

●

声・絵

: HN: Nami-chan 氏

●

収録内容

– CV / VCV 音素片 – “Soft”, “Sweet” などの声色別の収録 5 種類 – キャラクタイラスト ●

http://utaunenami.webs.com/

(11)

The University of Electro-Communications

UTAU 向けライブラリ例 (3)

●

龍音セイチ

●

アメリカ発

●

声：

HN: RyuuSeichi 氏

●

絵：

HN: 漆原龍紅氏

●

録音

: HN: Yoru 氏

●

収録内容

– VCV 音素片 – “Normal”, “Whisper” の声色別の収録 2 種類 – キャラクタイラスト

(12)

The University of Electro-Communications

問題点

●

１ライブラリに対し１合成器

●

フレーズ／音符毎に切り替えを行う

声色A ライブラリ歌声合成器楽譜情報声色Aの歌声声色B ライブラリ歌声合成器楽譜情報声色Bの歌声 DAWなど波形編集ソフト

(13)

The University of Electro-Communications

問題点

●

１ライブラリに対し１合成器

●

フレーズ／音符毎に切り替えを行う

声色A ライブラリ歌声合成器楽譜情報声色Aの歌声声色B ライブラリ歌声合成器楽譜情報声色Bの歌声 DAWなど波形編集ソフトライブラリを同時に使いたい

(14)

The University of Electro-Communications

問題点

●

１ライブラリに対し１合成器

●

フレーズ／音符毎に切り替えを行う

声色A ライブラリ歌声合成器楽譜情報声色Aの歌声声色B ライブラリ歌声合成器楽譜情報声色Bの歌声 DAWなど波形編集ソフトライブラリを同時に使いたいできれば滑らかに変化させたい

(15)

The University of Electro-Communications

目的

●

歌声合成器に声質モーフィング機能を追加

●

任意時刻での

モーフィング率指定を

可能にする

声色A 声色B

(16)

The University of Electro-Communications

提案法（概要）

F0生成モデル WORLD Synthesis Output: 合成歌唱表情パラメータ音高情報歌詞スペクトル・残差 F0 声色A ライブラリ声色B ライブラリ時間伸縮用マッチング関数接続モデル時間伸縮モデル統合された声色ライブラリ Input: 演奏情報 GUI Cadencii

(17)

The University of Electro-Communications

課題点

(Webでの配布に向けて)

●

処理速度低下

●

モーフィングによる処理量の増大

⇒事前に合成しやすい形へ分析

●

ライブラリ容量の増大

●

処理速度とトレードオフ

⇒低次メルケプストラムと

Vorbis で圧縮

●

ライブラリ間での発音の違い

⇒素片ごとに時間の対応付けを行い補正

(18)

The University of Electro-Communications

課題点

●

処理速度低下

●

モーフィングによる処理量の増大

⇒事前に合成しやすい形へ分析

●

ライブラリ容量の増大

●

処理速度とトレードオフ

⇒低次メルケプストラムと

Vorbis で圧縮

●

ライブラリ間での発音の違い

⇒素片ごとに時間の対応付けを行い補正

(19)

The University of Electro-Communications

音声分析合成系

WORLD

音声信号 WORLD F0 列 STAR スペクトログラム励起信号スペクトル DIO STAR PLATINUM ●

Vocoder ベースで高速・高品質

●

単純な分析・再合成だけなら同時に行なえる

– かかる時間は分析＞再合成

(20)

The University of Electro-Communications

課題点

●

処理速度低下

●

モーフィングによる処理量の増大

⇒事前に合成しやすい形へ分析

●

ライブラリ容量の増大

●

処理速度とトレードオフ

⇒低次メルケプストラムと

Vorbis で圧縮

●

ライブラリ間での発音の違い

⇒素片ごとに時間の対応付けを行い補正

(21)

The University of Electro-Communications

WORLD のデータサイズ

●

標本化周波数

44,100[Hz] の場合

⇛分析シフト長

n[ms] 毎に約 3,000 点必要

　

_{n = 2 の時で波形の約 30 倍のデータ量}

音声信号 WORLD F0 列 STAR スペクトログラム励起信号スペクトル DIO STAR PLATINUM 1025 次元 1 次元 2048 次元

(22)

The University of Electro-Communications

課題点

●

処理速度低下

●

モーフィングによる処理量の増大

⇒事前に合成しやすい形へ分析

●

ライブラリ容量の増大

●

処理速度とトレードオフ

⇒低次メルケプストラムと

Vorbis で圧縮

●

ライブラリ間での発音の違い

⇒素片ごとに時間の対応付けを行い補正

(23)

The University of Electro-Communications

課題点

●

処理速度低下

●

モーフィングによる処理量の増大

⇒事前に合成しやすい形へ分析

●

ライブラリ容量の増大

●

処理速度とトレードオフ

⇒低次メルケプストラムと

Vorbis で圧縮

●

ライブラリ間での発音の違い

⇒素片ごとに時間の対応付けを行い補正

(24)

The University of Electro-Communications

提案法（事前分析）

声色 A 波形 WORLD Analysis F0 Vorbis Encoder IFFT PLATINUM STAR OggVorbis 励起信号波形励起信号波形メル周波数変換 MelCepstrum 声色 B 波形 WORLD Analysis F0 Vorbis Encoder メル周波数変換 OggVorbis 励起信号波形 IFFT MelCepstrum 伸縮マッチング時間伸縮関数振幅包絡振幅包絡低次元化 IFFT IFFT DIO 対数化

(25)

The University of Electro-Communications

提案法（事前分析）

声色 A 波形 WORLD Analysis F0 Vorbis Encoder IFFT PLATINUM STAR OggVorbis 励起信号波形励起信号波形メル周波数変換 MelCepstrum 声色 B 波形 WORLD Analysis F0 Vorbis Encoder メル周波数変換 OggVorbis 励起信号波形 IFFT MelCepstrum 伸縮マッチング時間伸縮関数振幅包絡振幅包絡低次元化 IFFT IFFT DIO 対数化ノイズ成分声の特徴発音の差

(26)

The University of Electro-Communications

提案法（事前分析）

(27)

The University of Electro-Communications

提案法（事前分析）

(28)

The University of Electro-Communications

励起信号抽出法

PLATINUM

●

実信号スペクトル　　　　　と，

パワースペクトルの最小位相スペクトル

から励起信号を以下の式で求める

●

位相を無視しない高品質な分析合成系

●

励起信号スペクトル

R(ω) は

パワースペクトル的な扱いに適さない．

X (ω)

H (ω)

R(ω)=

X (ω)

H (ω)

(29)

The University of Electro-Communications

励起信号の圧縮法

●

実信号スペクトル　　　　　と，

パワースペクトルの最小位相スペクトル

から励起信号を以下の式で求める

●

モーフィング時

R(ω) は線形補間

●

として

Vorbis 圧縮

X 

H 

R=

X 

H 

r t =IDFT [ R]

(30)

The University of Electro-Communications

提案法（事前分析）

声色 A 波形 WORLD Analysis F0 Vorbis Encoder IFFT PLATINUM STAR OggVorbis 励起信号波形励起信号波形メル周波数変換 MelCepstrum 声色 B 波形 WORLD Analysis F0 Vorbis Encoder メル周波数変換 OggVorbis 励起信号波形 IFFT MelCepstrum 伸縮マッチング時間伸縮関数振幅包絡振幅包絡低次元化 IFFT IFFT DIO 対数化発音の差

(31)

The University of Electro-Communications

時間伸縮関数の設計

●

ライブラリ間の発音の差を補正

●

振幅包絡の差の積分を最小とする経路

●

対応する素片同士で

T(t)を記録

E t=

∑

i=−m m



x t

i

f

_s



2

, f

_s

: 標本化周波数

∫

t=0 l_A

∣

E

_A



t −E

_B



T t 

∣

d



t

2



T

2



t  min , s.t.

dT t 

dt

0

(32)

The University of Electro-Communications

提案法（合成）

時間伸縮関数 OggVorbis 励起信号波形 MelCepstrum vorbis Decoder OggVorbis 励起信号波形 MelCepstrum 声色A 線形周波数化声色B FFT FFT 線形周波数化 FFT vorbis Decoder FFT 重みつき和重みつき和 WORLD Synthesis 音声波形 F0 generator F0 対数パワースペクトル励起信号スペクトル対応時刻

(33)

The University of Electro-Communications

波音リツコネクト

●

本技術によるライブラリ

●

波音リツ

Project と共同制作

– http://hal-the-cat.music. coocan.jp/ritsu.html – 上記で「波音リツコネクト」として公開されています．

(34)

The University of Electro-Communications

波音リツコネクト収録内容

収録単位 _VCV 収録語数 955語マイク Audio-Technica AT-4040

Audio I/F Roland UA-25EX

収録場所約60畳の業務用冷凍庫 MelCepstrum 32 次元 OggVorbis 44.1サンプルあたり 64kbit 声色指定「強い」「中間」「弱い」三種類

(35)

The University of Electro-Communications

合成速度

●

波形からの合成の約

2 倍高速

●

32 秒のシーケンスの合成時間（単位：秒）

CPU _{波形から合成} _提案手法 _{スレッド数} Celeron 1.73Ghz _89.1 _40.4 ₁ Core2Quad 2.8Ghz _39.6 _20.7 ₁ Core2Quad 2.8Ghz _22.3 _10.5 ₂ Core i7 3.5Ghz _22.9 _13.1 ₁ Core i7 3.5Ghz _11.6 _6.6 ₂

(36)

The University of Electro-Communications

ライブラリ容量

波形 _{WORLD RAW 提案手法} 元データ _176.4 _- -スペクトル _- ₄₀₉₆ ₁₂₈ 励起信号 _- ₈₁₉₂ 約200 合計 _176.4 ₁₂₂₈₈ 約330 ●

波形の約

2 倍

●

2[ms] あたりに必要なデータ量[bytes]

●

圧縮の条件は波音リツコネクトと同じ

(37)

The University of Electro-Communications

合成例

(2)

●

童謡「ふるさと」

– 声色指定パラメタのみ手作業で編集 ●

圧縮の影響の比較

– 波形から合成 – 提案法で合成 ●

操作パラメタの比較

– モーフィング率一定 – モーフィング率手動変更

(38)

The University of Electro-Communications

合成例

(2)

●

童謡「ふるさと」

圧縮の影響の比較

操作パラメタの比較

(39)

The University of Electro-Communications

合成例

(2)

●

童謡「ふるさと」

圧縮の影響の比較

操作パラメタの比較

(40)

The University of Electro-Communications

合成例

(2)

●

童謡「ふるさと」

圧縮の影響の比較

操作パラメタの比較

(41)

The University of Electro-Communications

合成例

(2)

●

童謡「ふるさと」

圧縮の影響の比較

操作パラメタの比較

(42)

The University of Electro-Communications

合成例

(3)

●

拙作「

Breathe -retrieval-」

●

声色指定パラメタ

音程遷移を付加

（手作業）

●

sm16309748

【波音リツコネクト】Breathe -retrieval-【オリジナル】

(43)

The University of Electro-Communications

変換ツール

●

インターネット上での

利用を前提

●

変換用の

GUI を配布

●

「波音リツコネクト」と

同じページで公開中

(44)

The University of Electro-Communications

変換ツール

●

インターネット上での

利用を前提

●

変換用の

GUI を配布

●

「波音リツコネクト」と

同じページで公開中

(45)

The University of Electro-Communications

まとめ

●

ユーザが声色操作可能な歌声合成器

v.Connect を作成した

●

任意時刻・任意強度でモーフィング率を指定可能

●

合成速度とライブラリ容量を改善

●

速度約

2 倍・ライブラリ容量は波形の約 2 倍

(46)

The University of Electro-Communications

今後の課題

●

品質についての定量的評価

●

モーフィング精度の向上

●

声色変化パラメタの自動生成

●

シーケンスの入力は手作業に依るところが大きい

(47)

The University of Electro-Communications

予稿訂正のお詫び

●

予稿中「

VocaListener2」の表記を

「

VocalListener2」と誤記しておりました．

大変失礼致しました．

ここに訂正するとともに

謹んでお詫び申し上げます．

(48)

The University of Electro-Communications

謝辞

開発にご助力いただいた

Cadencii 開発者の kbinani 様

音源の制作にご協力いただいた

波音リツ

Project のみなさま

WORLD 開発の立命館大学の森勢助教

UTAU 開発の飴屋／菖蒲様

この場をお借りして感謝申し上げます．

(49)

The University of Electro-Communications

Cadencii Project

v.connect 開発当初 素片接続型合成器 入力 VSQファイル コーパス UTAU音源 分析合成 STRAIGHT Vocaloid2用 シーケンス UTAU用 ライブラリ v.connect STRAIGHT STRAIGHT版は 開発終了 合成音

The University of Electro-Communications

The University of Electro-Communications

v.Connect

v.Connect

ユーザが声色操作を

ユーザが声色操作を

指定できる歌声合成器

指定できる歌声合成器

電気通信大学 情報工学科

電気通信大学 情報工学科

小川 真， 矢崎 俊志， 阿部 公輝

小川 真， 矢崎 俊志， 阿部 公輝

(

(

阿部公輝 研究室

阿部公輝 研究室

)

)

The University of Electro-Communications

The University of Electro-Communications

v.Connect（開発当初）

素片接続型合成器

入力 ：

VSQファイル

コーパス ：

UTAU音源

分析合成：

STRAIGHT

STRAIGHT版は

開発終了

The University of Electro-Communications

The University of Electro-Communications

v.Connect（現在）

素片接続型合成器

GUI ：Cadencii

コーパス ：

UTAU音源

分析合成：

WORLD

Cadencii Projectにて

現在も開発中

The University of Electro-Communications

The University of Electro-Communications

Cadencii

HN: kbinani 氏制作

GUI アプリケーション

歌声合成器向け

ピアノロール シーケンサ

様々な合成器に対し

統一的な操作が可能

v.Connect を

合成器として添付

The University of Electro-Communications

The University of Electro-Communications

合成例

(1)

v.Connect デモンストレーション

「

Toss Up」

本発表の技術を使用

sm15561654

The University of Electro-Communications

The University of Electro-Communications

発表の流れ

v.Connect 開発の経緯

研究背景・動機・目的

提案法

課題点

研究成果

まとめ

The University of Electro-Communications

The University of Electro-Communications

歌声合成ツール

UTAU

フリーの歌声合成器

HN : 飴屋／菖蒲氏開発

規格がオープン

The University of Electro-Communications

The University of Electro-Communications

v.connect 開発当初素片接続型合成器入力 VSQファイルコーパス UTAU音源分析合成 STRAIGHT Vocaloid2用シーケンス UTAU用ライブラリ v.connect STRAIGHT STRAIGHT版は開発終了合成音

電気通信大学情報工学科

電気通信大学情報工学科

小川　真，矢崎俊志，阿部公輝

小川　真，矢崎俊志，阿部公輝

阿部公輝研究室

阿部公輝研究室

₎

₎

入力　　：

コーパス：

GUI 　　：Cadencii

コーパス：

ピアノロールシーケンサ

HN: 漆原龍紅氏