音声強調アルゴリズムの実現に関する一検討
坂井良広*
A study of implementation of speech enhancement algorithm Yoshihiro Sakai
背景雑音の重畳した雑音劣化音声に対し強調処理を行うアルゴリズムの実現法について検討した。本検討で対象とし たアルゴリズムは劣化音声から原音声を推定することにより、強調処理を行う.もので、推定のために音声の確率モデル として隠れマルコフモデル(HMM)を用いるものである。本アルゴリズムの結論は逐次推定式となる。これを信号処理 の基本演算まで展開し、これに基づいてアルゴリズムを実現するソフトウェアを作成した。作成したソフトウェアにつ いて強調処理の基本的な機能を動作を評価、確認した。その結果定常な入力信号に対しては最大10dB程度のS/N改善
効果を確認、した。
1 はじめに 調を行うものである。このための確率モデルとして混合分
布自己回帰型の隠れマルコフモデル(HMM)を用いる検討 1雑音が重畳した音声に対し、音声強調処理を行うこと がなされている。HMMは音声認識の分野で有力な一手段
により音質全体の改善、明瞭度の向上、聴取者の疲労軽減 で、モデルの構築や学習に関して優れた検討が蓄積されて など様々の効果がある。本検討では加法性雑音が重畳した おり、これを音声強調に用いるHMMにも活用することが 音声に対し、音声の確率モデルに基づく強調アルゴリズム できる。本検討ではEphralmらの提案による強調アルゴリ をとりあげ、アルゴリズムを実現するための演算処理内容 ズム[2】に関し、強調処理実現方法について検討、評価を行 を検討し、ソフトウェアを作成、基本的な機能について評 う。以下第2節では音声モデルに基づいた推定による強調 価を行う。 . ・ の基本原理、第3節では強調アルゴリズムの誘導について 加法性雑音が重畳した音声の強調アルゴリズムについて Ephraimらの提案を紹介する。第4節ではアルゴリズムを は従来より様々な検討がなされており、次に示すような方 実現するための具体的な演算内容への展開、第5節ではソ 法がある団。 フトウェアレベルでの実現に関する検討を行う。第6節で
(1),スペクトル強度推定に基づく方法 は作成した強調処理ソフトウェアについて基本的な機能の a.スペクトル強度直接推定法 確認、評価を行う。
b.ウィーナフィルタ法
(2)音声の周期性に基づく方法
2 推定による音声強調 a,適応コムフィルタ法
b.高調波選択法
確率モデルを用いた強調法の基本原理について簡単に説 C.適応雑音キャンセル法
明する。この方法では原音声と雑音源にそれぞれ確率モデ
(3暗声モデルに基づく方法 ルをma用し、これに基づいて瀦劣化音声から原音声艦
a.全極モデル法
定する。第2.1節では音声σ)モデル、第22節では雑音のモ b.極零モデル法
デルについて述べ、第23節ではこれらモデルを用いて雑 c.ノンパラメトリック法
音劣化音声から原音声を推定する方法について述べる。
(4)雑音劣化音声の帯域幅圧縮に基づく方法
(5)音声の確率モデルに基づく方法
以上列挙したもののうち、ここでは(5)の音声の確率モ2・1音声用のH:MM
デルに基づく方法について検討した。この方法は音声・雑 Pλ.を原音声に対するHMMのP.d.f.とする。ここでλ。は 音それぞれの統計的性質を表す確率モデルで表現し・これ このモデルのパラメータセットを意味する。HMMは、状 を用いて雑音劣化音声から原音声を推定することにより強 態数がM、各状態においてガウス分布のAR過程の出力の L個の混合要素を持つものとする。HMMの表現のため下
* 情報工学科
平成8年8月30日受付 記の変数を定義する。
・y 一: {y,,t= O,…,T}, y, E RK
:モデルからの出力を表すk次元ベクトルの系列
x≡{XtJt=0ジ■■,T},Xt∈{1ジ・・,ル∫}
:yに相当する状態系列
h≡{ht, t=0ジー,T},ht∈{1ジ・・,五}
:(x,y)に相当する混合要素の系列
これらの変数を用いてp.d.f.pλ.は次式で与えられる。
b. (y) = 22pA. (x, h, y)
= ん
=: £2 pA. (x)pA. (hlx)pA. ( y lh, x)
x ん
(i)
ここでpλ.(x)は状態xの系列の確率、pλ.(hlx)は状態系列 がxの場合の混合要素の系列の確率、pλ.(ylh,x)は状態と混 合要素系列が{h,x}である場合の出力系列のp.d.fである。
確率pλ.(x)は次式で与えられる。
ア
Pλ.(x)=ll a・,.、・rt
亡=0
(2)
ここでa=、_、Xtは時刻t.1における状態銑_1からtにおける 状態Xtへの遷移確率、 a=,一、。t≡π。。は初期状態Xoの確率で ある。また;pλ.(hlx)およびpλs( ylh,x)については、以下の
とおりである。
ぞ ア
P・。(嗣一Hp・。(咽三H・h、1・t
重=0 亡=0
(3)
IP・。(シ岡=HPA.(zltlh・,・Xt)…Hδ(y・1h・,…)(4)
t=O t=0
ここでChtlx,は状態系列中においてL tが与えられた時に混 合要素毎を選択する確率、わ(yt]ht,Xt)1ま{ht,Xt}の場合の 出力ベクトルZXtのp.d.f.である。
なお平均0でガウス分布の!>s次AR過程の出力について は、p.dfは次式で与えられる。
・xp{一矧5瀞}
わ(yt lht = A/, .Tt =: pt)=
(2T)K/2det /2(S.lp)
与えられる。
MAax. 1iiPA.(Y) == ii}{lxlnZ£;pA.(x,h, iy) (6)
x h
上式における最大化はBaum再推定アルゴリズムにより実 現される。一方、上式にあるモデルのパラメータセットの 条件に加え、次式のように状態系列と混合要素も最大化の 条件に入れて推定する考え方もある(セグメンタルk一平均
アルゴリズム)。
︶〃ち一
︵ 8λ
P
1n
8欲λ諺
2.2 雑音生成源のためのARモデル
(7)
pλvを雑音生成源モデルのp.df.とする。ここでλvはモデ ルのパラメータセットである。本論文で考察するガウス性 雑音については、次のようになる。
卿)一瞬瞭)一時読舞1(・)
t=o
t=o
ここでu≡個,t==o,_,T},Vt∈Rκはk次元出力ベクト ルのT+1個の系列である。VはNv次AR共分散行列であ
り、v=σ霧 (A.#IA. )一1で表される。ここで㌶とAvはそれ ぞれσ3ipとA.1βと同様に定義される。んはk×k下側三角 Toeplitz行列で、第一列の最初からNs+1個の要素はAR
過程9vE(9v(0),9v(1),…,仙(N,,)),9v(0)=1の係数で構 成される。
雑音のモデリング問題は、雑音生成源からの学習系列 (,
からパラメータセットλv≡{σZ, JC .(m),m=・1,一一・,Nv}を
求めることである。
λvのMI、推定は次式で与えられる、,
ip EDc lii ;pA,,, (・v) (9)
Av
この最大化は雑音学習系列のセントロイド共分散行列のAR.
モデリングと等価である。・
(5)
2.3
ここで#はベクトルの転置、5㌧1β=σ;1β(A満β.4Mβ)一1であ る。この中でσ3ipはAR過程入力の分散を表すスカラ、 Aγ1β
音声強調問題
はk×kの下側三角Toeplitz行列で、第一列の最初からNs+1雑音劣化音声ベクトルZi…{Zt,t=0,
個の要素が下記に示すAR過程の係数と等しいものである。
9.1β≡(9.1β(0),9.1β(1)ジ・・,・9・,・1β(N。)),9.1β(0)=1
本モデルを前提とすれば、モデリング問題はパラメータ セットλ、=(π,.a, c, s)を推定することと言える。ここで π≡{πβ},a…9{aαβ},〇三{(鈎1β},,S ≡{S一,1,3}である。た
だしα,β=1,…,M、およびor =1,・ ,五である。これら は音声信号から抽出した学習系列によって与えられる。
パラメータセットλsは最ゆう推定(M:L推定)により次式で
音声に対するHMMのパラメータセットλs、雑音生成源 に対するARモデルのパラメータセットλv、およびK一次元
… ,T}, z t = lyt +vt.
が与えられたものとする。ここで考察する強調問題は以下 に示すMAP推定法により原音声ベクトル系列yを推定す ることであると言える。
y y
ここで
m,CD(1ii pA.A.(2L/, i) = m,a:xlnZ2pA.),,, (x, h, y , i) (10)
.1: h
1)λsλv(!ノ,2つ =;Pλs(fLl)Pλ、、(β1エノ) =:Pλs(ty)Pλv(z 一 y) (1])
は雑音が加法性であり、信号に対し統計的に独立であるこ とによる。また宮,zおよび( v, h)は統計的に独立なので
pA.A. (:v, h, zl, z) = pA.A. (zla:, h, y)pA. (x, h, y)
= pA. (zly)pA. (x, h, y)
=Pλ (z−y)Pλs(x,h,!ノ) (12)
ところでpλ。λv(,Er)=・ fpλ。λv(g,の吻はyから独立なので課 題(10)は次式と等価である。
ma x ln 1)A.A. (yli) (13)
ここで;P・,・v(粥一部鍔である・
式(13)に定義する強調問題は、(6)に述べたモデルの学習 法(M:L学習手順)と矛盾なく用いることができる。
セグメンタルk平均学習アルゴリズムに対しては近似
こうしてy(k+1)に関するφ( y (k+1))の最大化は111pλ(y(k:+
1)lz)≧111Pλω(k)lz)に帰着する。ここで用いたのはEMア ルゴリズムの一般的な考え方であるが、音声波形のMAP 推定が補助関数φ(y(k+1))の最大化を経由して音声波形の 逐次推定によって達成できることを示している。
式(1)から(5)、(8)および(12)を(16)に代入し、㌢(kiI)
に関するφ(y(k + 1))の微分を0と置くことにより、次のよ うな原音声の逐次推定式を得る。
(逐次推定アルゴリズム定義式)
勲病識瓢識㍊露羅嚢呈姿欝諺微纒錨轍粥書羅響1
れる。 ナーフィルタの形式となる,,
M.a)c ln pA.A.(x, h, :y, 1) (14)
=,h,y
梼1β≡S−ylf3(S .,1/3 +V)一ユ (】8)
式(13)と同様に、式(M)の中の最大化問題は次式と馴面で
ある。 なお確率測度蝋β訓夕(k))の計算については効率化を図っ 恥弩lnρλ・λ・@九㌢レ) (15)た前向き後ろ向き法[31がある。
一一
m苓聴昏絶・≦t≦ z一(17)
ここでqt(β, or]y(k))は出力サンプルの推定値駅紛が与えら れたとき、これがHMMの特定の状態{β, ) }で生成される確
3 音声強調アルゴリズム
本節では期待値最大化(EM)アルゴリズムを、雑音劣化 音声に対する原音声のMAP推定に適用する。
ここで以下の変数を定義する。
z雑音劣化音声のk次元ベクトルのT+1個の系列
A i1ii (As・)Lv)
g (k) 1i1 { yt (k), t = O, ・ ・ ・ , T}, yt(k) E R
:・y(k)は音声信号の現在の推定 同様に y(k + 1)は音声信号の新しい推定
与えられたyとzは独立であるということ、およびJeiisen の不等式から、以下の式を得る。
ln pA (fy(k + 1)li) 一 ln pA (y(k)lz)
ipA (zx(k)li) pA (x, h, y(k)lz)
: h
一㎞冥濾聯))讐1辮(k+1)レy(k)]z))
≧冥酬醐㎞讐藷(k+1)レy(k)lz))
E ip( y(k + 1)) 一 ¢(y(k))
ここで
=i 22!i: iL>i4:fll:ll!TtZi SX.〉.4rk 5. xii ww E9 2 tY .S,rkl!!Z
ip(y(k + 1)) 11i 2£pA (x, hlz/(k)) ・ ln pA(:v, h, y(k + 1)li)
:v h
(16)
4 演算内容への展開
前節の結論にあるとおり、本アルゴリズムはすなわち式
(17)に示す逐次推定を実行することである。これを実現す るために先に述べた基本原理に基づきアルゴリズムの具体 的な演算内容を検討した。
まず、下記に示す行列Wを定義すると、式(17)は下記の 雨晒の連続計算に分解される。
w一 ユ幽醐祠∴・≦1≦T一(19)
yt(k十1)=W・zt, O一くt一く f (20)
Wを推定のための係数行列と見なせば、式(1g)で係数行列 Wを求め、これを用いて式(20)で推定を行っていると言え
る。以下これら各式における計算内容を検討する。
(1)係数行列Wの計算内容
係数行列Wは上の式にあるとおり、下記に示す因数qt(りを 計算した上で求められる。
Z{:v:xt =: /3} £{h:h, =:一r} iPA. (:1), h, y(k:))
qt(rs, or l y(k)) 1
Z,, 2h 1)A.(v, h, yy(k一))
H,,ip Ei1i S.1p(S,, ifl 一i一 1/)一一i
(2 1)
(22)
(2)結合確率pλ.(x,h,y)の計算内容
式(2ユ)中の確率p(・)の計算は次に示すように因数に分解さ れる。以下一般化のため y(k)は・yに置き換えて扱う。
;Pλs(:L h y)=iPλs( ■ );Pλs(hlx);Pλs(Ll/lh,・x ) (23)
(3)各確率因数pλ.(・)の計算内容
式(23)の各因数はHMMの定義を用いると以下のような計 算に置き換えられる。
ipA.(x)= fiact−ixt (24)
t=o
ア P・。(hlx) = HpA.(hlxt)…H・矧η 亡=O t=0 ぞ
P・。(琳,x)=Hp・,(琳・,銑)≡Hわ(iy・lht, Vt)
亡瓢0 亡=0
(25)
(26)
5 ソフトウェアレベルでの実現
前節で定義した演算内容に基づき、本アルゴリズムを評 価するソフトウェアを作成した。全体の構成を図1に示す,、
Eignal generatton
「垂誌「・二二;一■■■一■■ロー「
inF5iiaifiT511−g!EsiFF6 ! Iexiしaしi p「oceSS
lN。ise s。urce
lrandf。O exv v
l exiし。しi copy l
L■________ _一___
Eロhancemeロし
1____r w
ビきモエこまどロし
IIHMM
曜L2aヨa旦空]alculaしi。n雇
l yb
opy
II−1−1■
Z
Evaluation
.「層一「
量‡: { 1 「
1 エユしき
。、lL一」
Qpy』h 1____.____________
図1.本ソフトウェアの全イ刺茜成
ここでαxt一、.TtおよびCht l=,はHMMのパラメータから直接 図では機能のまとまりを点線枠で示しており・この中で式 与えられる。またb(細妬勾は{妬嚇が与える出力ベク
トルytのp.d.f,である。
(4)条件付き確率b(yt lht,Xt)の計算内容
式(26)はガウス性の信号系列の性質から次のように計算さ
れる。
・・p{一婦5顎加・}
(27)
b(ytlht = r, xt == P) =
(2T)K/2deti/2(SMp)
(5)共分散行列S,tlβの計算内容
式(22),(27)におけるsッ1βについては先に述べた定義によ
り、
S71fl == u31p(A.#lpA.lp)一i
σ年iβ:AR過程入力信号の分散を表すスカラ A.,1β:AR過程の係数で構成する
kxkの下側三角Toeplitz行列
となっているが、事前検討によれば上の方法ではAR過程 出力の実際の共分散には一一致しないことがわかった。そこ で次式に示すようにAR過程のインパルス応答を経由して 求める方法に置き換えた。
アコ
・・一Σ ・U・一・9i (28)
i=1
K、一謹一ゴ (29)
t;O κ1トゴi
(30)
ゾεゴ=
Ko
5㌧【β=σ孝1βR (31)
(6)共分散行列Vの計算内容
本検討の段階では雑音は無相関であると仮定し、共分散行 列の非対角要素は0とした。
(17)に定義する逐次推定を行うのは強調部である。他の点 線枠のうち、信号発生部は音声信号源と雑音源を持ち、こ れらを加算して雑音劣化音声を生成し、強調部へ出力する、,,
また評価部は強調入力や出力および各信号源からサンプル 単位での計算によるS/N値およびその差を求めてS/N値や 波形を比較、評価する。
次に図1に示した強調部の構成法について示す、,強調部 において実行すべき演算は前節で述べたように定義式(21)
から(31)に展開されるので、これらに対応して演算を行う 構成とした。本アルゴリズムの評価の利便のため、なるべ
く各関数の定義式に対応するように関数を作成した。その 一覧を表1に、また階層構造を図2に示す。関数の中で主要 なものはmmp玉七,mmc 1,ar2covであり、その内部処理ブロッ ク図を図4か日図6に示す。arは自己回帰過程を実現する
関数、その他は行列の演算に関する関数である(.、
図1の中の強調部内部の詳細な構成を図30)処理ブロック 図に示す。
表1.関数一覧 関数名 機能
mmPlt 条件付き確率(21)計算 Ilunc 条件付き確率(27)計算 ar2cov 共分散行列(31)計算 ar 自己回帰過程の計算 mSmu1 行列と列べクトルの乗算
madd 行列の加算 minv2 逆行列の計算
mmul 行列の乗算
Vmmul 行ベクトルと行列の乗算
wmul 行、列べクトルの乗算
1瞳in ロα叩1ヒ rm』lc1 ar2co ar
mirユv2 vπぽnu!
vvmul
mdeし 【nlu ar2co ar
msrrしU1
madd
mir】v2 r岨しul
図2.関数の階層構造
a
c
gg vy
gg
W
numerator oE q〔beしa gan田naiy)
ロ ロ の の の の ロ コ ロ コ コ コ コ ロ ロ
且 1
−xし一1xしpx 暉
I p〔x} l
Phx lpqby
,」・ix
P(hix)l
l讐幻…・npyhx l
l. @ P〔ylh x} 1
の日晒ロロロのコロののコ コロココ den.。i。。,Qr.,,、b。,。,、。,噸。, ÷
の の の の の の コ の ロ コ コ ロ コ コ コ の
I I [LaxL−!xt ρX l サ ラI I phx .1
,_hix
P〔htx)塵
lpy lIRIIkl;2ylh x}P… ㊥ {
l P{ylh x} 1
L___________________」
av[][]
tix
H
poww
f三i工しer coefficienし
「一一一一■一彌嘲一一■b■一 一p一一一「
二日」gaτ鵬b…) 1
剣國■騨■曜一一一鰯胸離日噌一一鯛騨膠胴■口■一「
msmu!
il mS目[] mv madd ar2co
ll
口 nt叩3[]目1 99〔HHII I gss〔1 。inv2
ロ
日 mtrap4目[]l
ll・ rftfnul Il h〔】[}
ll mi。v2 11
1』回一刷醐一一口一一 圏■一疇
1,〔b。,。、,_。1。} h−inv[】
1罐菲齢・
yb[】 k目 匿
1 一・ 「「1 nv2 1
1 h[】[] 1 」剛______繭_一 _____」
filしer
1−lI一皿ーーー1一﹂
一
一
一 .協4 ■W W瓢4﹁
図4.関数mmp1七の内部構成
図の点線枠で示すように内部は式(21)の分母および分子を 計算する部分に大きく分割され、それぞれ定義式(23)から
(26)に対応する演算を行う。この中で関数mlnc1を用いて いるが、これは定義式(27)に対応する条件付き確率を計算 する関数である。その内部構城を図5の処理ブロック図5に
示す。
、「一…凹幽明一剛聞二=====「一「
I l l
i l・inv2 1
g l
ニ ヨじヒ
コじ ソ
ぬユ
x〔be.・ l i
h(ga漁司 ・λβ l vmul 1
/lig@I :_…垂藝≡____」 「Nユ 「
1 ● コ ロコロのロ l I o ヨじ
l I l
denom l lP。wO
l 」一一一一一一」
I L_=,s._._= = =一n 一______________』
sb[トrs〔]
コ zbE z目
opy
図3.強調部の内部構成
図5.関数mmc1の内部構成
この中で用いている関数ar2comは定義式(28)から(3:1)に 対応して、自己回帰過程の線形予測係数からその出力の共 分散行列を求める演算を行う。その内部構成を全学ブロッ
ク図として図6に示す。
外側の点線枠内の処理は定義式(19)に示す係数計算に対応 し、その下の実線枠は定義式(20)のフィルタ演算に対応す る。外側点線枠の内部は更に点線枠Hと点線枠qで示す演 算に分割される。点線枠Hは定義式(22)、点線枠qは定義 式(21)に対応する演算を行う。点線枠qの中で用いている 関数mmp1 t,は定義式(21)に示す条件付き確率を計算する 関数であり、その内部構成を図4の処理ブロック図に示す。
1 ar
ry
res
き
O ar elay X Σ
1
」一________________」
m3
図6.関数ar2covの内部構成
先に述べたように、この他行列演算を効率よく構成する関 数も作成したが、その演算内容は一般的であるので、詳細 な説明は省略する。
6 実験結果
前節で述べたごとく本アルゴリズムを評価するソフトウェ アを構成したので、これを用いて強調処理の基本的な動作 を確認、評価した。強調処理のみの確認であるため、音声 に対するHMMのパラメータを求める訓練アルゴリズムは 組み込んでいない。このためHMMのパラメータは音声サ
ンプル例から求めた概略値に設定した。
まず図3に示すフィルタ係数演算の構成の妥当性を検証 した。図にあるように本ソフトウェアにおいては、特定の 条件{ty,β}に対応する要素フィルタ係数H7,βにその条件で の確率g(β,ッ助で重みづけを行い、これを全て0)条件につ いて足し合わせ、合成して推定フィルタ係数Wを得る構造 になっている。そこで合成されたフィルタ係数が妥当なも のであるかどうかを確認した。その結果を図7に示す。
る雑音成分が滅少することを目視で確認することができる,、
原波形
付加雑音
劣化波形
強調波形
1
一1
1
一・P
1
一1
1
一1 ・
o
疑似音声、入力S/N;10[dB]、計算反復回数=5回
時間[ns]
図8.処理波形
20
S/N改善効果は約5dBであった。なお評価に用いた信号は 動作確認を容易にするため定常な疑似音声波形である,、
7 おわりに
9× 弓鍋フィルタ係i数値
︒︒.卜δ︸鍵
O C4
・t・・ AL::2N□磁数値
OC3 0 CI
ミ
blgSil O. ss8 O. 939猷
フィルタ係数値Wco
OC2
O. 940
定義式で示されたアルゴリズムを実現するため、具体的 な演算処理を定義する式に展開した、,、これを基にソフトウ.・
アの構成を検討し、強調処理の基本機能を評価するソフト ウェアを作成した。その動作を定常な信号について確認し た。本検討で確認した範囲は強調処理の基本的な機能に限 られているので、今後はHMMのパラメータを多数の音声 サンプルから自動的に決定する訓練アルゴリズムを組み込 みその動作の確認、さらに非定常な入力信号に対する強調 処理の有効性を確認する必要がある、,また頻繁に実行する 確率計算は多量の演算量を要するので、等価性を維持しな
がら演算量を削減する計算方法を見いだす必要がある(.,
図7.フィルタ係数の演算結果
図において○は要素フィルタ係数仏β、△はそれから合成参考文献 されるフィルタ係数W「、またロは比較のため入力信号に対
して最適な強調を実現するフィルタ係数を示す。なおこれ は雑音が加算される前の音声から求めたもので、本来は未 知である。図に見られるように合成フィルタ係数Wはどの 要素フィルタよりも最適フィルタに近く、逐次推定を重ね るに従い更に最適フィルタに近づく。ただし、最適フィル タへの接近は推定繰り返しが5回目の時点で停止し、以降 繰り返しを重ねても変化が見られなかった。一因としては 演算精度の不足により、いずれかの計算過程において繰り 返しの前後問で有意な変化が消失したためと考えられる。
係数値の挙動について妥当性が確認されたので、強調処 理の前後における波形変化を観測した。これを図8に示す。
図にあるように、強調処理によって劣化波形に重畳してい
[1] J.S.Lini et, al.: Enhanceinent and Bandwidth C・om−
pret sion of Noisy Speech, Proc., of IEEE vol.67, no, 12,
pp,1586−1604(1979)
[2] Y.Ephraiin et, al.: On t,he applicat,ion of hidden
inarkov models f or enha.ncing noisy speech, IEIi]E rl[lrans.ASSP,vol.ASSP−37, pp.1846−1856(1989)
[3] A.RDempster et, al.: MED〈imum likelihood from in一
cornplete dat,a via t,he lliJ M algorit,hn), J.R.oy.St・ai・.LSo〈 ..
Vol.39,No.1 pp.1−38(1977)
[4]坂井:HMMを用いた音声強調に関する一一・一1 Am討,平成7 年電気関係学会関西支部連合大会G2(>10