H.265/HEVC に対応する粗密階層型の動き検出法の研究

指導教員

修士論文

H.265/HEVC に対応する 粗密階層型の動き検出法の研究

近 藤 利 夫 教 授

平成

26

三 重 大 学 大 学 院 工 学 研 究 科 情 報 工 学 専 攻 計算機アーキテクチャ研究室

内容梗概

動画像通信の分野で従来の解像度の

1 6

2

H.  26 5/HEVC

2 0 1 3

H. 26 5/HEVC

H.265/HEVC

H.  2  6  5/HEVC

8 x 4 ( 4 x 8 )

6 4 x 6 4

階層数はブロックサイズに応じて変更する手法を提案した.この提案法は，大ブロックは

4

3

1階層目ではサンプリングされた画像を用いて広範

H. 2  6  5/HEVC

HM8. 0

込み評価を行った.比較対象として HM~こ組み込まれているアルゴリズム TZSearc

h

2

8 9 2 x 4 8 0

12

H D ( 1 9 2 0 x 1 0 8 0 )

3 0

BitRate

2.2%

PSNR

0 . 0 0 2 d B

•

A b s t r a c t  

Due t o  the growing p o p u l a r i t y  of h i g h  d e f i n i t i o n  video images

8k and 4k video having 16 times and  4  times the r e s o l u t i o n s

r e s p e c t i v e l y

o f  current f u l l   h i g h ‑ d e f i n i t i o n  are s t a n d a r d i z e d .  

I n  order t o  reduce the enormous amount of data due t o  t h e i r  very h i g h  r e s o l u t i o n

i t   i s   necessary  to use the H.265/HEVC video coding standard w i t h  h i g h  compression e f f i c i e n c y .  

However

H.265/HEVC r e q u i r e s  s i g n i f i c a n t  computing power so that i t   i s   d i f f i c u l t  to perform  r e a l ‑ t i m e  e n c o d i n g .  

Dedicated hardware implementation i s   e s s e n t i a l  to s o l v e  t h i s  problem

so that an LSI f o r   H.265/HEVC encoder LSI f o r  h i g h ‑ d e f i n i t i o n  images i s   r e q u i r e d  t o  be developed. 

I t   i s   important to reduce the s c a l e  o f  the motion e s t i m a t i o n  c i r c u i t  f o r  a  c o s t ‑ e f f e c t i v e  encoder  LSI because motion e s t i m a t i o n  complexity occupies most o f  the encoding c o m p l e x i t y .  

Aiming a t  a  hardware‑oriented motion e s t i m a t i o n  a l g o r i t h m  f o r  H.265

we focus on the v a r i a b l e  block s i z e  of which ranges has been extended t o  64x64 i n  

2 6 5 .   We  employ s u i t a b l e  search methods and block matching corresponding to the b l o c k  s i z e  f o r  h i g h   e f f i c i e n c y  of search o p e r a t i o n .  

We propose a n o v e l  search method that can switch search method according to the number o f   l a y e r s  i n   the h i e r a r c h y  or the block s i z e .  

The r e s u l t  o f  b i t r a t e   i s   2 . 2

upcompare than TZSearch

and PSNR O.004dB down

f o r   14 t e s t  

sequences. 

目次

1.  はじめに....・H・....・H・........・H・…...・H ・...・H ・.....・H・‑…....・H・‑…・ ….....・H ・‑…...・H ・...・H・H・H・.....・H・

. 1

1.

1

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

2 .  

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 . 1

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2.2

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.3

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2 . 5  H.264/AVC

7 2 . 6

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2 . 7   H.265/HEVC 

. 8 3 .  

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 3 . 1

3.2

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 4 .  

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1

4 . 1

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 4 . 2  

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1

4.3

. 1 3 4

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3

4 . 5

4 . 6

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 5 .  

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 5 . 1

5 . 2

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 5 . 3

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8 5

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 5 . 5

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3

6 .  

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6

7 .  

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7

8 .  

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 8

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9

図目次

図 1 ‑ 1

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

図 2

1

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

図 2

2

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

図 2

3符号化画像のブロック分割の例.… . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

図

2

4.TZSearch

1

. . . 6

図

2

5H.264/AVC

. 9

2

6H.265/HEVC

. 9

図 十 1

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2

図 4

2

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2

4 ‑ 3

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4

4

4

4

5

図 5

lSAD

. . . 2 5

表目次

表 2

1

表 5 ‑ 1

1 8

表 5

2

. . . 2 1

表 5 ‑ 3TZSearch

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2

表 5 ‑ 5

TZSarch

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6

1 . はじめに

1 . 1

図

1

1

4

1 6

4K

8  K 

H.265 眉 EVC

2013

この

H. 265

TZSearch 

H.265/HEVC

H M

S A D

高い探索精度と低演算量を両立できるものの，探索点が不規則かっ疎らになるため並列化 が難しいのに加え，参照画像の再利用性も低いことからプロセッサ・メモリ問の転送がボ

トルネックとなるため，ハードウェア化による実時間処理には適していない.

一方，

H.265 圧 IEVC

H.264/AVC

[ 1 ][ 2 ] 4 x 4  

16x16

H.265

4 x 8 ( 8 x 4 ) ‑ ‑ ‑ ‑ 6 4 x 6 4

低演算量で広範囲を探索する手法に，粗いサブサンプリング画像の探索結果を，より密 度を高めたサブサンプリング画像の探索で高精度化する階層探索がある.広めの探索範囲 を矩形に設定することで高並列処理と参照画像の高再利用率を両立できる利点を有してい る.また

64x64

H. 265

まで階層数を高めて演算量を抑える.一方，小ブロックの場合はサブサンプリング無しで 近傍のみの探索を実行することで演算量を削減する.これは小ブロックにおいては構成画 素数が減り探索精度が著しく低下してしまうのと，近傍ベクトルに移動ベクトルが存在す る確率が高いという性質があるためである.

これらの戦略に基づいて，スーパーハイビジョンに対応する

H. 265

2

3

4

5

6

7

8

スーパーハイビジョン 8K 

フノレハイビジョン

(1920xl080) 

( 7 6 8 0 x 4 3 2 0 )  

図

1 ‑ 1

2 . 動き検出ハードウェアの研究動向

2 . 1動き検出の概要

テレビ放送やインターネットでの映像配信において高精細画像の供給が進んでいる. し かし高精細画像になればなるほどそのデータ量も増大し，現在のフルハイビジョン放送

(1920x1080)

8K (7680x4320)

1 6

表

2 ‑ 1のように現在使用されている放送ピットレートは地上デジタルハイビジョン放送

15Mbps

B  S

23Mbps

8 K

1 6

ン放送普及のための妨げになる.そのため映像データを符号化によって圧縮することでデ ータ量を削減し，スーパーハイビジョン放送を容易に行える環境を作り出す必要がある.

テレビ放送などで使われている動画像は図

2 ‑ 1

1

30

60

この際にフレーム聞の動きベクトノレを検出する処理が動き検出である.動き検出処理で は参照画像と符号化対象画像の 2枚の間で動きベクトルを検出処理で、ある.この時に最も 基本となる手法としてフルサーチでは図 2・3のようなブロックで切り分けられた符号化対 象 画 像 と あ ら か じ め 設 定 し て お い た 参 照 画 像 と の 間 で 差 分 絶 対 値 和

S A D  (Sum o f   Absolute D i f f e r e n c e )

2 ‑ 2

グ処理を行う.そして最も低い

SAD

SAD

解像度 ビットレート

( M p e g ‑ 2 )

地上デジタル

1 4 4 0 x l 0 8 0   15Mbps 

ハイビジョン放送

BS

1 9 2 0 x l 0 8 0   23Mbps 

ノ¥イビジョン放送

4K

3840x2160 

90Mbps

スーノミーハイビジョン

7680x4320 

370Mbps 8K

表

2

1

図

2

1

t，:1 

像画

問 問

⁝ 昭 山

総

⁝ 参 紫⁝

符号化対象画像

図

2

2

図

2

3

2.2高速化の取り組み状況

現在動画像符号化における高速化の取り組みとしてソフトウェア的手法とハードウェア 的手法の二通りのアプローチが存在している.

ソフトウェア手法の取り組みとしては

H.264/AVC

JM

EPZS

H.265/HEVC

H M

TZSearch

UMHexagonS  [ 3 ]  [ 4 ]

EPZS[5][ 6 ]  [ 7 ]  [ 8 ]  [ 9 ]

TZSearch

2

UMHeagonS

2

4

TZSearch

それに対してハードウェア手法としてメモリアクセス効率を重視し，高並列化を行うこ とで高速化を実現する.例えば

SIMD

SAD

事態

図

2

4.TZSearch

1

2.3拡大型探索

動き検出の際に用いられる手法として拡大型探索がある.この探索手法はスクエア型，

ダイヤモンド型，ヘキサゴン型など予め決定していたパターンに従って徐々に間隔を広げ ていく探索を行うものである.探索範囲を広く探索することができ，その後詳細な探索と 組み合わせることで低い演算量と高い検出精度を両立することができる手法である.また 広範囲を疎らに探索することで局所的

SAD

ェア的な観点からみれば優秀な手法である.

しかし距離の離れら疎らな点を探索する操作は画素データがシーケンシャルにメモリ に保存されているためにメモリアクセス効率が大幅に低下してしまう欠点がある.そのた め拡大型探索を用いた動き検出手法は高並列化の妨げになっている.

2.4追跡型探索

動き探索の手法として追跡型探索もその一つである.これも拡大型同様スクエア型，ダ イヤモンド型などの探索点ノfターンが存在するが，探索を実行するのは探索点の周辺であ る.その後最も

SAD

しかし，大きな欠点としてローカルミニマムに陥ってしまう可能があり，極端に探索精 度が減少してしまう可能性がある.そのためローカルミニマムに陥らない探索手法を併用 する必要がある.

2.5 H.264/AVC

までの動き検出ハードウェアの研究開発状況

近年はハードウェアの性能が大幅に向上し

H.264/AVC

ハードウェア面に対しでも考慮、したアルゴリズムを開発し実装することで莫大になる符号 化処理をこなす必要がある.

2 . 6スーパーハイビジョン放送

現在日本で、は現在のフルハイビジョン放送の

4

4K(3840x2160)

N H K

こ の ス ー パ ー ハ イ ビ ジ ョ ン 放 送 は フ ル ハ イ ビ ジ ョ ン 放 送 の

1 6倍 の 解 像 度 と な る 8K(7680x4320)

2016

し

2018

2020

またスーパーハイビジョン放送では従来の

1

30

60

2倍のデータ量となっている.従来のインフラストラクチャーではスーパー

してスーパーハイビジョン放送を容易に実現するためには演算時間を削減し，圧縮率を従 来以上に高め，更にはそれらを行うとともに品質低下を引き起こさないような符号化処理 が必要である.

2 . 7   H . 2 6 5 / H E V C  

H.265/HEVC

2013

H.264/AVC

H.265

4K

8K

H/264からの主な変更点として圧縮率が従来の約 2倍に向上したことである.これによっ

この

H.265を動画像符号化の面から見た変更点として動き検出時に符号化画像を切り分

けられるブロックサイズが図 2・ 5 のように従来の 4x4~

1 6 x 1 6 [ 1 0 J

2

6

4x8(8x4)~64x64 と種類が増加している点である.ブロックサイズが大きければ大きいほど

動き検出時のマッチング回数が減少し，また構成画素が大きいため画素を間ヲ￨し、でサブサ ンプリングを行ったとしても探索効率が低下しにくいという特徴を有している.また従来 用いられてきた動き検出アルゴリズムではこの大ブロックが考慮、されていないため十分な

性能を発揮することが不可能で、ある.そのためこうしたブロックサイズに最適化された動 き検出アルゴリズムがスーパーハイビジョン放送に向けて必要不可欠である.

1 ( ; x l ( 3  

16xS 

8x16  8x8  4x8  8 x : . !   4x4 

図

2

5H.264/AVC

s4x J 3 4 

l G x : ヲ ネ

G ι x : ネ ヨ ^{: 3 2 x l G}  

8xl G  8x8  ‑ ! x 8   8x ‑ l :  

2

6H . 2 6 5

EVC

3 . 高速化の課題

3 . 1高効率，高並列化の両立

現在動画像符号化に使われている

EPZS

T Z S e a r c h

T Z S e a r c h

現在以上の符号化の高速化を行うためには符号化処理の高並列化が必要不可欠である.

しかしアクセスのボトルネックがあると並列化による高速化が殺されてしまう.このため 効率なデータアクセスと高探索精度の両立が必要不可欠となる.

3.2

多様化した可変ブロックサイズ、への対応

H.265

H.264

4x4~16x16 まで、だ、ったのに対し 4x8(8x4)~64x64 と大きく変更されている.

大きいブロックサイズを動き検出に利用できるようになっているので，従来よりも更に 画像を間引くサブサンプリングが可能になる.従って大ブロックでは大胆に画素を間引き サブサンプリングを行ったとしても構成画素を十分に維持できる.画像をサブサンプリン グしただけで演算量を削減されるため，大ブロックでのサブサンプリングは有用である.

また大きく画素を間引し、た画像だけでは大まかな移動ベクトルのみしか検出することがで きない.そこで下位階層で近傍だけの探索を行うことで正確な移動ベクトルを低演算量で、

実現できる.

小ブロックの場合は大ブロックのように間引し1てしまうと構成画素を維持できなくなり 大幅に探索精度が低下してしまう.そのため小ブロックの場合はそのままの画像を用いて 探索を行う.また小ブロックの場合は移動ベクトノレが近傍に位置する確率が非常に高い.

その性質を利用して小ブロックでは広範囲を探索せずに近傍のみの探索にすることで演算 回数を大幅に削減することができる.

4 . 提案手法

4.1方向性

先ずは

H.265の新機能である多様なブロックサイズへの対応を行う.動き検出時はブロ

4

3

4.2 

画像のサブサンプリング

粗密階層探索を行うためには図

4

1のように階層的な画像のサブサンプリングが必要

2画素精度画像を生成する際は図 4

2のよう

2x2

1

2

2x2

1

4

8 画素精度画像 4 画素精度画像

2 画素精度画像

原画像

図

4

1

図

4

2

4 . 3 サブサンプリングされた画像を用いてのフルサーチ

フルサーチとは参照画像の探索範囲内全てとブロックマッチングを行う手法である.広 範囲をこのフルサーチで、探索を行うことで高い探索精度を実現することができるが演算量

が膨大であるという欠点が存在する.

3

4

1

ただしサブサンプリングされた画像だけではおおまかな移動ベクトルしか求めることが できない.そのため徐々に 8画素精度画像なら 4画素精度画像へ， 4画素精度画像なら 2 画素精度画像へと解像度を上げていく必要がある.

4 . 4 追跡型スクエアサーチ

追跡型スクエアサーチでは探索中心点の周囲

8

SAD

4

4

階層探索の中で

2

1

また追跡型の探索は近傍の探索であるためにメモリアクセス効率が優れる利点がある.

探索開始

探索終了

図 4・3追跡型探索のブローチャート

4E E 叩 吋

EE

⁝

4E

E

1 

1 度目の探索

2 度目の探索 3 度目の探索

SAD 最小点

図

4

4

4 . 5 その他

予測ベクトルが近傍に分布すると予測される場合は近傍に対して原画像を用いてフルサ ーチを実行する.このフルサーチを実行する条件は階層探索時の予測ベクトルと大まかな 動きベクトルが不一致の場合，もしくは小ブロックの場合である.

階層探索終了後予測ベクトルとすでに計算された近傍の予測ベクトルから構成された予 測ベクトルが一致しない場合

0

0

0

また階層探索を使用なし

¥ / J

とから演算回数は多くない.