訂 正 確 認 報 告 書
訂 正 承 認 日 20 18 年 11 月 1 9 日 訂 正 申 請 日 20 18 年 11 月 15 日
題 名
Resea rch o n Q ual it y -O pti m i zed Al g ori t hm s for Lo w Com puta t i ona l Com plexi t y Techni q ue s i n Vi deo P rocessi ng
著 者 氏 名 Wen x i n Y U
報 告 者 氏 名
集 積 シ ス テ ム 分 野 、 博 士 論 文 訂 正 ワ ー キ ン グ 長 木 村 晋 二
確 認 者 氏 名 巽 宏 平
本 論 文 は 、学 位 規 則 第 2 3 条 第 1 項 に 照 ら し 、学 位 の 取 消 に は 該 当 し な い が 、 訂 正 を 要 す る 箇 所 が 認 め ら れ た た め 、 こ れ に 対 し て 著 者 に よ り な さ れ た 訂 正 に つ い て 確 認 し た 結 果 を 以 下 の 通 り 報 告 す る 。
1 . 訂 正 箇 所 と 訂 正 内 容
( 1 ) 訂 正 箇 所 : F r o m A b s t r a c t l i n e 2 t o l i n e 8 i n t h e o r i g i n a l t h e s i s 訂 正 内 容 : 記 述 の 訂 正
具 体 的 内 容 :
In r e c e n t ye a r s , t h e m o b i l e d e v i c e s a r e m o r e a n d m o r e w i d e l y u s e d i n p e o p l e ’s d a i l y l i f e . As t h e r e q u i r e m e n t o f t h e h i gh d e f i n i t i o n vi d e o c o n t e n t a n d t h e vi d e o - b a s e d a p p l i c a t i o n s o n m o bi l e d e v i c e s gr o w i n g r a p i d l y, t h e v i d e o c o di n g t e c h n i q u e s k e e p e v o l vi n g. P e o p l e c a n e n j o y t h e h i gh d e f i n i t i o n vi d e o n o t o n l y b y t h e d e s kt o p o r t e l e v i s i o n , b ut a l s o on t h e m o bi l e d e v i c e s . T h e 3 r d - ge n e r a t i o n ( 3 G ) a n d 4t h- ge n e r a t i o n ( 4 G ) t e l e c o m m u ni c a t i o n t e c h n i q u e i s w i l d l y u s e d . P e o p l e c a n c h a t w i t h f r i e n d
“ f a c e t o f a c e ” i n a n y t i m e , i n a n y p l a c e . U s e r s c a n c h a t w i t h f r i e n d s , p h o n e - t o - P C o r p h o n e - t o - p h o n e a t a v i d e o w i t h h i gh d e f i n i t i o n .
In r e c e n t ye a r s , w i t h t h e w i d e a p p l i c a t i o n o f m o b i l e d e v i c e s i n p e o p l e ' s l i v e s , t h e r a p i d d e v e l o pm e n t o f h i gh - d e f i n i t i o n v i d e o c o d i n g a n d d e c o d i n g t e c h n o l o g y, t h e r a p i d p r o gr e s s o f t h e n e w ge n e r a t i o n o f c o m m u n i c a t i o n t e c h n o l o g y, a s w e l l a s t h e g r o w i n g d e m a n d f o r c u l t u r a l a n d e n t e r t a i n m e n t a c t i v i t i e s ,
( 2 ) 訂 正 箇 所 : F r o m p a g e 1 l i n e 1 t o p a g e 3 l i n e 4 i n t h e o r i g i n a l t h e s i s 訂 正 内 容 : 記 述 の 訂 正
具 体 的 内 容 :
1. Introduction
1.1 Conventional video coding standards
Vi d e o c o d i n g i s a n i m p o r t a n t t e c h n o l o g y f o r t h e m e d i a i n d u s t r y a n d i t h a v e p r o v i d e d a n u m b e r o f n e w p o s s i b i l i t i e s a n d o p t i o n s i n m a n y d i ff e r e n t a p p l i c a t i on a r e a s . A s t h e r e q u i r e m e n t o f t h e h i gh d e f i n i t i o n vi d e o c o n t e n t a n d t h e vi d e o - b a s e d a p p l i c a t i o n s o n m o bi l e d e v i c e s gr o w i n g r a p i d l y, t h e v i d e o c o d i n g t e c h n i q u e s k e e p e v o l v i n g.
…(中 略) …
H o w e v e r, i n t h e P C b a s e d a p p l i c a t i o ns , h i gh c o m p r e s s i o n r a t i o i s u s u a l l y e a r n e d b y h i gh c o m p u t a t i on c o m pl ex i t y ( s u c h a s t h e “ f u l l s e a r c h ” i n H . 2 6 4 / AV C ) . S i n c e t h e p o w e r c o n s um p t i o n i n m ob i l e d e v i c e s ( s u c h a s s m a r t p h o n e ) i s q u i t e l i m i t e d , “ l o w p o w e r ” b e c o m e s a i m p o rt a n t c r i t e r i o n . Lo w p o w e r a n d f a s t a l go r i t h m s a r e p r o p o s e d t o m a k e t r a d e o ff s b e t w e e n c o m p ut a t i o n c o m p l ex i t y a n d c o d i n g p e r f o r m a n c e ( c o m p r e s s i o n r a t i o a n d t h e q u a l i t y o f r e c o n s t r u c t e d v i d e o ) .
1.2 H.264/AVC standard
T h e H . 2 6 4 v i d e o c o di n g s t a n d a r d , a l s o k n o w n a s M P E G AV C , r e p r e s e n t s t h e s t a t e o f t h e a r t i n v i d e o c o m p r e s s i o n . H . 2 6 4 i s a w i d e l y u s e d v i d e o c o m p r e s s i o n s t a n d a r d . C o m p a r i n g w i t h M P E G 2 s t a n d a r d , i t d o u b l e s
…(中 略) …
T h e H . 2 6 4 e n c o d i n g a n d d e c o d i n g p r o c e s s i n g a r e s h o w n i n F i g. 1 .
1. Introduction
1.1 Conventional video coding standards
Vi d e o c o d i n g i s a v e r y i m p o r t a n t t e c h n ol o g y i n o u r d a i l y l i f e . In t h e r e c e n t ye a r, i t d e v e l o p e d f a s t e r a n d f a s t e r, b e c a u s e o f t h e gr o w t h o f t h e m o bi l e a p p l i c a t i o ns a n d t h e r e q u i r e m e n t s o f t h e h i gh d e f i n i t i o n vi d e o .
P e o pl e c a n w a t c h h i gh - d e f i n i t i o n v i d e o ( 1 0 8 0p ) o n t h e s m a r t p h o n e s , c i n e m a s , 3 D m o v i e s , a t h o m e o r v i a t h e In t e r n e t . Wi t h t h e w i d e a p p l i c a t i o n o f t h e n e w g e n e r a t i o n o f c o m m u ni c a t i o n t e c h n o l o g y, t h e r e a r e b i g d e m a n d s o f t h e h i gh d e f i n i t i o n v i d e o c o n t e n t i n o u r d a i l y l i f e . C o m p ut e r s t o r a ge a n d c o m m un i c a t i o n b a n d w i dt h c a n n o t m e e t t h e n e e d s o f p e o p l e a t p r e s e n t a n d f u t u r e . S o t h e d a t a c o m p r e s s i o n t e c h n i q u e s a r e m o r e a n d m o r e i m p o r t a n t . To c o m p r e s s t h e r e d u n d a n t c o n t e n t i n m ax i m u m , a l ot o f c o d i n g t e c h n i q u e s a r e p r o p o s e d , s u c h a s “ B l o c k s e g m e n t ” , “ H o m o ge n o u s m a t c h i n g” a n d
“ Tr a n s f o r m d o m a i n c o m p r e s s i on ” m e t h o d s .
H o w e v e r, h i gh c o m p r e s s i o n r a t i o a l w a ys c o r r e s p o n d s t o h i gh e r c o m p ut a t i o n c o m p l ex i t y a n d h i gh e r p o w e r c o n s u m p t i o n. T h e p o w e r c o n s u m p t i o n i s q u i t e l i m i t e d i n t h e m o b i l e c a s e s , s o " Lo w p o w e r c o n s u m p t i o n " h a s b e c o m e a n i m p o r t a n t i n d i c a t o r. A l o w p o w e r a n d f a s t a l go r i t h m i s p r o p o s e d t o b a l a n c e t h e c o d i n g e ff i c i e n c y a n d t h e c o m p ut a t i o n a l c o m p l ex i t y.
1.2 H.264/AVC standard
H . 2 6 4 i s a n e w ge n e r a t i o n o f d i gi t a l v i d e o c o m p r e s s i o n f o r m a t a f t e r M P E G 4 , w h i c h i s j oi n t l y p r o p o s e d b y t h e In t e r n a t i o n a l O rg a n i z a t i o n f o r St a n d a r d i z a t i o n ( I S O ) a n d t h e In t e r n a t i o n a l Te l e c o m m u ni c a t i o n U n i o n ( IT U ) . H . 2 6 4 i s o n e o f t h e t e c h n i c a l s t a n d a r d s o f v i d e o e n c o d i n g a n d d e c o d i n g o f IT U - T n a m e d H . 2 6 x s e r i e s . H . 2 6 4 i s a d i g i t a l v i d e o c o d i n g s t a n d a r d d e v e l o p e d b y IT U - T 's V C E G ( v i d e o c o d i n g e x p e r t gr o u p ) a n d IS O / IE C 's M P E G ( a c t i v e i m a ge c o d i n g e x p e r t gr o u p ) i n t h e j oi n t v i d e o t e a m (J V T ) . T h e s t a n d a r d c a m e f i r s t f r o m t h e d e v e l o p m e n t o f IT U - T ' s p r o j e c t c a l l e d H . 2 6 L. A l t h o u gh t h e n a m e o f H . 2 6 L i s n o t v e r y c o m m o n , i t h a s b e e n u s e d . H . 2 6 4 i s o n e o f t h e s t a n d a r d s t h a t IT U - T i s n a m e d a f t e r H . 2 6x s e r i e s . AV C i s t h e n a m e o f IS O / I E C M P E G.
H . 2 6 4 i s b u i l t o n t h e b a s i s o f M P E G - 4 t e c h n o l o g y, a n d i t s c o d i n g a n d d e c o d i n g p r o c e s s m a i nl y c o n s i s t s o f 5 p a r t s : i n t e r f r a m e a n d i n t r a p r e d i c t i o n ( E s t i m a t i o n ) , t r a n s f o r m ( Tr a n s f o r m ) a n d i n v e r s e t r a n s f o r m , q u a n t i z a t i o n ( Q u a n t i z a t i o n ) a n d i n v e r s e q u a n t i z a t i o n , Lo o p F i l t e r, a n d e n t r o p y c o d i n g ( E n t r o p y C o d i n g) .
T h e m a i n go a l o f t h e H . 2 64 s t a n d a r d i s t o p r o v i d e b e t t e r i m a ge q u a l i t y
B y t h i s s t a n d a r d , t h e c o m p r e s s i o n e ff i c i e n c y o f t h e s a m e i m a ge q u a l i t y i s i n c r e a s e d b y a b o u t 2 t i m e s t h a n t h a t o f t h e p r e v i o us s t a n d a r d ( M P E G 2 ) .
T h e H . 2 6 4 e n c o d i n g a n d d e c o d i n g p r o c e s s i n g a r e s h o w n i n F i g. 1 .
( 3 ) 訂 正 箇 所 : F r o m p a g e 3 l i n e 5 t o p a g e 4 l i n e 1 2 i n t h e o r i g i n a l t h e s i s 訂 正 内 容 : 記 述 の 削 除
具 体 的 内 容 :
以 下 の サ ブ セ ク シ ョ ン を 削 除 し た 。
1.2.1 Hybrid video coding
M o s t o f t h e v i d e o c o d i n g s t a n d a r d s t o d a y, i n c l u d i n g H . 2 6 4 a n d M P E G - 2 , a r e b a s e d o n h yb r i d v i d e o c o d i n g— v i d e o i s c o m p r e s s e d u s i n g a
…(中 略) …
D e s p i t e t h a t s i m i l a r i t y, H . 2 6 4 a n d M P E G - 2 a r e n ’t c o m p a t i bl e . H o w e v e r, t h e s i m i l a r i t i e s a l l o w l o w - c o m p l ex i t y t r a n s c o d i n g b e t w e e n t h e v i d e o f o r m a t s , w h i c h i s n e c e s s a r y i n e n v i r o nm e n t s t h a t s u p p o r t b o t h v i d e o s t a n d a r d s .
( 4 ) 訂 正 箇 所 : F r o m p a g e 4 l i n e 1 1 t o p a g e 6 l i n e 5 i n t h e o r i g i n a l t h e s i s 訂 正 内 容 : 記 述 の 訂 正
具 体 的 内 容 :
1.2.2 H.264’s key features
T h e H . 2 6 4 v i d e o c o d i n g s t a n d a r d i s f l ex i bl e a n d o ff e r s n u m e r o u s t oo l s t o s u p p o r t a r a n g e o f a p p l i c a t i on s w i t h l o w - a n d h i gh - b i t r a t e r e q u i r e m e n t s .
…(中 略) …
p r e d i c t i o n , p r e d i c t i v e [ P ] c o d e d f r a m e s f o r m p r e d i c t i o n u s i n g p r e v i o u s l y c o d e d f r a m e s , a n d b i - p r e d i c t i v e [ B] f r a m e s u s e t w o p r e v i o u s l y c o d e d f r a m e s t o f o r m p r e d i c t i o n . )
1 . 2 . 2 . 1 E n t r o p y d e c o d e r
E n t r o p y c o d i n g r e f e r s t o t h e e n c o d i n g o f p a r a m e t e r s , c o e ff i c i e n t s , o r o t h e r n um e r i c v a l u e s u s i n g b i n a r y c o d e s . E n t r o p y e n c o d e r s a t t e m p t t o r e d u c e t h e s t a t i s t i c a l r e d u n d a n c i e s i n c o m p r e s s e d v i d e o .
…(中 略) …
T h e s e V LC t a b l e s a r e d e v e l o p e d u s i n g s t a t i s t i c a l m o d e l s t o gi v e a go o d p e r f o r m a n c e f o r a ge n e r a l c a s e . F i x e d V LC t a b l e s a r e e a s y t o i m p l e m e n t b u t c a n ’t f u l l y e x pl o i t s t a t i s t i c a l r e d u n d a n c i e s .
1 . 2 . 2 . 2 I n t r a f r a m e p r e d i c t i o n
H . 2 6 4 e x pl o i t s s p a t i a l r e d u n d a n c i e s b e t t e r t h a n M P E G - 2 b y a l l o w i n g i nt r a f r a m e p r e d i c t i o n . A n M B i s c o d e d a s a n i nt r a - M B w h e n t e m p o r a l
…(中 略) …
T h e s e i n t r a p r e d i c t i o n m o d e s p e r f o r m w e l l w h e n a p i c t u r e c o n t a i n s
d i r e c t i o n a l s t r u c t u r e s . T h e d i ff e r e n c e b e t w e e n t h e c u r r e n t a n d p r e d i c t e d b l o c k s i s t h e n e n c o d e d . Wi t h t h e i n t r a f r a m e p r e d i c t i o n , t h e i n t r a - M B s c a n b e e n c o d e d m o r e e ff i c i e n t l y c o m p a r e d t o M P E G - 2 , w h i c h d o e s n ’t s u p p o r t i nt r a f r a m e p r e d i c t i o n .
F i g. 2 . In t r a p r e d i c t i o n i n H . 2 6 4 . ( a ) P r e d i c t i on s a m p l e s f o r a 4 x 4 bl o c k . ( b ) D i r e c t i o n s f o r p r e d i c t i o n m o d e s f o r 4 x 4 a n d 8 x 8 b l o c k s
1 . 2 . 2 . 3 I n t e r f r a m e p r e d i c t i o n
In t e r p r e d i c t i o n c o d i n g u s e s m o t i o n r e d u n d a n c y a n d m o t i o n e s t i m a t i o n a n d c o m p e n s a t i on i n c o n t i n u o u s f r a m e s . T h e m o t i o n c o m p e n s a t i o n o f H . 2 6 4 s u p po r t s m os t o f t h e k e y f e a t u r e s o f t h e p r e v i o u s v i d e o c o d i n g s t a n d a r d , a n d a d d s m o r e f u n c t i o n s f l ex i bl y. In a d d i t i o n t o s u p po r t i n g P f r a m e s a n d B f r a m e s , H . 2 6 4 a l s o s u p po r t s a n e w i n t e r f l o w t r a n s m i s s i o n f r a m e , S P f r a m e . T h e b i t s t r e a m c o n t a i ns S P f r a m e s , w h i c h c a n q u i c k l y s w i t c h b e t w e e n s t r e a m s wi t h s i m i l a r c o n t e n t s b u t d i ff e r e n t c o d e r a t e s , a n d s u p p o r t r a n d o m a c c e s s a n d f a s t p l a yb a c k m o d e . T h e m o t i o n e s t i m a t i on o f H . 2 6 4 h a s t h e f o l l o w i n g 4 c h a r a c t e r i s t i c s :
1 > M a c r o b l o c k s e gm e n t a t i o n o f d i ff e r e n t s i z e s a n d s h a p e s 2 > H i gh p r e c i s i o n s u b p i x e l m o t i o n c o m p e n s a t i o n
3 > M ul t i f r a m e p r e d i c t i o n 4 > B l o c k f i l t e r
F i g . 3 . S u b b l o c k s o f a m a c r o b l o c k i n i n t e r p r e d i c t i o n
1.2.1 H.264’s key features
H . 2 6 4 , l i k e p r e v i o u s s t a n d a r d s , i s a h yb r i d c o di n g m o d e o f D P C M pl u s t r a n s f o r m c o d i n g. B u t i t u s e s " r e gr e s s i o n b a s i c " s i m pl e d e s i gn , w i t h o ut m a n y o p t i o ns , t o o bt a i n m u c h b e t t e r c o m p r e s s i o n p e r f o r m a n c e t h a n H . 2 6 3 + + ; s t r e n gt h e n t h e a d a p t a b i l i t y t o v a r i o u s c h a n n e l s , t h e u s e o f
" n e t w o r k f r i e n d l y" s t r u c t u r e a n d g r a m m a r, i s c o n d u c i v e t o t h e p r o c e s s i n g o f bi t e r r o r a n d p a c k e t l o s s ; t h e a p pl i c a t i o n t a rge t r a n ge i s wi d e , t o m e e t d i ff e r e n t r a t e s , d i ff e r e n t R e s o l u t i o n a n d r e q u i r e m e n t s f o r d i ff e r e n t t r a n s m i s s i o n ( s t o r a ge ) o c c a s i o n s .
Te c h n i c a l l y, i t c o n c e n t r a t e s o n t h e m e r i t s o f p a s t s t a n d a r d s a n d a b s o r b s t h e ex p e r i e n c e a c c u m ul a t e d i n s t a n d a r d s e t t i n g. C o m p a r e d w i t h H . 26 3 V 2 ( H . 2 6 3 + ) o r M P E G - 4 s i m p l e c l a s s e s ( S i m p l e P r o f i l e ) , H . 2 6 4 c a n s a v e u p t o 5 0 % o f t h e c o d e r a t e a t m o s t di gi t a l r a t e s w h e n us i n g t h e b e s t e n c o d e r s i m i l a r t o t h e a b o v e c o d i n g m e t h o d . H . 2 6 4 c a n c o n t i n u o u s l y p r o v i d e h i gh e r v i d e o q u a l i t y a t a l l r a t e s . H . 2 6 4 c a n w o r k i n l o w d e l a y m o d e t o a d a p t t o r e a l - t i m e c o m m u n i c a t i o n a p p l i c a t i on s ( s u c h a s v i d e o c o n f e r e n c i n g) , a n d c a n w o r k w e l l i n a p p l i c a t i on s w i t h o u t d e l a y c o n s t r a i n t s , s u c h a s v i d e o s t o r a ge a n d s e r v e r b a s e d v i d e o s t r e a m i n g a p p l i c a t i o n s . H . 2 6 4 p r o v i d e s t h e t o ol s n e e d e d t o h a n d l e p a c k e t l o s s i n p a c k e t t r a n s p o r t n e t w o r k , a s w e l l a s t o ol s f o r d e a l i n g w i t h b i t e r r o r s i n e r r o r p r o n e w i r e l e s s n e t w o r k s .
A t t h e s ys t e m l e v e l , H .2 6 4 h a s p r o p o s e d a n e w c o n c e p t f o r c o n c e p t u a l s e gm e n t a t i o n b e t w e e n t h e Vi d e o C o d i n g La ye r ( V C L) a n d t h e n e t w o r k ex t r a c t i o n l a ye r ( N e t w o r k A b s t r a c t i o n La ye r, N A L) . T h e f o r m e r i s t h e ex p r e s s i o n o f t h e c o r e c o n t e n t o f t h e v i d e o c o n t e n t , a n d t h e l a t t e r i s t h e d e l i v e r y o f a s p e c i f i c t yp e o f n e t w o r k . T h e s t r u c t u r e f a c i l i t a t e s i n f o r m a t i o n e n c a p s u l a t i o n a n d b e t t e r p r i o r i t y c o n t r o l o f i n f o r m a t i o n .
1 . 2 . 1 . 1 E n t r o p y d e c o d e r
In t h e H . 2 6 4 , t w o d i ff e r e n t e n t r o p y c o d i n g m e t h o d s a r e a d o p t e d : U n i v e r s a l Va r i a b l e Le n gt h C o d i n g ( U V LC ) a n d C o n t e x t - b a s e d A d a p t i v e B i n a r y A r i t h m e t i c C od i n g ( C A B A C ) .
In H . 2 6 3 a n d o t h e r s t a n d a r d s , d i ff e r e n t V LC c o d e s a r e u s e d a c c o r d i n g t o t h e t yp e o f d a t a t o b e c o d e d , s u c h a s t r a n s f o r m c o e ff i c i e n t a n d m ot i o n v e c t o r. Th e U V LC c o d e t a b l e i n H . 2 6 4 p r o vi d e s a s i m p l e w a y t o u s e t h e u n i fi e d v a r i a b l e l e n gt h e n c o d i n g t a b l e , n o m a t t e r w h a t t yp e o f d a t a t h e s ym b o l r e p r e s e n t s . It s a d v a n t a g e s a r e s i m p l e ; t h e d i s a d v a n t a ge i s t h a t a s i n gl e c o d e t a b l e i s d e r i v e d f r o m t h e p r o b a b i l i t y s t a t i s t i c a l d i s t r i b ut i o n m o d e l , w i t h o u t c o n s i d e r i n g t h e c o r r e l a t i o n b e t w e e n t h e c o d e d s ym b o l s , a n d t h e e ff e c t i s n o t v e r y g o o d a t m e d i u m h i gh b i t r a t e .
T h e r e f o r e , a n o p t i o n a l C A B A C m e t h o d i s a l s o p r o v i d e d i n H . 2 6 4 . A r i t hm e t i c c o d i n g e n a b l e s b o t h s i d e s o f c o d i n g a n d d e c o d i n g t o u s e a l l p r o b a b i l i t y m o d e l s o f s yn t a c t i c e l e m e n t s ( t r a n s f o r m c o e ff i c i e n t s a n d m ot i o n v e c t o r s ) . In o r d e r t o i m p r o v e t h e e ff i c i e n c y o f a r i t hm e t i c c o d i n g, t h e b a s i c p r o b a b i l i t y m o d e l c a n a d a p t t o t h e s t a t i s t i c a l c h a r a c t e r i s t i c s c h a n g e d w i t h t h e v i d e o f r a m e s t h r o u gh t h e p r o c e s s o f c o n t e n t m od e l i n g.
C on t e n t m o d e l i n g p r o v i d e s c o n d i t i o n a l p r o b a b i l i t y e s t i m a t i o n o f c o d e d s ym b o l s . U s i n g a p p r o p r i a t e c o n t e n t m o d e l s , t h e c o r r e l a t i o n b e t w e e n s ym b o l s c a n b e r e m o v e d b y s e l e c t i n g t h e c o r r e s p o n d i n g p r o b a b i l i t y m o d e l s o f c o d e d s ym b o l s a d j a c e n t t o t h e c o d e d s ym b o l s , a n d d i ff e r e n t s yn t a c t i c e l e m e n t s us u a l l y m a i n t a i n d i ff e r e n t m o d e l s .
1 . 2 . 1 . 2 I n t r a f r a m e p r e d i c t i o n
In t r a c o d i n g i s u s e d t o r e d u c e s p a t i a l r e d u n d a n c y o f i m a g e s . In o r d e r t o i m p r o v e t h e i n t r a c o d i n g e ff i c i e n c y o f H . 2 6 4 , t h e a d j a c e n t m a c r o b l o c k s u s u a l l y c o n t a i n s i m i l a r a t t r i b u t e s i n a gi v e n f r a m e b y m a k i n g f u l l us e o f t h e s p a t i a l c o r r e l a t i o n o f n e i gh b o r i n g m a c r o b l o c k s . T h e r e f o r e , w h e n a gi v e n m a c r o b l o c k i s c o d e d , i t c a n b e p r e d i c t e d f i r s t b y t h e s u r r o u n d i n g m a c r o b l o c k , a n d t h e n t h e d i ff e r e n c e b e t w e e n t h e p r e d i c t e d v a l u e a n d t h e a c t u a l v a l u e i s e n c o d e d s o t h a t t h e b i t r a t e c a n b e gr e a t l y r e d u c e d r e l a t i v e t o t h e d i r e c t e n c o d i n g o f t h e f r a m e .
H . 2 6 4 p r o v i d e s 9 m o d e s f o r 4 × 4 p i x e l m a c r o b l o c k p r e d i c t i o n , i n c l ud i n g 1 D C p r e d i c t i o n a n d 8 d i r e c t i o n p r e d i c t i o n. H . 2 6 4 a l s o s up p o r t s 1 6×1 6 i n t r a f r a m e c o d i n g f o r f l a t a r e a s w i t h l i t t l e s p a t i a l i n f o r m a t i o n i n t h e i m a ge . F i g. 2 a s h o w s t h e n e i gh b o r i n g p i x e l s u s e d t o p r e d i c t a 4×4 b l o c k . F i g. 2 b s h o w s t h e e i gh t p r e d i c t i o n d i r e c t i o n s .
1
3
7 0 5
4 6
a b c d
8e f g h i j k l m n o p I
J K L
A B C D
M E F G H
( a ) ( b )
F i g. 2 . In t r a p r e d i c t i o n i n H . 2 6 4 . ( a ) P r e d i c t i on s a m p l e s f o r a 4 x 4 bl o c k . ( b ) D i r e c t i o n s f o r p r e d i c t i o n m o d e s f o r 4 x 4 a n d 8 x 8 b l o c k s
1 . 2 . 1 . 3 I n t e r f r a m e p r e d i c t i o n
In t e r p r e d i c t i o n c o d i n g u s e s m o t i o n r e d u n d a n c y a n d m o t i o n e s t i m a t i o n a n d c o m p e n s a t i on i n c o n t i n u o u s f r a m e s . T h e m o t i o n c o m p e n s a t i o n o f H . 2 6 4 s u p po r t s m os t o f t h e k e y f e a t u r e s o f t h e p r e v i o u s v i d e o c o d i n g s t a n d a r d , a n d a d d s m o r e f u n c t i o n s f l ex i bl y. In a d d i t i o n t o s u p po r t i n g P f r a m e s a n d B f r a m e s , H . 2 6 4 a l s o s u p po r t s a n e w i n t e r f l o w t r a n s m i s s i o n f r a m e , S P f r a m e . T h e b i t s t r e a m c o n t a i ns S P f r a m e s , w h i c h c a n q u i c k l y s w i t c h b e t w e e n s t r e a m s wi t h s i m i l a r c o n t e n t s b u t d i ff e r e n t c o d e r a t e s , a n d s u p p o r t r a n d o m a c c e s s a n d f a s t p l a yb a c k m o d e . T h e m o t i o n e s t i m a t i on o f H . 2 6 4 h a s t h e f o l l o w i n g 4 c h a r a c t e r i s t i c s :
1 > M a c r o b l o c k s e gm e n t a t i o n o f d i ff e r e n t s i z e s a n d s h a p e s 2 > H i gh p r e c i s i o n s u b p i x e l m o t i o n c o m p e n s a t i o n
3 > M ul t i f r a m e p r e d i c t i o n 4 > B l o c k f i l t e r
F i g . 3 . S u b b l o c k s o f a m a c r o b l o c k i n i n t e r p r e d i c t i o n
( 5 ) 訂 正 箇 所 : F r o m p a g e 6 l i n e 6 t o p a g e 7 l i n e 1 4 i n t h e o r i g i n a l t h e s i s 訂 正 内 容 : 記 述 の 訂 正
具 体 的 内 容 :
1.2.2.3 I n t e r f r a m e p r e d i c t i o n
T h e i n t e r f r a m e p r e d i c t i o n i s t h e t r a d i t i o n a l m o t i o n - c o m p e n s a t e d p r e d i c t i o n s u p p o r t e d b y e a r l i e r M P E G vi d e o c o d i n g s t a n d a r d s i n c l u di n g M P E G - 2 . T h e H . 2 6 4 s t a n d a r d e x t e n d s t hi s i n s e v e r a l w a ys :
…(中 略) …
T h e a l go r i t h m p r e d i c t s a bi - p r e d i c t i v e M B ( B M B ) i n H . 2 6 4 f r o m a n y t w o p r e d i c t i o n s a s o p p os e d t o t h e o n e f o r w a r d a n d o n e b a c k w a r d p r e d i c t i o n M P E G - 2 v i d e o c o d i n g u s e s . F u r t h e r m o r e , a B pi c t u r e c a n a l s o b e u s e d a s a r e f e r e n c e p i c t u r e . T h e s e m o t i o n c o m p e n s a t i o n t oo l s , t h o u gh c o m p l e x , c o n t r i b ut e s i gn i f i c a n t c o di n g ga i n s i n H . 2 6 4 .
1.2.2.3 I n t e r f r a m e p r e d i c t i o n
In t e r p r e d i c t i o n c o d i n g u s e s m o t i o n r e d u n d a n c y a n d m o t i o n e s t i m a t i o n a n d c o m p e n s a t i on i n c o n t i n u o u s f r a m e s . T h e m o t i o n c o m p e n s a t i o n o f H . 2 6 4 s u p po r t s m os t o f t h e k e y f e a t u r e s o f t h e p r e v i o u s v i d e o c o d i n g s t a n d a r d , a n d a d d s m o r e f u n c t i o n s f l ex i bl y. In a d d i t i o n t o s u p po r t i n g P f r a m e s a n d B f r a m e s , H . 2 6 4 a l s o s u p po r t s a n e w i n t e r f l o w t r a n s m i s s i o n f r a m e , S P f r a m e . T h e b i t s t r e a m c o n t a i ns S P f r a m e s , w h i c h c a n q u i c k l y s w i t c h b e t w e e n s t r e a m s wi t h s i m i l a r c o n t e n t s b u t d i ff e r e n t c o d e r a t e s , a n d s u p p o r t r a n d o m a c c e s s a n d f a s t p l a yb a c k m o d e . T h e m o t i o n e s t i m a t i on o f H . 2 6 4 h a s t h e f o l l o w i n g 4 c h a r a c t e r i s t i c s :
5 > M a c r o b l o c k s e gm e n t a t i o n o f d i ff e r e n t s i z e s a n d s h a p e s 6 > H i gh p r e c i s i o n s u b p i x e l m o t i o n c o m p e n s a t i o n
7 > M ul t i f r a m e p r e d i c t i o n 8 > B l o c k f i l t e r
( 6 ) 訂 正 箇 所 : F r o m p a g e 7 l i n e 1 5 t o p a g e 1 0 l i n e 8 i n t h e o r i g i n a l t h e s i s 訂 正 内 容 : 記 述 の 訂 正
具 体 的 内 容 :
1.2.2.4 T r a n s f o r m c o d i n g
H . 2 6 4 a p p l i e s t h e t r a n s f o r m c o di n g t o t h e p r e d i c t i on r e s i d u a l , a s i n M P E G - 2 . T h e t r a n s f o r m i t u s e s , h o w e v e r, i s a 4 × 4 o r 8 × 8 i nt e g e r t r a n s f o r m i n s t e a d o f t h e 8 × 8 di s c r e t e c o s i n e t r a n s f o r m ( D C T ) t r a d i t i o n a l l y u s e d i n m a n y v i d e o c o d i n g s t a n d a r d s . T h e i n t e ge r t r a n s f o r m i s d e s i gn e d s u c h t h a t t h e t r a n s f o r m a t i o n i n v o l v e s on l y a d d i t i o n s a n d s h i f t o p e r a t i o n s , a n d n o m i s m a t c h e x i s t s b e t w e e n t h e f o r w a r d a n d i n v e r s e t r a n s f o r m s .
T h i s r e d u c e s t h e c o m p l ex i t y s i gn i f i c a n t l y c o m p a r e d t o t h e D C T M P E G - 2 u s e s . Th e s m a l l e r t h e t r a n s f o r m ’s s i z e , c o m p a r e d t o t h e 8 × 8 D C T i n M P E G - 2 , t h e m o r e i t r e d u c e s t h e b l o c k n o i s e i n t h e d e c o d e d v i d e o . T h e t r a n s f o r m s i z e u s e d i n H . 2 6 4 e n c o d i n g i s i n d e p e n d e n t o f t h e bl o c k s i z e u s e d f o r m ot i o n c o m p e n s a t i o n o r i nt r a p r e d i c t i o n.
1.2.2.5 D e b l o c k i n g f i l t e r
D e b l o c k i n g i m p r o v e s t h e p e r c e p t u a l q u a l i t y a n d t h e p r e d i c t i o n e ff i c i e n c y i n i n t e r f r a m e s . H . 2 6 4 a p p l i e s a d e b l o c ki n g f i l t e r t o t h e bl o c k e d ge s , ex c e p t p i c t u r e b o u n d a r y a n d b l o c k b o u n d a r i e s f o r w h i c h d e b l o c k i n g i s t u r n e d o ff . T h e t r a n s f o r m ’s s i z e ( 4 × 4 o r 8 × 8 ) d e t e r m i n e s t h e bl o c k s i z e u s e d f o r d e b l o c k i n g.
In e a c h p i c t u r e , H . 2 6 4 a p pl i e s t h e d e b l o c k i n g t o M B s i n t h e r a s t e r s c a n o r d e r : l e f t t o ri gh t a n d t o p t o b o t t o m . T h e v e r t i c a l e d g e s a r e d e b l o c k e d f i r s t a n d t h e n t h e h o r i z o n t a l e d g e s . T h e d e b l o c k i n g p r o c e s s i s a p p l i e d a f t e r a l l o f t h e M B s h a v e b e e n r e c o n s t r u c t e d . T h i s i m p l i e s t h a t t h e c a n d i d a t e pi x e l s u s e d i n i n t r a p r e d i c t i o n a r e t h e d e c o d e d pi x e l s b e f o r e t h e d e b l o c k i n g o p e r a t i o n .
M P E G - 2 d o e s n ’t s u p p o r t d e b l o c k i n g.
1.3 The Frame Rate Conversion
F r a m e r a t e c o n v e r s i o n i s a n i m p o r t a n t a s p e c t o f d i gi t a l v i d e o p r o c e s s i n g: H D T V, c e l l p ho n e , i n t e r n e t b r o a d c a s t a n d d i gi t a l m ov i e s a r e a s s o c i a t e d w i t h a w i d e r a n ge o f p r o t o c o l s f o r v i d e o di s p l a y. E a c h u s e s a s p e c i f i c c o d e c t o d i gi t i z e a n d c o m p r e s s vi d e o d a t a . T h e f r a m e r a t e i s a f e a t u r e o f t h e c o d e c . A k e y p r o b l e m o c c u r s w h e n t h e r e i s a n e e d t o t r a n s l a t e o n e vi d e o s t r e a m e n c o d e d w i t h a s p e c i f i c f r a m e r a t e t o a d i ff e r e n t f r a m e r a t e . S o i t i s n e c e s s a r y f o r c o n v e r s i o n b e t w e e n v a r i o u s d i s p l a y f o r m a t s w i t h d i ff e r e n t f r a m e r a t e s .
1.4 Multiview Video Coding (MVC)
M ul t i vi e w v i d e o c o d i n g ( M V C ) b e c o m e s a h o t r e s e a r c h t o p i c f o l l o w i n g t h e n e w d e v e l o p m e n t o f 3 D - T V [ 7] a n d f r e e v i e w p o i n t T V ( F T V ) [ 8] . C om p a r i n g w i t h t h e s t e r e o - v i e w 3 D m o vi e s i n t h e c i n e m a , m u l t i v i e w a n d f r e e v i e w p o i n t v i d e o s r e p r e s e n t di ff e r e n t v i e w s t o t h e a u d i e n t s w h e n
…(中 略) …
b e t w e e n v i e w s s h o u l d b e f u r t h e r r e d u c e d , i n o r d e r t o m a k e t h e r e a l - t i m e t r a n s m i s s i o n p os s i b l e . To i m p r o v e t h e c o d i n g e ff i c i e n c y f o r t h e w h o l e m ul t i vi e w v i d e o t r a n s m i s s i o n s ys t e m , d e p t h m a p i s i nt r o d u c e d t o r e p r e s e n t s t h e r e l a t i v e d i s t a n c e o f e a c h v i d e o o b j e c t t o t h e r e c o r d i n g c a m e r a .
1.2.2.4 T r a n s f o r m c o d i n g
In t h e a s p e c t o f t r a n s f o r m a t i o n , H . 2 6 4 u s e s a D C T b a s e d t r a n s f o r m a t i o n b a s e d o n 4×4 p i x e l b l o c k s , b u t u s e s a n i nt e ge r b a s e d s p a t i a l t r a n s f o r m a t i o n, a n d t h e r e i s n o i n v e r s e t r a n s f o r m a t i o n b e c a u s e o f t h e e r r o r o f t h e t r a d e - o ff . T h e t r a n s f o r m a t i on m a t r i x i s s h o w n i n F i gu r e 5 . C om p a r e d w i t h t h e f l o a t i n g- p o i nt o p e r a t i o n , t h e i n t e ge r D C T t r a n s f o r m a t i o n c a n c a u s e s o m e a d d i t i o n a l e r r o r s , b u t b e c a u s e t h e q u a n t i z a t i o n e r r o r a f t e r t h e D C T t r a n s f o r m a l s o ex i s t s , t h e q u a n t i z a t i o n e r r o r c a u s e d b y t h e i nt e ge r D C T t r a n s f o r m i s n o t m u c h l e s s t h a n t h a t . In a d d i t i o n , t h e i n t e g e r D C T t r a n s f o r m a l s o h a s t h e a d v a n t a ge o f r e d u c i n g c o m p ut a t i o n c o m p l ex i t y a n d c o m p l ex i t y, a n d i s a d v a n t a ge o u s t o t h e t r a n s p l a n t a t i o n o f f i x e d - p o i nt D S P.
1.2.2.5 D e b l o c k i n g f i l t e r
H . 2 6 4 d e f i n e s a n a d a p t i v e b l o c k r e m o v a l f i l t e r, w h i c h c a n h a n d l e t h e h o r i z o n t a l a n d v e r t i c a l b l o c k e d ge s i n t h e p r e d i c t i o n l o o p , gr e a t l y r e d u c i n g t h e c u b e e ff e c t .
1.3 The Frame Rate Conversion
F r a m e r a t e i s u s e d t o m e a s u r e t h e n u m b e r o f d i s p l a y f r a m e s . T h e s o - c a l l e d m e a s u r e m e n t u n i t i s F r a m e s p e r S e c o n d ( F P S ) o r " H e r t z " ( H z ) p e r s e c o n d .
B e c a u s e o f t h e s p e c i a l p h ys i o l o gi c a l s t r u c t u r e o f h u m a n e ye s , i f t h e f r a m e r a t e o f t h e p i c t u r e i s a b o v e 1 6 , i t w i l l b e c o n s i d e r e d t o b e c o h e r e n t . T h i s p h e n o m e n o n i s c a l l e d v i s u a l p e r s i s t e n c e . T h a t 's w h y m o v i e f i l m s a r e c a p t u r e d o n e f r a m e b y o n e f r a m e a n d t h e n b r o a d c a s t q u i c k l y.
F r a m e r a t e c o n v e r s i o n i s a v e r y i m p o r t a n t t e c h n o l o g y, w h e n w e n e e d t o t r a n s l a t e a v i d e o s t r e a m w i t h a s p e c i f i c f r a m e r a t e t o a d i ff e r e n t f r a m e r a t e . It i s n e c e s s a r y f o r c o n v e r s i o n a m o n g v a r i o u s di s p l a y f o r m a t s wi t h d i ff e r e n t f r a m e r a t e s .
1.4 Multiview Video Coding (MVC)
M ul t i vi e w v i d e o C od i n g i s a n e w t yp e o f v i d e o t e c h n o l o g y w i t h s t e r e o s c o p i c p e r c e p t i o n a n d i n t e r a c t i v e o p e r a t i o n f u n c t i o n. It i s a v i d e o s i gn a l o b t a i n e d b y a gr o u p o f p a r a l l e l a n d c o n v e rgi n g c a m e r a a r r a ys .
In 2 0 0 1 , M P E G s e t u p a 3 D T V [ 7] w o r k i n g gr o u p , w h o s e p r i m a r y t a s k w a s t o d e f i n e t h e s c o p e a n d a p p l i c a t i o n s c e n a r i o s o f t h e 3 D a u d i o a n d v i d e o f i e l d [ 8] , a n d t o s e t s t a n d a r d s f o r t h e k e y t e c h n o l o gi e s . M u l t i v i e w v i d e o i s a r a p i dl y r i s i n g f i e l d o f r e s e a r c h i n r e c e n t ye a r s , u n d e r t h e f r a m e w o r k o f 3 D T V. In t h e a p p l i c a t i o n o f v i d e o s u r v e i l l a n c e , m u l t i v i e w v i d e o c o di n g t e c h n o l o g y h e l p s t o r e a l i z e m ul t i vi e w s t e r e o m o n i t o r i n g , m ul t i c a m e r a l i n k a ge a n d o t h e r a p p l i c a t i o ns .
T h e i m p l e m e n t a t i o n o f m u l t i - v i e w v i d e o c o d i n g ( M V C ) [ 9] c a n b e b a s e d o n a t r a d i t i o n a l h yb r i d c o d i n g f r a m e w o r k ( s u c h a s H . 2 6 4 ) , o r a n e w
ge n e r a t i o n o f vi d e o c o di n g t o o l s , s u c h a s w a v e l e t c o d i n g a n d d i s t ri b u t e d c o d i n g. T h e c o r r e l a t i o n b e t w e e n p o i n t s o f v i e w i s a n i m p o r t a n t f e a t u r e o f m ul t i - v i e w vi d e o s e q u e n c e . It h a s a g r e a t r e l a t i o n s h i p w i t h t h e f o r m o f t h e c a m e r a a r r a y, t h e d i s t a n c e o f t h e c a m e r a , t h e d i s t a n c e b e t w e e n t h e c a m e r a a n d t h e p h ot o gr a p h e d o b j e c t , a n d i t d i r e c t l y r e f l e c t s t h e p a r a l l ax o f t h e t w o i m a ge s o f t h e a d j a c e n t vi e w a t t h e s a m e t i m e .
B e c a u s e o f t h e l a rg e a m o u nt o f d a t a r e d u n d a n c y i n t h e s ys t e m , h o w t o o rg a n i z e a n d c o m p r e s s d a t a b e c o m e s a n i m p o r t a n t r e s e a r c h t o p i c . S o t h e c u r r e n t M V C f o c u s e s o n h o w t o i m p r o v e t h e e ff i c i e n c y o f c o m p r e s s i o n a n d t h e a b i l i t y t o r e a d r a n d o m , a n d t h e s e s t u di e s c a n b e c l a s s i f i e d f r o m t w o m a i n a s p e c t s , o n e i s t h e p r e d i c t i o n s t r u c t u r e , a n d t h e t w o i s t h e p r e d i c t i o n t o ol . T h e p r e d i c t i o n t o ol r e f e r s t o t h e s p a t i a l p r e d i c t i o n m e t h o ds b e t w e e n t h e m u l t i s t r e a m vi e w, i n c l u d i n g l um i n a n c e c o m p e n s a t i o n , p a r a l l ax / m ot i o n c o m p e n s a t i o n, 2 D d i r e c t p r e d i c t i o n , a n d v i e w i nt e r p o l a t i o n . B e c a u s e t h e c o r r e l a t i o n u t i l i z a t i o n b e t w e e n t h e p e r s p e c t i v e s i s t h e m a i n f a c t o r t h a t d e t e r m i n e s t h e e ff i c i e n c y o f M V C c o m p r e s s i o n , t h e f u r t h e r i m p r o v e m e n t o f t h e M V C [ 1 0] [ 11] c o m p r e s s i o n e ff i c i e n c y d e p e n d s o n t h e d e s i gn o f t h e n e w p r e d i c t i o n t o o l . T h e p r e d i c t i o n s t r u c t u r e r e f e r s t o t h e m ut u a l p r e d i c t i o n r e f e r e n c e r e l a t i o n s hi p b e t w e e n m ul t i - v i e w v i d e o s p a t i o - t e m p o r a l f r a m e s . It r e p r e s e n t s w h i c h f r a m e s a r e p r o c e s s e d t o e l i m i n a t e t h e s p a t i ot e m p o r a l r e d u n d a n c y o f t h e d a t a , s o w h e t h e r t h e t r a d i t i o n a l m i x e d c o d i n g, w a v e l e t , o r d i s t r i b u t e d c o di n g c a n ’t b e s e p a r a t e d f r o m t h e d e s i gn o f t h e p r e d i c t i o n r e l a t i o ns h i p . In a d d i t i o n , p r e d i c t i o n s t r u c t u r e i s a n i m p o r t a n t i n d ex f o r d e t e r m i ni n g r a n d o m r e a d p e r f o r m a n c e , f a s t d e c o d i n g p e r f o r m a n c e a n d n e t w o r k t r a n s m i s s i o n c o s t , a n d h a s a t t r a c t e d w i d e a t t e n t i o n i n M V C r e s e a r c h . T h e a p p l i c a t i o n o f M V C c o d e s t r e a m t o t h e t r a d i t i o n a l f l o w t r a n s m i s s i on f r a m e w o r k w i l l p r o d u c e v i s u a l a n gl e s w i t c h i n g, s o h o w t o d e s i gn a n e w t yp e o f s w i t c hi n g f r a m e a n d h o w t o a n a l yz e t h e i n f l u e n c e o f h a n d o ff o n t h e p r e d i c t i o n s t r u c t u r e a r e a l s o o f gr e a t s i gn i f i c a n c e [ 1 2] .
T h e m a i n p r o b l e m o f t h e c u r r e n t m u l t i - v i e w v i d e o c o m p r e s s i on i s t h e c o n t r a d i c t i o n b e t w e e n t h e d a t a c o m p r e s s i o n e ff i c i e n c y a n d t h e r a n d o m r e a d i n g a b i l i t y. T h e m u l t i - v i e w v i d e o i t s e l f h a s a l a rge a m o u nt o f d a t a . In t h e t r a n s m i s s i o n a p p l i c a t i o n o r l o c a l f a s t d e c o d i n g, t h e u s e r d o e s n o t n e e d a l l t h e d a t a i n f o r m a t i o n . T h e r e f o r e , t h e d e p e n d e n c e o f t h e d a t a i s s m a l l , b u t i t i s j u s t a s w e l l a s c o m p r e s s i o n . It i s a c o n t r a d i c t i o n . M u l t i v i e w v i d e o i t s e l f i s a v e r y s t r o n g c o r r e l a t i o n s o u r c e , a n d t h e t h e o r y o f m u l t i - s o u r c e c o d i n g b a s e d o n d i s t r i b u t e d c o d i n g m a y b e t h e o r e t i c a l l y a n a l yz e d a n d d i s c u s s e d . M ul t i s o u r c e c o d i n g c a n t h e o r e t i c a l l y d e c o d e t h e t r a d e - o ff b e t w e e n c o s t , r a n d o m r e a d a b i l i t y a n d c o d i n g e ff i c i e n c y o f M V C , s o i t h a s gr e a t p o t e n t i a l i n t h e f i e l d o f M VC .
( 7 ) 訂 正 箇 所 : F r o m p a g e 1 0 l i n e 8 t o p a g e 1 1 l i n e 2 0 i n t h e o r i g i n a l t h e s i s 訂 正 内 容 : 記 述 の 訂 正
具 体 的 内 容 :
1.5 Depth Image Based Rendering (DIBR)
T h e i nt e r e s t i n 3 D vi d e o a n d f r e e v i e w p o i n t t e l e v i s i on i s c o n s t a n t l y i n c r e a s i n g a n d h a s l e d t o i m p r o v e m e n t s i n a l l s t a ge s o f t h e p r o c e s s i n g c h a i n . A u t o - s t e r e o s c o p i c d i s p l a ys p r o v i d e a 3 D i m p r e s s i o n t o a n o b s e r v e r
…(中 略) …
T h e i n f o r m a t i o n o f a n o c c l u d e d r e gi o n i n t h e o r i gi n a l i m a ge i s l o s t i n t h e v i r t u a l i m a ge a n d n e e d s t o b e c o n c e a l e d . T h e r e f o r e , a h o l e - f i l l i n g t e c h n i q u e i s n e c e s s a r y a n d i n - p a i n t i n g i s t h e m o s t p o p u l a r m e t h o d f o r s ol v i n g s u c h h o l e - f i l l i n g p r o b l e m s .
1.5 Depth Image Based Rendering (DIBR)
Wi t h t h e e n h a n c e m e n t o f p r o c e s s o r c a p a b i l i t y a n d t h e gr a d u a l m a t u r i t y o f 3 D d i s p l a y t e c h n o l o g y, t h e a p p l i c a t i o n o f m u l t i - v i e w v i d e o w i l l b e m o r e a n d m o r e ex t e n s i v e . U n l i k e t r a d i t i o n a l t w o d i m e n s i o n a l v i d e o , m ul t i - v i e w 3 D vi d e o c a n a l l o w vi e w e r s t o v i e w v i d e o c o n t e n t f r o m v a r i o u s a n gl e s t o m a k e i t m o r e r e a l i s t i c a n d i m m e r s i v e . B e c a u s e t h e n u m b e r o f c a m e r a s i s l i m i t e d , t h e ge n e r a t i o n o f a n y v i e w d e t e r m i n e d b y t h e v i e w p o i nt i s o n e o f t h e k e y p r o b l e m s i n t h e m u l t i - v i e w v i d e o a p pl i c a t i o n , w h i c h i s c a l l e d t h e d e n s e o r r e n d e r i n g t e c h n o l o g y o f t h e v i e w p o i n t .
T h e d e p t h i m a ge b a s e d r e n d e r i n g t e c h n o l o g y d e v e l o p e d i n r e c e n t ye a r s h a s a r o u s e d gr e a t i n t e r e s t a n d h a s b e c o m e a h o t t o p i c i n t h e f i e l d o f c o m p ut e r gr a p h i c s a n d vi r t u a l r e a l i t y. In t e r m s o f i m a ge r e a l i s m a n d r e n d e r i n g s p e e d , i m a ge r e n d e r i n g t e c h n o l o g y h a s t h e a d v a n t a g e t h a t t h e t r a d i t i o n a l ge o m e t r y b a s e d r e n d e r i n g t e c h n o l o g y i s i n c o m p a r a b l e . D e p t h b a s e d i m a g e r e n d e r i n g ( D IB R ) i s a m e t h o d o f i m a ge r e n d e r i n g w h i c h i nt r o d u c e s d e p t h i n f o r m a t i o n o f t h e i m a ge . A t p r e s e n t , M P E G / J V T u s e s
" t w o - d i m e n s i o n a l v i d e o + d e p t h " 3 D v i d e o r e p r e s e n t a t i o n m e t h o d , a n d d o e s n o t n e e d t o t r a n s m i t m u l t i p l e v i e w s , b u t b y u s i n g t h e r e n d e r i n g t e c h n o l o g y b a s e d o n d e p t h i m a ge ( D IB R ) a t t h e d e c o d e r t o ge n e r a t e a 3 D s c e n e o f o n e o r m o r e v i r t u a l vi e w p o i n t s i n r e a l t i m e , p r o d u c i n g a t h r e e - d i m e n s i o n a l v i s u a l e ff e c t . T h e r e f o r e , “ v i r t u a l ” v i e w s a r e n e e d e d t o r e n d e r t o s u pp o r t f u t u r e d i s pl a ys [ 1 5 ] . A s i m p l e e x a m pl e o f d e p t h i m a g e - b a s e d v i r t u a l v i e w s yn t h e s i s i s s ho w n i n F i g. 4 . O n e m a i n p r o b l e m i s t h a t t h e r e gi o n s o c c l u d e d i n t h e o r i gi n a l v i e w m a y b e v i s i b l e i n t h e “ v i r t u a l ” v i e w [ 16 ] [ 1 7] . T h e d i s a d v a n t a ge o f e x i s t i n g m e t h o d s i s t h a t t h e hi gh q u a l i t y r e n d e r i n g c a n b e d o n e o nl y f o r s m a l l ga p s b e t w e e n t w o v i e w p o i n t s [ 1 8] - [ 2 2] .
3 - D w a r p i n g i s a k e y t e c h n i q u e u s e d i n D IB R , t h e g e n e r a l c o n c e p t o f w h i c h i s s h o w n i n F i g. 5 . In 3 - D w a r p i n g, p i x e l s i n a r e f e r e n c e i m a ge a r e b a c k - p r o j e c t e d t o t h e 3 - D s p a c e s , a n d t h e n r e - p r o j e c t e d o n t o t h e t a rge t v i e w p o i n t . A p r o b l e m i s t h a t t h e i n f o r m a t i on i n t h e v i r t u a l vi e w o c c l u d e d i n t h e o r i gi n a l vi e w m a y b e n e e d e d t o b e v i s i b l e . S o m e h ol e s w i l l t h e n a p p e a r i n t h e vi r t u a l i m a g e , w h i c h c a n b e a l s o c a l l e d z e r o - r e gi o n s . T h e i n f o r m a t i o n o f a n o c c l u d e d r e gi o n i n t h e o r i gi n a l i m a g e i s l os t i n t h e v i r t u a l i m a ge a n d n e e d s t o b e c o n c e a l e d . T h e r e f o r e , a h o l e - f i l l i n g t e c h n i q u e i s n e c e s s a r y a n d i n - p a i n t i n g i s t h e m o s t p o p u l a r m e t h o d f o r s ol v i n g s u c h h o l e - f i l l i n g p r o b l e m s .
( 8 ) 訂 正 箇 所 : F r o m p a g e 1 2 l i n e 1 t o p a g e 1 2 l i n e 7 i n t h e o r i g i n a l t h e s i s 訂 正 内 容 : 記 述 の 訂 正
具 体 的 内 容 :
1.6 Stereo Matching
T h e r e c o n s t r u c t i o n o f a s t e r e o s c e n e f r o m a p a i r o f i m a g e s t a k e n f r o m d i ff e r e n t d i r e c t i o n s i s o n e o f t h e c l a s s i c a l p r o b l e m s i n c o m p ut e r v i s i o n a r e a . A l t h o u gh t h i s t op i c h a s b e e n r e s e a r c h e d i n a l o n g h i s t o r y, i t i s o nl y i n r e c e n t ye a r s t h a t n u m e r o u s a l go r i t h m s h a v e b e e n i n t r o d u c e d , a l on g w i t h t h e h u ge d e v e l o p m e n t o f c o m p ut e r p e r f o r m a n c e a n d 3 D v i d e o m a r k e t . It w i l l c o n t i n u e t o b e a v i vi d t o pi c a n d i s e s s e n t i a l f o r m a n y a p p l i c a t i o n s l i k e r o b o t i c a n d v i r t u a l r e a l i t y.
1.6 Stereo Matching
T h i s t o pi c h a s a l r e a d y d e v e l o p e d f o r a l on g p e r i o d , b u t d e v e l o p e d f a s t a n d f a s t i n t h e r e c e n t ye a r s , b e c a u s e o f t h e d e m a n d s f r o m t h e d e v e l o p m e n t o f 3 D v i d e o m a r k e t a n d c o m p u t e r s c i e n c e . A l o t o f r e l a t i v e a l go r i t h m s h a v e b e e n p r o p o s e d a n d i t w i l l p e r f o r m a n i m p o r t a n t r o l e f o r m a n y a p p l i c a t i o n s a s v i r t u a l r e a l i t y a n d r o b ot i c .
( 9 ) 訂 正 箇 所 : F r o m p a g e 2 1 l i n e 4 t o p a g e 2 3 l i n e 1 1 i n t h e o r i g i n a l t h e s i s 訂 正 内 容 : 記 述 の 訂 正
具 体 的 内 容 :
2.2 Previous works
In [ 1] , t hi s p a p e r d e s c r i b e s a n a p p l i c a t i o n - s p e c i f i c i n s t r u c t i o n s e t f o r a c o n f i gu r a b l e p r o c e s s o r t o a c c e l e r a t e m ot i o n c o m p e n s a t e d f r a m e r a t e c o n v e r s i o n ( M C - F R C ) a l go r i t h m s b a s e d o n b l o c k m ot i o n e s t i m a t i o n ( B M E ) . T h e p r o p o s e d i ns t r u c t i on s e t i s ge n e r i c e n o u gh t o s u p p o r t m a n y M C - F R C
…(中 略) …
To r e d u c e t h e d r a w b a c k o f o v e r l a p p i n g p r o c e s s i n g, t h e p r o p os e d m e t h o d u s e s t h e m o t i o n a n a l ys i s t o d e t e r m i n e t h e t yp e o f m o t i o n a n d a p p l i e s t h e WA M C I a d a p t i v e l y. Ex p e r i m e n t a l r e s u l t s i n d i c a t e go o d p e r f o r m a n c e o f t h e p r o p o s e d s c h e m e w i t h s i gn i f i c a n t l y r e d u c e d b l o c k i n g a r t i f a c t s .
2.2 Previous works
In [ 1 ] , a s e t o f s p e c i f i c a p p l i c a t i o n i n s t r u c t i o n s i s i nt r o d u c e d t o a c c e l e r a t e t h e m o t i o n c o m p e n s a t i o n f r a m e r a t e c o n v e r s i o n ( M C - F R C ) a l go r i t h m b a s e d o n bl o c k m o t i o n e s t i m a t i o n ( B M E ) . T h e p r o p o s e d i ns t r u c t i o n s e t i s u n i v e r s a l a n d c a n s u p p o r t m a n y M C - F R C a l go r i t h m s . T h e i ns t r u c t i o n s a r e d e s c r i b e d m o r e p r e c i s e l y h o w t o p e r f o r m a c c e l e r a t i o n . T h e a c c e l e r a t i o n c a n a c h i e v e r e a l - t i m e p e r f o r m a n c e o f v i d e o s t r e a m .
In [ 2] , a f r a m e r a t e i n t e r p o l a t i on a l go r i t h m f o r m u l t i m e d i a i s p r o p os e d .
t i m e s m o ot h i n g a n d r e f i n e m e n t . T h e e r r o r M V i s c o r r e c t e d b a s e d o n t h e c o n s i s t e n c y o f t h e M V f i e l d i n t h e s p a t i a l d o m a i n a n d t h e t e m p o r a l d o m a i n . A n a d a p t i v e m o t i o n c o m p e n s a t i o n i n t e r p o l a t i o n m e t h o d i s p r o p o s e d t o r e d u c e t h e s h a d o w b l o c k i n t h e m i d d l e f r a m e , e s p e c i a l l y i n t h e b o u n d a r y r e gi o n .
In [ 3] [ 4 ] , f r a m e r a t e c o n v e r s i o n i s a n e ff e c t i v e m e t h o d t o s o l v e t h e q u a l i t y d e gr a d a t i o n o f m o v i n g i m a ge s i n l i q u i d c r ys t a l d i s p l a y. It i s a l s o s ui t a b l e f o r l o w f r a m e r a t e v i d e o s i g n a l s s u c h a s m o v i e s . B a s i c m ot i o n c o m p e n s a t i on r e s u l t s i n ga p s b e t w e e n c o v e r a ge a r e a a n d u n c o v e r e d a r e a . In o r d e r t o a v o i d t h e g a p , a m o t i on c o m p e n s a t i o n m e t h o d b a s e d o n t a rge t l o c a t i on i s p r o p o s e d . T h r o u gh i t , f u l l m ot i o n c o m p e n s a t i o n i s p os s i b l e a n d m ot i o n e s t i m a t i on i s p e r f o r m e d t h r o u g h bl o c k a c t i v i t y n o r m a l i z a t i o n. T h e y a l s o p r o p o s e t o us e f o u r f r a m e s a d a p t i v e i n t e r p o l a t i o n . F i n a l l y, t h e o r i gi n a l i m a ge i s c o m p a r e d w i t h t h e c o n v e r t e d i m a ge a f t e r t h e i m a ge i s e x t r a c t e d .
In [ 5] , i t i n d i c a t e s t h a t f r a m e r a t e c o n v e r s i o n i s e s s e n t i a l f o r v i d e o d a t a ex c h a n ge b e t w e e n d i ff e r e n t i n d u s t r i e s a n d a p p l i c a t i o n s . M o t i o n c o m p e n s a t i on i n t e r p o l a t i o n ( M C I) h a s b e e n p r o v e n t o p r o v i d e go o d f r a m e r a t e c o n v e r s i o n r e s u l t s . T h e m a i n d r a w b a c k o f t hi s m e t h o d i s t h e b l o c k i n g a r t i f a c t a t t h e b o u n d a r y o f t h e i n t e r p o l a t i o n b l o c k . A l o w c o m p l ex i t y m e t h od ( M F I) i s p r o p o s e d t o c o n v e r t b l o c k l e v e l m o t i o n f i e l d i nt o p i x e l l e v e l m o t i o n f i e l d.
In [ 6] , a f r a m e r a t e u p c o n v e r s i o n a l go r i t h m b a s e d o n w e i gh t e d a d a p t i v e m o t i o n c o m p e n s a t i o n i n t e r p o l a t i o n ( WA M C I) i s p r o p o s e d , w h i c h r e d u c e s b l o c k i n g a n d f a c t s b a s e d o n b l o c k p r o c e s s i n g. T h e p r o p o s e d m e t h od i s b a s e d on t h e w e i gh t i n g o f i n t e r p o l a t i o n s c h e m e s a n d t h e r e s ul t s o f m u l t i p l e i n t e r p o l a t i o n f i l t e r s . In a d d i t i o n , b y a p p l yi n g o v e r l a p p i n g b l o c k m ot i o n c o m p e n s a t i o n ( O B M C ) t e c h n o l o g y, t h e b l o c k e ff e c t o n t h e b l o c k b o u n d a r y i s r e d u c e d . In o r d e r t o r e d u c e t h e s h o r t c o m i n g o f o v e r l a p p i n g p r o c e s s i n g, t h e m o t i o n a n a l ys i s m e t h o d i s u s e d t o d e t e r m i n e t h e m o t i o n t yp e a n d t h e WA M C I i s a p p l i e d a d a p t i v e l y.
( 1 0 ) 訂 正 箇 所 : F r o m p a g e 5 8 l i n e 6 t o p a g e 6 2 l i n e 6 i n t h e o r i g i n a l t h e s i s 訂 正 内 容 : 記 述 の 訂 正
具 体 的 内 容 :
3.2 Previous Work
S om e works h ave a l read y be en don e a bout t he f ram e com pat i bl e fo rm a t encodi n g p roc es s . In t he pr evi ous wor k s [ 76] – [ 81] , m ai nl y f ocus on how t o
…(中 略) …
an i m proved s t er eo m at chi n g al gori t h m bas ed on [ 62] i s i nt e gr at ed i nt o t he fram e-c om pat i bl e f orm at f as t en cod er t o m ake i t m o re s t a bl e, r eas on abl e and acc urat e.
3.2 Previous Work
S om e works h ave a l read y be en don e a bout t he f ram e com pat i bl e fo rm a t encodi n g pro ces s . In t he previ ous work s [ 76] – [ 81] , m ai nl y fo cus on how t o part i t i on t he vi e ws , how t o redu ce t h e qual i t y l os s i n t he down-s am pl i n g proces s and ho w t o i m prove t he vi deo q ual i t y i n t h e up-s am pl i ng p roc es s .
The pr evi ous wo rks [ 82] [ 83] ar e i m pr oved m et hod bas ed on t he M VC
s t ruct ur e. The y obt ai n t he gl ob al di s pari t y v ect o r bet we e n t wo fr am es from t he di ff erent vi ew s . Thi s ki nd of m et hods can ’t be us ed i n t he fram e com pat i bl e f orm at cas es b ec aus e o f t he bi g com put a t i onal com pl ex i t y requi r em ent s .
Onl y t h e t arget of z eng’s work [ 67] focus es on ho w t o ut i l iz e t h e rel at i on b et w een t h e cont ent s i m i l ari t i es of di ff er ent vi e ws . In t hi s work, a s i m pl e bl ock bas ed s hi ft obt ai ni n g m e t hod was us ed. T he oret i c al l y, as l on g as cam er a pa ram et e rs and d ept h vi ews are k ept , di s pl a ce m ent bet w een t w o fi l l i ng pl an es c an b e obt ai ned. Howev e r, re al dept h i m a ges on t he ground do not appl y t o t he s o urce of e ach 3D s e quenc e. In a ddi t i on, gen erat i n g dept h m aps b y s t ereos co pi c vi deo s equ enc e s i s ver y ch al l en gi ng and u nrel i abl e.
Ther efor e, i n our pr opos al , w e d es i gn a s hi ft acqui s i t i on m et hod. Th e go al i s t o get an app rox im at e but d efi ni t e s hi ft t o ens u re t h e co rrel at i on a ccu ra c y bet we en t he cor res p ondi ng M Bs i n t h e t wo fi l l ed pl anes .
The m ai n obj e ct us ual l y app ea rs i n t h e cent ral l i ne of ea c h pl ane, s o t he s hi ft acqui s i t i on m et hod s e arc hes f or onl y t h e M Bs i n t he ce nt ral row of eac h M Bs i n t he pl ane_1 (des cri b ed as M Bi) i n t h e cent r al l i ne of e ach M Bs (des c ri bed as M Bt). Ther efo re, fi ndi n g t he t a rget o f M Bi s hi ft i s bal anc ed t o fi nd t he M B wi t h m i ni m um S AD v al ue (as Eq.1 ) i n M Bt, w hi ch i s s et t o M Bi
"(E q.2). Fi g.32 i l l u s t rat es t h e s e ar ch s chem e wi t h t he t op -bot t om FC F as an ex am pl e. The s hi ft of M Bi i s det e rm i ne d t o be Δx i acco rdi ng t o form ul a Eq.3, (x i ′, yi ′) i s t he m os t l eft u pper pi x el i n M Bi . Ac cordi n g t o Eq.4, t h e ave ra ge di s pl acem ent i s t h e s o-cal l ed rel at i ve di s pl ac em ent i n ou r propos al . It i s ret ri e ved from e ach bl ock i n pl an e_1 t o proc es s re fe ren ce b l ocks .
For vi d eo capt u r ed b y v ert i c al a nd 2D c am e ras , t he r el at i ve di s pl acem ent i s corres pon di n gl y chan ged t o and ( , ). It s houl d be not ed t hat as t he goal i s t o redu ce t h e com put at i onal co m pl ex i t y, t he t wo capt ur e cam er as bet ween t he b as el i ne a re fi x ed. The s hi ft a cqui s i t i on m et hod i s perfo rm ed onl y i n t he fi rs t fram e en codi n g.
(1 ) ( 2) ( 3) (4)
The s hi ft obt ai ni n g m et hod onl y s e arc hes t he M Bs i n t he cent r al row o f pl ane_0 t o fi nd t h e M B wi t h t he m i ni m um S AD val u e as t he s hi ft pos i t i on and get t h e s hi ft v al ue for ea ch M B.
Us e t he ave ra ge s hi ft val ue of t he M Bs i n t he cent ral row of pl ane_0 a s t he s hi ft val u e fo r a l l of t he M Bs i n t he pl ane_1. It i s as s h own i n F i g. 3 3 .
Be caus e i nt ra and i nt er fr am e M B pa rt i t i ons are di ffer e nt from each ot her, fo r ea ch M B i n pl ane_1, i t can handl e r ef eren ce M B i n pl ane _0 b y m eans o f r el at i ve s hi ft . In t h e i nt r a codi n g an d i nt e r f ram e codi n g, fi ve t op-bot t om FC F s eq uenc es a re an al yz ed . Al l pos s i bi l i t i es o f e ach pat t e rn ar e t he ave ra ge val ues of 5 s equen ce enco di ng r es ul t s . W hen t he confi gur at i on
val ues .
Acco rdi n g t o t he predi ct i on cor rel at i on anal ys i s bet wee n t wo fi l l i n g pl anes i n FC F, t hr ee ca ndi dat e s et s are r et ri ev ed, i ncl udi ng t he pa rt i t i on candi d at e s et i n Int ra a nd Int er f ram es and t he di re ct i on c a ndi dat e s et wi t hi n Int ra. A cco rdi n g t o t he H.264/ AVC s t andar d, t he al go ri t hm car ri es out t he ori gi n al predi ct i on s t rat e g y on pl an e_0 and reco rds t he pr edi ct i on t yp es of eac h bl ock. W hen i t be ga n en codi n g t h e fi rs t M B i n pl ane_ 1, a fas t al gori t hm w as enab l ed. It ret ri ev es t h e en cod ed M B p art i t i on b y m e ans o f t he r el at i ve s hi ft ob t ai ned b efo re t he fi rs t f ram e en codi n g (i n Int ra codi n g, i t al s o r et ri ev es t he p redi ct ed di r ect i on o f t he re fer en ce bl o c k). Th e c andi dat e predi ct i on i s b y m appi n g candi d at e s et s acco rdi n g t o t he ref er enc e val ues . Fi g.34 s ho ws t he fl ow ch art o f t h e f as t al gori t hm i n front . C ons i deri n g t he bal anc e b et we en re cordi n g ac cur ac y a nd over hea d cons u m pt i on as s t at i s t i c a l anal ys i s , t he i nt r a uni t codi n g and i nt er f ram e codi n g r e cordi n g uni t s a re al l ocat ed t o 4x 4 an d 8x 8 res p ect i v el y.
It i s onl y a s i m pl e s hi ft oper at i on wi t hout an y a c curat e dept h i nform at i on and ob vi ous l y i t can ’t fi gu re out t h e a ccu rat e det ai l s . Th ere for e, an i m proved s t er eo m at chi n g al gori t h m bas ed on [ 62] i s i nt e gr at ed i nt o t he fram e-c om pat i bl e f orm at f as t en cod er t o m ake i t m o re s t a bl e, r eas on abl e and acc urat e.
( 1 1 ) 訂 正 箇 所 : F r o m p a g e 6 4 l i n e 2 t o p a g e 6 4 l i n e 1 1 i n t h e o r i g i n a l t h e s i s
訂 正 内 容 : 記 述 の 訂 正 具 体 的 内 容 :
3.4.1 The relationship between stereo matching and FCF
The b as i s of fas t e ncodi n g al go ri t hm for FC F i s t he hu ge co rrel at i on bet we en t he cont e n t s i m il ari t y and p r edi ct i on s i m i l ari t y i n pack ed vi e ws . Acco rdi n g t o H.26 4/ AVC s t anda rd, t h ere ar e 9 di r ect i on s of Int r a_4x 4 and Int ra_8x 8, and 4 d i rect i ons o f Int ra_ 16x 16 res p ect i v el y. As t he m i ni m um bl ock i n Int ra enco di ng i s 4x 4, s uch s i z e i s as s i gned as t h e re cordi n g uni t of Int ra i n our pr edi ct i on corr el at i on anal ys i s . The p red i ct i on corr el at i on anal ys i s of Int r a ha s been grad ed t o t w o l evel s : p art i t i on t yp e and pre di ct i on di rect i on, r es pe ct i vel y. On t h e ot h er s i de, t h e M B pa r t i t i on i n P f ram e i ncl udes Int r a_4x 4, Int r a_16x 16, Int ra_8x 8, P S K IP, P _16x 16, P _16x 8, P _8x 16, P _8x 8. A ddi t i onal l y, t he re are s ub_8x 8, s ub_ 8x 4, s ub_4x 8 and s ub_4x 4 bel on gi n g t o P _8x 8.
3.4.1 The relationship between stereo matching and FCF
The b as i s of fas t e ncodi n g al go ri t hm for FC F i s t he hu ge co rrel at i on bet we en t he cont e n t s i m il ari t y and p r edi ct i on s i m i l ari t y i n pack ed vi e ws . A c c o r d i n g t o t h e H . 2 6 4/ AV C s t a n d a r d , In t r a _ 4x 4 a n d In t r a _ 8 x 8 h a v e 9 d i r e c t i o n s r e s p e c t i v e l y, a n d In t r a _ 1 6 x 1 6 h a v e 4 d i r e c t i o ns r e s p e c t i v e l y.
B e c a u s e t h e s m a l l e s t bl o c k o f i n t r a c o d i n g i s 4x 4, i n o u r p r e d i c t i o n c o r r e l a t i o n a n a l ys i s , t h i s s i z e i s d e s i gn a t e d a s t h e r e c o r d i n g u n i t w i t h i n t h e f r a m e . In t r a p r e d i c t i o n c o r r e l a t i o n a n a l ys i s c a n b e d i vi d e d i n t o t w o
c a t e go r i e s : c l a s s i f i c a t i o n t yp e a n d p r e d i c t i o n d i r e c t i o n . O n t h e o t h e r h a n d , t h e M B p a r t i t i o n i n t h e P f r a m e i n c l ud e s In t r a _ 4 x 4 , In t r a _ 1 6x 16 , In t r a _ 8 x 8 , P S K IP, P _ 1 6x 1 6 , P _ 1 6x 8, P _ 8x 1 6 , P _ 8x 8 . In a d d i t i o n , t h e r e a r e s u b _ 8x 8 , s u b _8x 4 , s u b _ 4x 8 a n d s u b _ 4x 4 b e l o n gi n g t o P _ 8x 8 r e s p e c t i v e l y.
( 1 2 ) 訂 正 箇 所 : F r o m p a g e 8 2 l i n e 1 0 t o p a g e 8 6 l i n e 1 0 i n t h e o r i g i n a l t h e s i s
訂 正 内 容 : 記 述 の 訂 正 具 体 的 内 容 :
4.2.2 The Background Region In-painting
T he g e neral i n-p ai nti ng probl em i s a s fol l ow [50 ]: t he regi on t o be i n-pai nt ed Ω a nd i t s b ounda ry ∂Ω a re de fi ned a nd t he pix el p bel ong i ng t o Ω w o ul d b e i n-pai nt ed b y i t s neig hb ori ng re gi o n Bε(p ) a s show n i n F i g. 5 0.
…(中 略) …
[72 ] i s a n i m pro v e d w ork of t he Cri mi ni si i n-pa i nti ng m e t ho d in t he recent y e ar. T he se w o rks o nl y use t he sho rt t e rm i so pho t e t ende ncy t o do t he predi ct i on, a nd i t i s not enoug h. T herefore , o ur proposed a lg ori t hm i s i nt ro duce d.
4.2.2 The Background Region In-painting
T he g e neral i n-p ai nti ng probl em i s a s fol l ow [50 ]: t he regi on t o be i n-pai nt ed Ω a nd i t s b ounda ry ∂Ω a re de fi ned a nd t he pix el p bel ong i ng t o Ω w o ul d b e i n-pai nt ed b y i t s neig hb ori ng re gi o n Bε(p ) a s show n i n F i g. 5 0.
T hi s concept i s q ui t e re a so nab le for a n ordi na ry pi ct ur e in-pa i nti ng, b ut beca use a cert ai n hol e ∂Ω ca n b e l oca t e d i n t he foreg round a nd b a ckg ro und, i t sho ul d b e cha ng ed t o a pply t o t he hol e fi lli ng i n t he vi ew sy nt he si s. I n t hi s ca se, t hey repla ce t he bounda ry a re a a dj a cent t o t he foreg ro und, a nd de pi ct t he ba ckg round a re a o n t he o ppo si t e si de i n t he foll owi n g e q ua ti o n.
w here fg a nd bg m ea n t he foreg ro und a nd ba ckg ro und.
T ha t i s t o say, t he y del ib era t el y ma ni pul a t e t he hol e so t ha t nei g hb o rs ca n o nly co m e from t he ba ckg round, a s sho w n i n F ig . 51 . No w, b e ca use t he ho l e ha s onl y b a ckg round pix el s, i t i s m o re nat ura l i n t he i n- pai nt ed i m ag e s t ha n t he previ ous o nes.
I n o rder t o di st i ng ui sh fore g ro un d from b a ckg round, t hey use
co rrespon di ng de pt h da ta t o mi x im ag es. F or t he t wo de pt h pi x el s t ha t a re ho ri zo nta ll y opposi t e on t he hol e, t hey use pix e l s w i t h la rg er de pt h v al ue s a s t he fo reg ro und.
4.2.3 The In-painting Based on Some Special Priority
T he m ost cla ssi cal a lg o ri t hm i n t hi s ki nd of i n-pai nti ng i s Cri mi ni si i n-pai nti ng m et ho d. Cri mi ni si e t al . [53 ] fi rst not i ce d t ha t sam pl e b a sed t ex t ure sy nt hesi s i nvol ves t he b a si c proce sse s needed t o re pli c at e t ext ure a nd st ruct ure , a nd uses t he sa m pl i ng co ncept [7 3 ] o f Ef ro s a nd L eung ’s m et hods.
[72 ] i s a n im pro v ed w o rk of t he Cri mi ni si i n-pai nti ng m e t ho d in t he recent y e ar. T he se w o rks o nl y use t he sho rt t e rm i so pho t e t ende ncy t o do t he predi ct i on, a nd i t i s not enoug h. T herefore , o ur proposed a lg ori t hm i s i nt ro duce d.
2 . 訂 正 理 由
序 章 お よ び 各 章 の 序 論 部 で 、 他 の 論 文 か ら の 不 適 切 な 引 用 が 認 め ら れ た た め 訂 正 を 指 示 し た 。 ( 1 ) ~ ( 1 0 ) 、( 1 2 ) が こ れ に 対 応 す る 。文 章 と と も に 、 い く つ か の 図 で 電 子 媒 体 か ら の コ ピ ー と 考 え ら れ る 不 適 切 な 引 用 が 認 め ら れ た た め 、 こ れ ら の 図 の 訂 正 を 指 示 し た 。
ま た 、「 第 3 章 3 . 4 . 1 節 」 の 提 案 部 で も 不 適 切 な 引 用 が 認 め ら れ た た め 、 訂 正 を 行 わ せ た 。 訂 正 ( 1 1 ) が こ れ に 対 応 す る 。
3 . 訂 正 を 認 め た 理 由
訂 正 ( 1 ) ~ ( 1 0 ) と ( 1 2 ) は い ず れ も 他 者 の 研 究 の 紹 介 部 分 で あ り 、訂 正 に よ り 本 博 士 論 文 の 成 果 が 影 響 を 受 け る こ と が な い た め 、 図 の 変 更 を 含 め た 訂 正 は 妥 当 と 認 め る 。
ま た 訂 正 ( 1 1 ) は 提 案 部 で あ る が 、 節 の 最 初 の 数 行 で 手 法 が 対 象 と す る 入 力 に 関 す る 一 般 的 な 事 項 を 述 べ た も の で あ り 、 訂 正 に よ り 提 案 手 法 に 影 響 を 与 え な い た め 、 訂 正 は 妥 当 と 認 め る 。