コンシューマ用途向け超低遅延H.264符号化制御アルゴリズムおよびシステム

全文

(1)Vol.2012-CDS-5 No.16 Vol.2012-DCC-2 No.16 2012/10/17. 情報処理学会研究報告 IPSJ SIG Technical Report. コンシューマ・デバイス論文. コンシューマ用途向け超低遅延 H.264 符号化制御アルゴリズムおよびシステム溝添博樹1,2,a). 岡田光弘1,b). 小味弘典1,c). 佐々本学1,d). 羽鳥好律2,e). 概要：民生用途やスモールビジネス用途を見据え比較的低いビットレートで使用可能な H.264 フル HD 低遅延符号化制御アルゴリズムの検討を行った．ピクチャ内の局所的な符号量変動を抑制することによって低遅延化を画質の維持を両立する最大持ち越しビット量制御の具体的な制御手法を提案した．さらに，提案アルゴリズムを既に開発済みの多目的 H.264 コーデックプラットフォーム上に実装し，ビットレート. 8∼10M bps で最短 10 ms の遅延時間を実現し，画質への影響が最小限であることを確認した．キーワード：低遅延，レート制御，バッファ遅延，持ち越し，H.264. Very Low-Delay H.264 Coding Control Algorithm amd System for Consumer Applications Mizosoe Hiroki1,2,a). Okada Mitsuhiro1,b) Komi Hironori1,c) Hatori Yoshinori2,e). Sasamoto Manabu1,d). Abstract: This paper presents a new coding control algorithm for very low-delay H.264 full HD video coding with relatively lower bitrate focusing especially on consumer or small business applications. We propose a concrete controlling scheme for bitrate control algorithm of keeping the maximum carry over, which enables both low-delay and little degradation of picture quality by suppressing local bitrate fluctuation within a picture.We made experiments of the proposed algorithm on our versatile H.264 codec platform, and obtained the result of 10 ms minimum delay at a bitrate of 8 to 10 Mbps with least impact on picture quality. Keywords: Low-delay, rate control, buffering delay, carryover, H.264. 1. はじめに. 像伝送等の用途においては低遅延画像圧縮に対するニーズが高まっている．放送局設備における業務用システムなど. 動画像圧縮規格 H.264[1] は圧縮効率の高さから多くのア. のハイエンド用途向けには既に低遅延 H.264 エンコーダー. プリケーションで利用されている．一方，ビデオ通話や映. が実用化されているが，コストの点や利用するビットレートが 30∼200 Mbps と比較的高い点から，民生用にそれら. 1. 2. a) b) c) d) e). （株）日立製作所横浜研究所 Yokohama Research Lab., Hitachi, Ltd., Yokohama 244– 0817, Japan 東京工業大学大学院総合理工学研究科 Tokyo Institute of Technology, Interdisciplinary Graduate School of Science and Engineering, Yokohama 226–8502, Japan [email protected] [email protected] [email protected] [email protected] [email protected]. c 2012 Information Processing Society of Japan. のシステムを用いることは難しい．本研究においては特に民生用途や小規模ビジネス用途向けに着目して，比較的低いビットレートで利用することが可能な新たな低遅延フル HD 対応コーデックを開発した．ビットレートを制御する手法を新たに開発し，以前の研究で開発した H.264 コーデックハードウエア上で実際に動作させ，効果を確かめた．. 1.

(2) Applications. 情報処理学会研究報告 ori Komi, Manabu Sasamoto, and Yoshinori Hatori, Member, IEEE. ow-delay full especially on ave analyzed w-delay, and eme for our veloped. We atform, and h several test. es in order of. Vol.2012-CDS-5 No.16 Vol.2012-DCC-2 No.16 2012/10/17. IPSJ SIG Technical Report. 表 1. 目標仕様 TABLE I. TableTARGET 1 Target Specifications. SPECIFICATIONS. 項目コーデック遅延映像フォーマット圧縮フォーマットビットレート. 仕様 33 ms (1 フレーム)未満 1920x1080i, 60 field/s H.264/AVC 8-10 Mbps. 1 MB period Video input Ref Input ME 1 ME 2,3 Prediction DCT/Q Vector calc. VLC input Deblocking out. 0 0,1. A picture coding structure of IBBPBBPBBPBB… is of its highly 今回，民生用途や小規模ビジネス用途を考慮して，表 commonly used in general video coding applications, where I, 1 hand, a need に示す目標仕様を定めた．目標遅延は１フレーム（ P and B mean intra coded, predictive coded, and33bims） ncreasing for directionally predictive coded pictures respectively. However, 以下とした．低コスト化や民生用で利用可能なビットレー transmission. use of B-pictures will require a picture reordering because Bare already トを考慮して， Mbps でフル（1920 1080i, pictures refer 8to∼a10reference frame HD in a 画質 future. The × picture stations, but 60 reordering causes a reordering delay. For example, a common フィールド／秒）を実現することを目標とした． sumer use in structure of two B-pictures between reference pictures (I or Pte (30 to 200 3.pictures) as in the example which was mentioned at the 低遅延コーデック実現に必要な要因 beginning of this paragraph, the reordering delay will be three consumer or 3.1frames each for encoding and decoding, six frames (200 ms) in d a very low- total.ピクチャ符号化構造 For this reason a picture structure without B-pictures, な画像is圧often 縮アプリケーションにおいては， bitrate. We 一 that般is,的IPPPP…, used in low-delay applications. ted it on our IBBPBBPBBPBB …というピクチャ符号化構造が用いら B. Processing Delay れる場合が多い．ここに I, P, necessary B はピクチャの符号化タイ Processing delay is a time for processing for encoding or decoding itself. For example, video encoding プを示しており，それぞれイントラ (Intra) 符号化（符号 includes several processing steps such as motion estimation, e, we set our が１枚の画像内部で完結） (Predictive) 符号化（過去 transformation,，予測 quantization, entropy coding, target codec orthogonal deblocking, etc. The processing delay is almost negligible に符号化した画像を参照画像として利用し，その差分を符 st demanding especially when a codec is implemented in hardware as long as ，および双方向 (Bi-directional) 予測符号化（過去お set a target 号化） a pipeline structure is designed appropriately. Fig. 1 shows the i@60 field/s) よび未来の画像を参照画像として利用）を表す．しかし， example of an encoder pipeline. A vertical slot denotes one macroblock (MB) period. A full HD (1920x1080) frame このうち B ピクチャは時間的に未来の画像を参照するた consists of 8160 MBs. One MB is 16x16 pixel. In 30 frames/s め， B ピクチャを利用する場合は画像の並べ替え操作が必 image, one frame period is 33 ms. Therefore one MB period is 要となる．画像の並べ替えは遅延が増大する要因となる． approximately 4 microseconds. In Fig. 1 the total pipeline stages is about 10 MBs, which is equal to approximately 40 us. 例えば冒頭に挙げたように，よく用いられるピクチャ符号 However this is much smaller than the target delay of (I または P ピクチャ ) の間に Bピ i and Manabu 化構造として参照画像 millisecond order. Therefore the processing delay is almost achi, Ltd., 292 negligible. Of course it is necessary for the design to be done apan (e-mail: クチャが２枚ずつ挟まれる構造を例に取ると，画像並べ替 accordingly for that to be true. The example in Fig. 1 was taken [email protected], えに伴う遅延はエンコード，デコードとも各３フレームず i.com). from our previously designed H.264 codec platform [3].. ocessing, Tokyo Yokohama 226- つ，合計で６フレーム（200 ms）にもなる．このため，低. 遅延符号化アプリケーションにおいては B ピクチャを用いない IPPPP…のようなピクチャ符号化構造が利用される場合が多い．. 3.2 処理遅延処理遅延とは，エンコードやデコードなどの処理（演算）. 200,000 2. 3. 2, 3. 4. 5. 6. 7. 8. 9. 1 0. 10. 11. 12. 2. 3. 4. 5. 1. 2. 3. 4. 5. 0. 1. 2. 3. 4. 5. 0. 1. 2. 3. 4. 5. 0. 1. 2. 3. 4. 5. 0. 1. 2. 3. 4. バイ 160,000 140,000 ト数 120,000. 180,000. 13. 4, 5. 0, 1. 2, 3 0. 4, 5. 100,000. 80,000. 60,000. 5. 40,000. Fig. 1. Encoder pipeline example. III. FACTORS FOR ACHIEVING A LOW-DELAY CODEC. 2. A.目標仕様 Picture Coding Structure. 1. 20,000. 図 1 エンコーダパイプライン. 0. 1 Encoder pipeline example. C. BufferingFig. Delay. The amount of bits for coding a picture varies in picture by. Fig. complexity or pictures, differences in coding つの MB は among 16 × 16scenes 画素の画像であり，１枚のフル HD 画. In the fluctuation relatively delay cod more limit impact on. picture for several reasons. MB They）期間を表している．１ include differences in １つ分は１マクロブロック（. parameters such as picture types, and statistical nature of 像 (解像度 1920The × 1080) 8,160 個の MB entropy coding. entropyの場合， coding is the method to から構成 represent されている．映像のフレームレートが 30smaller frame/s の場合， coding information efficiently by allocating number of bits for more frequently appearing symbols. １フレームは 33 ms となるため，1MB 期間は約 4 マイク On the other hand, a transmission channel for the coded ロ秒となる．図 1 の場合，パイプライン処理の段数の合計 bitstream usually has limited capacity of bandwidth. Therefore は MB であり，時間に換算すると約 40 マイクロ秒とな it 10 is necessary to smooth out the bitstream variation before sending it out to the communication channel by inserting a る．この値は，目標の遅延値がミリ秒単位であることを考 buffer as shown in Fig. 2. Similarly the buffer is necessary also えるとはるかに小さい．したがって処理遅延はほとんど無 at the decoder side in order to supply a required amount of bits 視できるほど小さいと言える．無論これが当てはまるのは to the decoder at the instance of decoding each frame in a 適切に設計されている場合のみである．なお図 timely manner. The buffer at the decoder side has 1toに挙げた be of at least the same size as at the encoder side, resulting in double 例は，筆者らの開発した H.264 コーデック [2] から取った the delay in total. ものである．. ビットバッフ 3.3 バッファ遅延エンコーリング. バッフデコードリング映像を符号化するに当たり，１枚のピクチャを符号化す伝送チャネ. るのに必要なビット数はピクチャごとに異なっている．そ. Fig. 2. Bit fluctuation smoothing buffer. の理由としては，映像のシーンや画像ごとに絵柄の複雑さが異なること，ピクチャ符号化タイプのようなパラメータ Fig. 3 shows an example of the bitstream variation of an. encoded video sequence. The horizontal axis shows a frame がピクチャごとに異なること，エントロピー符号化の統計. number and the vertical axis, number of bytes for each encoded frame. The sequence was encoded with picture coding 化とは，頻繁に登場する情報ほどより短いビット長の符号 structure of IPPP… with I-pictures periodically inserted at every 15 frames. I-pictures have 109 KB per picture whereas を割り当てるようにすることで，情報を表現する効率を向 P-pictures 25 KB on average. The buffering delay for 上させる手法である． smoothing out the difference of 84 KB will be, assuming the 一方，符号化されたビットストリームを伝送する場合， bitrate of 8 Mbps, 84 ms at the encoder side. Since the same amount of buffer is necessary also at the decoder side, the total 伝送チャネルの容量帯域は有限であるのが通常である．そ buffering 2delay will be at least 168 ms, which is very large のため図に示すようなバッファを挿入して，伝送チャネ when targeting less than one frame (33 ms) of low-delay ルにビットストリームを送出する前にビットレート変動を performance. 的性質から来る要因などがある．最後のエントロピー符号. 平滑化する必要がある．同様に，デコーダ側においても，各フレームのデコードを行う瞬間に必要な量のビットをデ. そのものに要する時間のことである．例えば映像のエン. コーダにタイムリーに供給するためにバッファが必要であ. コードに際して以下のような処理が必要である．動きベク. る．デコーダ側のバッファの大きさは少なくともエンコー. トル探索，直交変換，量子化，エントロピー符号化，デブ. ダ側と同じ大きさが必要であり，結果としてバッファ遅延. ロッキング処理等である．しかし，このような各処理を実. は全体合計で２倍となる．. 行するのに必要な処理遅延は実はほとんど無視できるほど. 図 3 に符号化映像シーケンスのビットレート変動の例を. 小さい．とりわけハードウエアで実装され，適切なパイプ. 示す．横軸はフレーム番号，縦軸は各フレームごとのデー. ライン処理構造で設計されている場合に当てはまる．図 1. タ量（バイト数）を示す．このシーケンスは B ピクチャを. にエンコーダのパイプラインの一例を示す．縦のスロット. 用いない IPPP…のピクチャ符号化構造であり，15 フレー. c 2012 Information Processing Society of Japan. 2. buffer de consumer IV.. A. Vari. Since applicatio happens, propagatio does not r image cor Inserting bitstream Howeve a P-pictu periodic variation resulting i Instead the popula mode by i 4. The po picture by MB colum sequence pictures c refreshing.

(3) Vol.2012-CDS-5 No.16 Vol.2012-DCC-2 No.16 2012/10/17. 情報処理学会研究報告 IPSJ Fig. 2SIG Technical Report. ビットエンコード. バッファリング図 2. Fig. 3. バッファリング. 伝送チャネル. イントラリフレッシュ領域. デコード 1. バッファによるビットレート平滑化. 全て P ピクチャ. Fig. 2 Bit fluctuation smoothing buffer.. P. Fig. 4.図 Refreshing Intra Macroblocks 4 イントラリフレッシュ. 200,000 180,000. ピクチャ平均. 160,000. I-. バイ 140,000 ト 120,000 数. (. Fig. 4 Refreshing Intra Macroblocks.. B. Variations in Amount of Coded Bits within a Picture. 109 KB. チャに比べはるかに多くのビット数を必要とする．した Amount of generated bits will be different locally within a. ). 100,000. ピクチャ平均. 80,000. P-. 60,000. 25KB (. 40,000. ). 20,000 0. ＰＳＮＲ) （ｄBd( Ｂ）RN S. 1. 101. 201. 301. フレーム. 401. 501. 図 3 符号化映像シーケンスのビットレート変動. Fig. 3 Bitrate variation in a coded video sequence.. ムごとに I ピクチャを挿入している．平均して I ピクチャは 109 KB，一方で P ピクチャは 25 KB のデータ量である．この差の 84 KB を均すためのエンコーダ側におけるバッファ遅延は，ビットレートを 8 Mbps と仮定した場合，. 84 ms となる．デコーダ側にも同じ大きさのバッファが必要なため，必要なバッファ遅延は合計で 168 ms 以上となる．低遅延性能として１フレーム (33 ms) 未満を目標としていることを考えると，この値は大変大きい値である．放送局設備などの業務用システムの場合は比較的高い伝送帯域が利用できるためビットレートの変動もある程度までは許容できる．しかしながら，民生用途向け低遅延コーデックの場合は利用できる伝送帯域がはるかに限られているため，このようなビットレートの変動が伝送遅延に与える影響はより深刻である．したがって，いかにしてバッファ遅延を抑えるかが特に民生用途向けシステムにおいて低遅延を実現する上での鍵となる．. 4. ビットレート変動と画質 4.1 ピクチャ間の符号量変動低遅延コーデックは実時間処理のアプリケーションで用いられる場合が多いため，伝送の間にビットエラーが発生. がって定期的に picture dependingI ピクチャを挿入することは符号化ビット on the local complexity of the image. Therefore fluctuation in bit allocation exists within a picture as ストリームにおいてビット数の大きな変動をもたらし，結 V. well as among pictures. 果的にビットレートの変動につながる． From low-delay point of view, it is ideal to have as smooth A. C bit まるごとの allocation asI ピクチャを定期的に挿入する代わりに用い possible for making the delay minimum by As e られる手法の一つに，イントラスライスまたはイントラマ reducing a buffer delay. smooth Simple bit smoothing, however, could cause degradation quality クロブロック (MB) を用いて P ピクチャの一部分をイント inラモードとして符号化する手法（イントラリフレッシュ） picture quality. Fig. 5 shows an example of bit allocation in the bu aがある．これを図 picture. The horizontal axis shows the vertical position in a maintai 4 に示す．イントラモードで符号化する picture and the vertical axis shows the bit allocation per two- approac 部分は図の縦長の短冊上の領域（イントラリフレッシュ領 macroblock line in relative value. The dashed line (a) shows First 域）で表され，ピクチャごとに領域の位置を変化させる． the case where the sequence was encoded using all P-picture 7. The structure with refreshing MBs, and the solid line (b) shows the can be エラーが発生した際，イントラリフレッシュ領域が移動す case with, in addition to the same condition as in (a), using as a ma ることにより所定のフレーム数が経過するとエラーがクリ simple smoothing of bit allocation within a picture. vertical アされ，シーケンスがエラーから復帰する．イントラリフ Fig. 6 shows comparison of picture quality in terms of PSNR indicate レッシュを用いることにより定期的に I ピクチャ全体を挿 (Peak Signal-to-Noise Ratio) corresponding to the cases in Fig. encodin 5入する場合に比べてピクチャ間のビットレートの変動をか . The PSNR is degraded by 1-2.5 dB in the case of simple a fluct smoothing as seen in the figure. なり抑制することが可能である． Section ビ transmi また，低遅延符号化向けに，ビットレート制御によってット 2.2 the gen ピクチャ間の符号量変動を小さくする手法が多数発表され (a) 1.8 割 bitrate. ている（り当 [3], [4], [5]）． amount 1.4 (b) that ha てピクチャ内の符号量変動 buffer a 4.2 （相 1.0 broken 対 0.6 エンコードの結果により生成されるビットの量は１枚の値 bits sta ピクチャの内部でも画像の局所的な複雑さの程度に応じて） results. 0.2 変動する．したがってピクチャ間で符号量の変動があるの 0 200 400 600 800 1000 と同様ピクチャの内部にもビット割り当ての変動が存在する．. 画像内の位置（ライン）. Fig. 5. Bit allocation in a picture. 上述のようにビットレート制御によってピクチャ間の符号量変動を小さくする手法は多く発表されているが，それらによる低遅延化は数フレーム，100 ms 程度に留まっていた．. することがある．ビットエラーが発生した場合，エラーの. 更なる低遅延化の観点からは，上述のバッファ遅延を削. 更なる伝播や蓄積を防ぐために I ピクチャを用いることが. 減して遅延を最小化するために，ピクチャ内のビット割り. できる．I ピクチャは過去のピクチャの情報を参照しない. 当てもできるだけ均一化することが理想的である．筆者ら. ため，エラーの影響で崩れた画像は I ピクチャ挿入により. はマクロブロックライン単位でビット割り当てを制御する. リセットされる．定期的に I ピクチャを挿入することは，. ことによってピクチャ内を平滑化し遅延量の削減を図っ. ビットストリームがエラーに対する耐性を持つのに有効で. た [6]．. ある．しかし，図 3 に示したように I ピクチャは通常 P ピク. c 2012 Information Processing Society of Japan. ビット. しかしながら，単純なビット量の均一化を行うと画質の低下の原因になることがある．図 5 にピクチャ内の符号量. 3. B. 'K. A flu.

(4) 0. case with, て in addition to the same condition as in (a), using simple （相 smoothing 1.0 of bit allocation within a picture. Fig. 6対shows comparison of picture quality in terms of PSNR 値 0.6 情報処理学会研究報告 (Peak Signal-to-Noise Ratio) corresponding to the cases in Fig. IPSJ SIG）PSNR Technical Report by 1-2.5 dB in the case of simple 5. The is degraded smoothing 0.2 as seen in the figure.. ビッ 2.2 ト割 1.8 り当て（ 1.4 相 1.0 対 0.6 値）. (a) (b). 0.2. 800. a picture. 0. 200. 400. 600. has exceeded the maximum bitrate will be stored in a as a that macroblock line number from thesent top of the picture. The buffer as a 'carry over' and then out afterwards. The thick vertical axis shows the amount of bits. The thin solid line brokenthelineamount shows of the generated actually transmitted bits. The carry over indicates bits at theVol.2012-CDS-5 instance of No.16 bits stay in the buffer until all these bits are sent out, which encoding a part of the sequence or of the picture.Vol.2012-DCC-2 There can be No.16 results in the transmission a fluctuation depending on thedelay. reasons as described in 2012/10/17 the Section IV. The generated bits will be sent out to the transmission The bits can be sent out immediately if ビット channel. 最大伝送持ち越し(C) the generated amount the maximum transmission 生成stays within ビットレート伝送 bitrate. However, they cannot be sent out immediately if the (Rmax ) amount temporarily exceeds the maximum bitrate. The amount that has exceeded the maximum bitrate will be 目標ビットレート stored in a buffer as a 'carry over' and then sent out afterwards. The thick broken line shows the actually transmitted bits. The carry over bits stay in the buffer until all 遅延(D) these bits are sent out,時刻 which results in the transmission delay.. 800 1000. 画像内の位置（ライン）. Fig. 5. Bit allocation in a picture (a) (b). 0. 200. 400. 600. 800 1000. ビット. 画像内の位置（ライン）. B.. Fig. 5. Bit allocation in a picture. 1000. 図 5. (line). 図 7 7.持ち越しビット量と遅延 Fig. Carry over vs. Delay. Fig. 7 Carry over vs. Delay. 最大伝送持ち越し(C) 生成ビットレート 'Keep the Maximum 伝送Carry over' Method. ) Rmaxthe 本節と次節で述べる． A fluctuation of bit generation in encoding (and resulting. ピクチャ内の符号量割り当て. Fig. 6. 目標ビットレート時刻番号もしくはピクチャ内でのライン番号など）を，縦軸は遅延(D) 単位時間当たりの符号量を示す．細い実線は，横軸の各時. Fig. 5 Bit allocation within a picture.. まず最初に「持ち越しビット量」について図 7 を用いて. 説明する．横軸はエンコードに伴う時間の経過（フレーム. ＰＳＮＲ（ｄＢ）. 38. (a). 36. Fig. 7. Carry over vs. Delay 刻においてシーケンスの一部もしくはピクチャの一部をエンコードした結果，各時点で生成される符号量を示す．こ. 34. B. 'Keep the Maximum Carry over' Method. の生成符号量の平均値は図に示す目標ビットレートの値で. (b). 32. A fluctuation of bit generation in encoding and the resulting. あると仮定する．しかしながら，3.3 で述べた理由により. 30 30. 90. 150. 210. 270. フレーム. 330. 390. 局所的には変動が存在する．. 450. 生成されたビットは伝送チャネルに送出される．もし局 3. 図 6. ビット量均一化の画質比較. Fig. 6 Picture quality comparison.. 所的な生成量が最大伝送ビットレート以内であればビットは直ちに送出される．しかし，もし生成量が最大伝送ビットレートを一時的に超えた場合は直ちに送出されず，超過. 割り当ての例を示す．横軸は１枚の画像の中での位置（ラ. した部分は「持ち越しビット」としてバッファに蓄えられ，. イン番号）を，縦軸は 2 MB ラインごとのビット量（相対. しばらく後に送出される．太い破線が実際に伝送される符. 値）を示す．一点鎖線 (a) はすべて P ピクチャとしてイン. 号量を示す．持ち越しビットはすべてが送出されるまでの. トラリフレッシュを用いてエンコードした場合を，実線 (b). 間バッファに留まり，これがバッファ遅延となる．. は (a) の条件に加えピクチャ内での符号量割り当てを単純に均一化する処理を追加した場合を示す．図 6 にそれらに対応する各場合の画質を PSNR (ピーク Signal/Noise 比) で比較したものを示す．単純なビット. なお，前述のように生成符号量の平均値は目標ビットレートに等しいと仮定しているため，持ち越しビット量が継続的に蓄積され続けてバッファが破綻するという状況は発生しない．. 量均一化の場合は約 1∼2.5 dB の PSNR 値の低下が見られる．. 5.2 最大持ち越しビット量の遵守エンコードの際の生成符号量の変動とその結果の持ち越. 5. 低遅延符号量制御手法. しビット量はバッファ遅延をもたらす．しかしながら，逆. 5.1 持ち越しビット量. に，持ち越しビット量をある限界量以内に留まるよう注意. 4 章で述べたように単純なビット量均一化は画質の低下. 深く制御すれば，持ち越しビットの存在を敢えて許容して. の原因になることがある．したがって低遅延化のために. もよい．このようにして，ビット量の変動を意図的に容認. バッファ遅延を削減しようとする場合には，画質ができる. し，画質ができるだけ保たれるようにすることとした．. 限り保たれるよう注意を払う必要がある．バッファ遅延を削減して１フレーム未満の低遅延を実現する試みとして，Lee および Song[7] による手法の提案があるが，全てＩピクチャーだけで構成されたシーケンスを対象としており，全体のビットレートが高くなってしまう. 持ち越しビット量の制御方法についてより詳細に説明する．図 7 において持ち越しビットにより生じる遅延 D [s] は次のように表される．. D=. C Rmax. (1). という課題があった．そのような制約なしに低遅延化を実. ここに D は遅延 [s]，C は持ち越しビット量 [bit]，Rmax は. 現するため，筆者らは「持ち越しビット量の最大値の遵守」. 伝送チャネルの最大伝送ビットレート [bps] である．最大. という手法によりアプローチしてきた [8]．これについて. 持ち越しビット量 Cmax は，目標の最大遅延 Dmax [s] を用. c 2012 Information Processing Society of Japan. 4.

(5) We will explain the way of controlling the carry over in more detail using Fig. 7. The delay (ms) caused by the carry over can be expressed as follows: 情報処理学会研究報告. 符号化. 入力. リング. 出力. D. C IPSJ SIG Technical Report (1) D= Rmax delay. Conversely, we can carry over brings about a buffering いて次のように表される． tolerate over happening asClong as we carefully wherethe D iscarry a delay in milliseconds, is a carry over in bits, control it is sothe that the carry over of stays within a certain limit. and Rmax maximum bitrate the transmission channel in Thus we intentionally let the bitrate fluctuation happen (to bit per second. The maximum carry over C can be max(2) Cmax = Dmax · Rmax keep as good picture quality(maximum) as possible). expressed using the target delay Dmax as follows: We will explain the way of controlling the carry over in more detail using Fig. 7. The delay (ms) caused by the carry Cmax は持ち越しビット量の最大許容値である．した (2) max = max ⋅ max over can be expressed as follows:. C. D. DR. がって持ち越しビット量 C が. Cmax. D. C R. is the maximum (1) = tolerable value of the carry over. Therefore we will control the maxcarry over so that. C ≤ Cmax. D. C. C. (3). where is a delay in milliseconds, is a carry over in bits, ≤ bitrate and max is the maximum in max of the transmission channel(3) をエンコードのビット生成の各時点において満たされる bit per second. The maximum carry over max can be expressed using the target (maximum) delay follows: ように制御を行う．持ち越しビット量の最大値を式 (3) of max asslot, at every instance of bit generationC (encoding part. R. C C. D. C. encoding, encoding unit, …). We limit the maximum value of に制限するが，その値未満の場合はできるだけ変動の発生. C. C. D. R. レート目標遅延、最大伝送レート制御. #2. Vol.2012-CDS-5 No.16 Vol.2012-DCC-2 No.16 2012/10/17. Qp_min quality. can change for better picture. 補助情報. (b) (a). 映像映像入力入力. (. 予測予測. ). 直交変換直交変換. 生成生成レートビット量ビット量制御 Qp 制限 Qp エントロピーバッファ量子化エントロピーバッファ符号化リング量子化符号化リング. ビットビットストリームストリーム出力出力. Fig. 8. Bitrate control method. (a) conventional method, (b) proposed method. レート目標遅延、最大伝送レート制御 #2. Qp_min. VI. IMPLEMENTATION 生成レート AND EXPERIMENTS 補助情報ビット量制御 A. H.264 Codec PlatformQpUtilized 制限 for Study. (b). (. ). In this research we employ our versatile H.264 HDTV ビット映像エントロピーバッファストリーム予測 [3], 直交変換量子化符号化リング codec which has been developed targeting mainly 入力 platform 出力 a consumer use. Fig. 9 shows the block diagram of the encoder, which dedicated hardware blocks and (b) two Fig. 8.consists Bitrate method. (a) conventional method, 図 control 8of 低遅延ビットレート制御手法 method. controlling processors proposed called MPU and SPU (main and sub Fig. 8 Bitrate control method. (a) conventional, (b) proposed. processing unit, respectively).. as in (3) but let the fluctuation = (2) max ⋅happen max as long as it is within the limit. We will further explain how to limit the maximum value of max is the maximum tolerable value of the carry over. in encoding Fig. . Fig. over 8(a) issorate 5.3 Therefore 持ち越しビット量制御手法 we willusing control the8carry thatcontrol in an encoder without carry over control. Typically there is a 本研究では，エンコードの際に上述の持ち越しビット量 feedback loop among a quantization part, an entropy coding Processor Processor ≤ max part. The information about (3) (MPU) (SPU) C の最大値を制限する具体的な方法について新たに提案 part, and a rate controlling the number of already generated bits will be8 sent back to the rate する．以下，図 8 を用いて説明する．図 (a) は持ち越し In this research we employ our versatile H.264 HDTV Intra Bitstream Video at every instance bit controlling generation (encoding slot,decide part ofa codec controlling part. Theofrate part will then Prediction platform [3], which has been developed targeting Output mainly Input ビット量の制御を行わない場合の一般的なエンコーダにお encoding, unit,step …). Qp We limit the on maximum value of value of encoding a quantizer based the information DCT/QdiagramEntropy a consumer use. Fig. 9 shows the block of the encoder, Coding けるビットレート制御を示したものである．通常，量子化 as in (3) the but number let the fluctuation happen as long it is in within Motion including of generated bits until thatas point time which consists of dedicated hardware blocks and two Estimation the andlimit. optional auxiliary information such as complexity of the controlling processors called MPU and SPU (main and sub 部，エントロピー符号化部，レート制御部の間のフィード We will further limit the maximum value of encoding local explain region. how Theto quantization part performs Motion processing unit, respectively). IDCT/IQ バックループが存在する．符号化済みビット量に関する情 Deblocking Comp. in encoding using 8. Fig. 8(a) rate control in rate an quantization using the Fig. quantizer step Qp is supplied from the 報がレート制御に戻される．その後レート制御部は，その encoder without controlling part. carry over control. Typically there is a Fig. 9. Block diagram of Encoder core feedback loop a quantization an entropy(second) coding 時点までに生成された符号量の情報や，必要に応じ符号化 Fig. 8(b) is among the proposed method. part, An additional 図 9 Processor エンコーダのブロック図Processor (MPU) (SPU) part, a rate controlling part. for Thecarry information about The the rate and controlling part is provided over control. Fig.has 9 the Block diagram of Encoder The codec very flexible pipeline core. architecture as 対象領域の画像の複雑さなどの補助的な情報に基づいて， number of already bits of willalready be sentgenerated back to the rate information aboutgenerated the number bits is shown in Fig. 1 . Each stage performs processing ofBitstream one Intra 量子化パラメータ Qpentropy の値を決定する．量子化部はレート Video controlling part.theThe rate coding controlling then decideon a supplied from part. part Alsowill the information Prediction macroblock. The entire pipeline control is made by MPU.Output SPU Input 制御部から指示された量子化パラメータの値に基づい value of a quantizer step bitrate Qp based the the maximum transmission ( maxQp ) on and the information target delay DCT/Q block Entropy controls the entropy coding hardware and processes Coding 6. 実機検証 Motion including oftogenerated bits until that pointpart. in time ( max) is the alsonumber supplied the second rate controlling The て量子化処理を行う．上記のレート制御部におけるレート upper layer bitstream structures. The behavior of the encoder Estimation second rate controlling part will then calculate a value of of the the and optional auxiliary information such as complexity can be flexibly changed by the program of these processors so 制御のアルゴリズムは用途や要件等に応じた種々の方式が 6.1 H.264 コーデック検討プラットフォーム quantizer step the supplied information. The encoding localQp_min region.based Theon quantization part performs Motion various that the system IDCT/IQ needs depending on Deblockingwill satisfy Comp. 用いられている．本研究においては筆者らの開発した H.264 コーデック value Qp_min is the quantizer minimum step value Qp in from order the forrate the quantization using Qpfor supplied applications. The pipeline latency is so low with our codec carry not to exceed the predetermined value based on the プラットフォーム part. 図controlling 8 (b)over に提案手法を示す．第２のレート制御部を追加 [2] を検討に利用した．本コーデックプ platform thatFig. a processing delay isofnegligible as described in 9. Block diagram Encoder core maximum bitrate and theAn target delay. The value Fig. 8(b) transmission is the proposed method. additional (second) the Section III. で設け，持ち越しビット量の制御を行う．符号化済みのラットフォームは主として民生用途向けの適用を考慮し of Qp output from rate controlling be clipped rate controlling parttheisfirst provided for carry part overwill control. The The codec has the very flexible pipeline architecture as ビット量に関する情報がエントロピー符号化部から供給 9 にエンコーダ部のブロック in the case about where the it isnumber smallerofthan Qp_min. This way information already generated bits the is て開発したものである．図 shown in Fig. 1. Each stage performs processing of one We have implemented the low-delay bitrate control scheme lower value limitedcoding by Qp_min but otherwise Qp value supplied fromQp theisentropy part. Also the information on 図を示す．エンコードの各処理を行う専用のハードウエアされる．さらに最大伝送ビットレート（ Rmax ），目標遅延 macroblock. The entire pipeline control is made by MPU. SPU described in the previous section in the controlling processors the）などの情報も供給される．第２のレート制御部は maximum transmission bitrate ( max) and the target delay ブロックと，２つの制御用プロセッサ controls the entropy coding hardware block processes （Dmax MPUand および SPU ( max) is also supplied to the second rate controlling part. The upper layer bitstream structures. The behavior of the encoder それらの情報に基づいて量子化パラメータ Qp min の値を（Main/Sub Processing Unit）から成っている． second rate controlling part will then calculate a value of the can be flexibly changed by the program of these processors so は，持ち越しビット本コーデックは図に示す非常にフレキシブルなパイプ求める．量子化パラメータ値 quantizer step Qp_min basedQp on min the supplied information. The that the system will1 satisfy various needs depending on value Qp_min is the minimum value for Qp in order for the ライン構造を持っている．エンコードの各ステージで１マ量が最大伝送ビットレートと目標遅延から定まる所定値を applications. The pipeline latency is so low with our codec carry over not to exceed the predetermined value based on the platform that a processing delay is negligible as described in 超えないようにするための Qp の最小値である．このようクロブロック（ MB）毎の処理を行う．パイプライン全体 maximum transmission bitrate and the target delay. The value the Section III. にして Qpoutput の下限は of Qp fromQp the min first によって制限されるが，その rate controlling part will be clipped の動作は MPU により制御されている．SPU は，エントロ in the case where it is smaller than Qp_min. This way the ピー符号化ブロック（ハードウエア）の制御と，ビットス他の場合は Qp の値は画質をできるだけ保つための変動が We have implemented the low-delay bitrate control scheme lower value Qp is limited by Qp_min but otherwise Qp value トリームの上位階層のヘッダの処理を行う．MPU，SPU 許容される． described in the previous section in the controlling processors. max を許容するように制御する．. C C. C. C C. VI. IMPLEMENTATION AND EXPERIMENTS A. H.264 Codec Platform Utilized for Study. C. C. D. R. B. Implementation. D. R. B. Implementation. 本手法の利点は，第１のレート制御部の外側に第２の. のソフトウエアプログラムの交換によりエンコーダ動作の. レート制御部を設けたことにより，第１のレート制御部の. 振る舞いはフレキシブルに変更可能である．それにより本. アルゴリズムに関わらず，制御を行うことができる点であ. コーデックプラットフォームはアプリケーション毎の様々. る．これにより，既存の様々のレート制御方式と組み合わ. なニーズを満たすことが可能である．3.2 で述べたように. せて，低遅延化のための制御を追加することが可能になる．. 本コーデックプラットフォームを用いた場合，パイプライン自体の処理遅延は非常に小さく，目標遅延時間から考え. c 2012 Information Processing Society of Japan. 5.

(6) コーデック遅延* 映像フォーマット圧縮フォーマットビットレート. 情報処理学会研究報告. 伝送路の遅延は含まない. IPSJ SIG Technical Report. 10 ms (min.) 1920x1080i, 60 fields/s H.264/AVC [email protected] 8-10 Mbps Vol.2012-CDS-5 No.16 Vol.2012-DCC-2 No.16 2012/10/17. *. 表 2 平均 PSNR 結果. acknowledgm [1]. ITU-T H.. [2]. 1.. [3]. H. Mizos. Nov. 2007. AVC HD. Table 2 Average PSNR result.. シーケンス Square garden Whale show Ceremony 図 10. on CE, V. 平均 PSNR [dB] 目標ビッ最大伝送ビットトレートレート従来提案 [Mbps] 手法手法 [Mbps] 8 8 10. 10 10 12. 34.7 28.6 29.4. [4]. K. Elissa,. [5]. R. Nicole. [6]. C. J. Kau. [7]. Y. Yorozu. for public. personal c. studies on. 34.5 28.4 29.3. Transl. J. Annual C [8]. IEEE Per. Authors, r. H.264 コーデックプラットフォームによる実機検証. Fig. 10 H.264 Codec platform testing the algorithm.. Fig. 11. 平均目標ビッ最大伝送 Hiroki Mizoso 結合した．これを用いた従来手法と提案手法の PSNR 比シーケンストレートビット従来提案レート手法 11手法 [Mbps] 較結果を図 12 に示す．エンコードの条件は図の場合 [Mbps] レームずつのシーンを時間的に離れた箇所から 2 つ抽出し PSNR [dB]. the M.S.E.E de. Hitachi, Ltd. i. 38. ＰＳＮＲ（ｄＢ）. Research. processing and. (100 8 10 34.8 34.6 生する箇所で一旦大きく落ち込むが，両者の間に落ち込み. especially for n. Square Garden + いて，持越しビット量によって生じる遅延を図 13 に示す． Whale show 10 12 33.8 33.3 各 100 図 (13 (a)フレーは従来手法（持ち越しビット量制御の無い通常のムずつ) 符号化）であり，シーンチェンジの発生する箇所において. and the M.S.E. 鋭いピークが生じており，目標遅延を大きくオーバーして. University in 1. フレーム× Mitsuhiro Oka 2 シーン結合) 度合いに大きな差は見られない．また同じシーケンスにお. 36 34. (a) (c). 32. (b). 30. Labo. と同様である． Square garden PSNR 値は両手法ともシーンチェンジの発. 30. 90. 150. 図 11. 210. 270. フレーム. 330. 390. 450. PSNR 比較結果. Fig. 11 PSNR comparison.. VIII. CONCLUSION いる．図 13 (b) の提案手法の場合は，シーンチェンジにお. joined. Hitachi. Yokohama Res video. process. applications esp. Hironori Kom Systems. R&D. We have analyzed several important factors for achieving low-delay codec especially targeting a consumer use, and 遅延である ms 以内に収まっている． developed 5new scheme to deal with those factors. We Manabu Sasam 4 implemented the algorithm on our versatileSquare H.264 Garden codec 同様の実験を異なるテストシーケンス platform and actually tested it. We obtained a result of 10 ms と Whale Show を結合したものに対しても行った．その minimum delay with several test sequences at bitrate of 8 to 10 PSNR Mbps比較結果を図 to confirm 14 thatに示す．やはりシーンチェンジの we have achieved our target specifications. 発生する箇所で両手法とも PSNR 値が一旦大きく落ち込む Yoshinori Hat <New> 5 ms (for encoding) + 5 ms (for decoding) = 10 ms が，落ち込みの度合いに両者の間で大きな違いは見られな (in total) <Additions> い．なおシーンチェンジ以外の箇所で本手法を適用した場 - Applications. 合のほうが若干 PSNR が下がっているがこれは量子化パラ - Further extensions of the research いてやはりピークは発生するものの，遅延の最大値は目標. advanced video products.. and the M.S.E joined. Hitachi. Yokohama Res. ると無視できるレベルである．. 6.2 実装および検証 5 節で述べた低遅延符号化制御手法をコーデックプラッ. video. process. applications esp. the B.E. degre University of. Denshin Denwa. the Tokyo Inst. トフォームの制御プロセッサに実装し，実機で検証を行った（図 10）．なお実装に当っては符号化タイプはすべて P ピクチャとし，イントラリフレッシュを用いた．. 7. 実験結果. research intere. メータ Qp min 制御の影響で生成ビット量がわずかに低く. なっているためである．また，本シーケンスにおいて，持越. ACKNOWLEDGMENT. The preferred spelling of the word “acknowledgment” in. しビット量によって生じる遅延を図 15 に示す．図 15 (a) の従来手法では，シーンチェンジに際し鋭いピークが生じ. 図 11 に実験結果の PSNR を示す．エンコードにはテス. ているが，図 15 (b) の提案手法の場合は，シーンチェンジ. トシーケンス（Square Garden）を用い，目標ビットレー. におけるピークは抑制され，遅延の最大値は目標遅延であ. ト 8 Mbps，最大伝送ビットレート 10 Mbps，目標（最大）. る 5 ms 以内に収まっていることを同様に確認した．. バッファ遅延 5 ms の条件で，以下の３種類のレート制御. なお，上記の遅延量はエンコーダ内のバッファ遅延であ. を比較した．(a) 従来のレート制御（一点鎖線），(b) 単純. るが，デコーダ側においても同じだけのバッファ遅延が生. ビット量均一化（破線），(c) 提案手法（実線）である．提. じる．そのため，エンコーダ側とデコーダ側を合計した全. 案手法 (c) は，単純なビット量均一化 (b) のように画質が. 体の遅延は 10 ms 以内となる．. 低下することなく，従来のレート制御 (a) とほぼ同じ画質を保っている．表 2 に上記を含むその他のテストシーケンスの平均. PSNR を示す．いずれも提案手法適用による画質の低下はほとんどなく従来とほぼ同じ画質を保っている．. シーンチェンジ時の平均 PSNR 結果を表 3 にまとめる．また，以上の実験結果を表 4 にまとめる．. 8. まとめ民生用や小規模ビジネス用に着目し比較的低いビット. 次にシーンチェンジの際の影響について検討した結果を. レートで適用可能な低遅延フル HD コーデックを新たに. 説明する．テストシーケンス Square Garden から 100 フ. 開発した．低遅延実現にあたっての要因を分析し，中でも. c 2012 Information Processing Society of Japan. 6. communication. IEICE, ITE, IIE.

(7) stays within the maximum target delay of 5 ms. As explained in section XX, decoder takes the same amount of bufferingFig. delay. Therefore 10 ms in total.. Fig. 12 IPSJ SIG Technical Report 情報処理学会研究報告 38. Add 2 Vol.2012-CDS-5 No.16 Vol.2012-DCC-2 No.16 2012/10/17. Scene change. 36. hm.. encoding 8 Mbps, d target nt bitrate a) dashed , and the hod keeps l method ignificant. ＰＳ) 38 ＮＲBd( 34 36 R32 （ｄＰ N ＳＢ）ＮSP30 34 Ｒ（ 32 ｄＢ 28 30 ） 26. 30 Scene change. 28 30. 60. 90. 120. フレーム Frames. 180. 450. e re: All Paximum 5 ms,. D. 0. 0. 30. [1]. ITU-T H.. [2]. 1.. [3]. H. Mizos. Nov. 2007. 60. (b) 提案手法. 90. 120 150 180. シーケンス 0. AVC HD. Scene change. 目標ビッ最大伝送ビット 30トレート 60 90レート 120 [Mbps] [Mbps] フレーム. 目標遅延平均 PSNR [dB] 従来 180 提案 150 手法手法. Square garden 8 10 34.7 34.5 図 15 シーンチェンジ時の遅延比較結果 (Square–Whale) Whale 8 at scene 10 change.28.6 28.4 Fig. 15 show Effect on the delay (Square–Whale) Ceremony 10 12 29.4 29.3. 0. 30 60 90 (b) (b) Proposed 提案手法. 0. 30. 60. 90. Square garden (100 フレーム× 2 シーン結合) Square Garden + Whale show (各 100 フレームずつ). 120 150 180 Target delay 目標遅延 120 150 180. 平均 PSNR [dB] 目標ビッ最大伝送トレートビット提案レート従来 [Mbps] 手法手法 [Mbps] 8. 10. 34.8. 34.6. on CE, V [4]. K. Elissa,. [5]. R. Nicole. [6]. C. J. Kau. [7]. Y. Yorozu. for public. personal c. studies on. Transl. J. Annual C [8]. IEEE Per. Authors, r. The experimental results are summarized in Table II. A minimum 40 delay of 10 ms has been achieved.. Scene change. Hiroki Mizoso. the M.S.E.E de. Hitachi, Ltd. i Research. Labo. processing and. especially for n. Mitsuhiro Oka. and the M.S.E joined. 10. 12. 33.8. 33.3. Hitachi. Yokohama Res video. process. applications esp. Hironori Kom 実験結果 TABLE II VIII.表 4CONCLUSION. Frames フレーム. Fig. Add 1. 図 14. 遅 10 延（ m 5 s） 0. Target delay 目標遅延. Fig. 13 Effect on the delay at scene change. (Square Garden). ＰＳＮＲ（ｄＢ）. 0. シーケンス. Fig. 13. Effect on the delay at scene change. The vertical axis 図 13 シーンチェンジ時の遅延比較結果 (Square Garden) shows a delay caused by carryover.. 38 36 34 32 30 28 26. 伝送路の遅延は含まない. *. 表 3 シーンチェンジ時の平均 PSNR 結果. 5 20. 遅) 10 延s （mm ( s）yla 5 e. 結果. 10 ms (min.) 1920x1080i, 60 fields/s H.264/AVC [email protected] 8-10 Mbps 目標遅延. American E singular hea Avoid expre thank ... .” acknowledgm. Table 3 Average PSNR result with scene change.. D 10 25 0 15. 項目遅延 20 （m 15 * コーデック遅延 s）映像フォーマット 10 圧縮フォーマットビットレート 5. 210. (a) (a)Conventional 従来手法 Scene change. 遅) 20 延s （m(m 15 s）yal e. 12 shows l and the ame as in greatly at e are not 13 shows sequence l method. 150. 26 Effect on PSNR at scene change. PSNR drop occurs at Fig. 12. 30 in both 60 conventional 90 120 scene change method150 (dashed180 line) and210 the proposed method (solid line), butフレーム no significant difference was observed. Picture coding structure: All P-picture w/Intra MB 図 12 Target シーンチェンジ時の PSNR 比較結果 (Square Garden) refresh, bitrate: 8 Mbps, Maximum transmission bitrate: 10 Mbps, 5 ms, Sequence: Square garden. Fig. 12 Target Effect maximum on PSNR delay: at scene change. (Square Garden) Scene change happens at frame #99.. 25. (a) 従来手法TABLE II EXPERIMENTAL RScene ESULTSchange. 25. University in 1. Systems R&D Ltd. in 1991, w advanced video Laboratory, Hit products. coding algorith. We have analyzed several important factors for achieving low-delay especially targeting use, and 項目 codec 結果witha consumer developed new scheme to deal those factors. We Manabu Sasam コーデック遅延the* algorithm on10ourms (min.) implemented versatile H.264 codec INSERT 1920x1080i, 60 fields/s 映像フォーマット platform and actually tested it. We [email protected] a result of 10 ms H.264/AVC 圧縮フォーマット minimum delay with several test sequences at 8-10 Mbps bitrate of 8 to 10 ビットレート Mbps to confirm that we have achieved our target Author’s 伝送路の遅延は含まない specifications. <New> 5 ms (forVIII. encoding) + 5 ms (for decoding) = 10 ms Yoshinori Hat CONCLUSION た．本アルゴリズムを 6.1 節で述べた H.264 コーデックプ (inWe total)have analyzed several important factors for achieving8∼ INSERT <Additions> ラットフォームに実装し，実機を用いて検証した結果， low-delay codec especially targeting a consumer use, and - Applications. new scheme to deal with those factors. We 10 developed Mbps で 10 ms の最小遅延を実現し，目標仕様を達成で - Further extensions of the on research implemented the algorithm our versatile H.264 codec Author’s きることを確認した． platform and actually tested it. We obtained a result of 10 ms minimum delay withAseveral test sequences at bitrate of 8 to 10 CKNOWLEDGMENT Mbps to confirm that we our targetin 参考文献 The preferred spelling of the have word achieved “acknowledgment” INSERT specifications. [1] <New> ITU-T5H.264: Advanced video coding for generic audioms (for encoding) + 5 ms (for decoding) = 10 ms visual services, Nov. 2007. (in total) [2] <Additions> H. Mizosoe, D. Yoshida, and T. Nakamura, “A Single Author’s H.264 / AVC HDTV Encoder/Decoder/Transcoder - Chip Applications. System LSI,” IEEE Trans. on Consumer Electronics, - Vol. Further extensions of the research 53, No. 2, pp.630-635, May 2007 RESULTS TableEXPERIMENTAL 4 Experimental results.. networking. He. and the M.S.E joined. Hitachi. Yokohama Res video. process. applications esp. *. especially for ne the B.E. degre. University of. Denshin Denwa. the Tokyo Inst. research intere. communication. IEICE, ITE, IIE. 30. 60. 90. 120. フレーム. 150. 180. 210. シーンチェンジ時の PSNR 比較結果 (Square–Whale). Fig. 14 Effect on PSNR at scene change. (Square–Whale). especially for ne. バッファ遅延の削減に注目した．画質の劣化を最小限に抑えて目標遅延を実現するため，持ち越しビット量を最大値を抑える新たなビットレート制御アルゴリズムを開発し. c 2012 Information Processing Society of Japan. [3]. J. Ribas-Corbera and S. Lei, “Rate Control in DCT Video Coding for Low-Delay Communications,” IEEE ACKNOWLEDGMENT Trans. on Circuit and Systems for Video Tech., Vol. 9,. The preferred spelling of the word “acknowledgment” in American English is without an “e” after the “g.” Use the singular heading even if you have many acknowledgments. 7 Avoid expressions such as “One of us (S.B.A.) would like to thank ... .” Instead, write “S.B.A. thanks ... .” Put sponsor acknowledgments, if any, in the footnote on the first page.. signals, visual c is a member of.

(8) 情報処理学会研究報告 IPSJ SIG Technical Report. [4]. [5]. [6]. [7]. [8]. Vol.2012-CDS-5 No.16 Vol.2012-DCC-2 No.16 2012/10/17. No. 1, pp.172-185, Feb. 1999. M. Jiang and N. Ling, “Low-Delay Rate Control for Realtime H.264/AVC Video Coding,” IEEE Trans. on Multimedia, Vol. 8, No. 3, pp.467-477, June 2006. Y. Liu, Z. G. Li, and Y. C. Soh, “A Novel Rate Control Scheme for Low Delay Video Communication of H.264/AVC Standard,” IEEE Trans. on Circuit and Systems for Video Tech., Vol. 17, No. 1, pp.68-78, Jan. 2007. H. Mizosoe, M. Okada, H. Komi, M. Sasamoto and Y. Hatori, “Very low-delay H.264 codec for consumer applications,” IEEE International Conference on Consumer Electronics, pp.65-66, Jan. 2012. Y. G. Lee and B. C. Song, “An Intra-Frame Rate Control Algorithm for Ultralow Delay H.264/Advanced Video Coding (AVC),” IEEE Trans. on Circuit and Systems for Video Tech., Vol. 19, No. 5, pp.767-752, May 2009. 溝添，岡田，小味，佐々本，羽鳥，“民生用途向け超低遅延 H.264 コーデック,” 映像情報メディア学会技術報告， Vol. 36, No. 7, pp. 21-24, 2012.. c 2012 Information Processing Society of Japan. 8.

(9)