3Dコンテンツの識別手法について
2010年8月19日
Dpa技術委員会
目次
1.1 3D識別信号仕様策定の考え方
1.2 3D映像フォーマット
1.3
MPEG-2 映像ストリームにおける3D識別信号仕様
1.4
MPEG-4 AVC 映像ストリームにおける3D識別信号仕様
1.5
SIにおける3D映像を含むイベントの識別仕様
1.1 3D識別信号仕様策定の考え方
• 当面利用が想定される3D方式を検討範囲とする。
サービス利用が明確なSide-by-Side 方式に限定して、サービス運用及び
受信機実装が可能な詳細仕様を規定する。
• 受信機において2D映像か3D映像かを識別して期待される適切
な動作を可能とする。
– 視聴者への表示告知や切り替え制御のための、 3D映像フォーマットや3D映像 ストリームの識別手段 – ＥＰＧなどで番組情報表示や検索のための、3D映像を含むイベントの識別手段• 3D識別信号方式は世界的な標準化動向を考慮する。
MPEG-4 AVCについてはMPEGで規定された
（注）Frame Packing
Arrangement SEIを適用する。
MPEG-2 videoに関しては参照すべき規格がないが、上記SEIをベース
としてMPEG-4 AVCと整合のとれた規定を策定する。
• 将来の3D方式の拡張性を考慮する。
MVCの導入等将来想定しうる3D関連規格に対して、互換性の確保
に留意する。尚、本3D識別信号仕様案は、MPEG-2 video及びMPEG-4
AVCの映像ESに閉じた仕様であり、またTop&Bottom等の他のFrame
Compatible方式の拡張性も考慮する。
• 3D専用サービスと2D/3D混在サービスの両方を想定する。
特に、2Dコンテンツと3Dコンテンツが同一チャンネルで混在編成されてい
るサービスにおける2D/3Dの切り替え時の送出運用、及び受信機動作に考
慮する。
• サービス運用の柔軟性を考慮する。
規格策定後、送出設備更新対応までの過渡期や、3D放送に対し社会的認
知が進むまでの期間においては、受信機における動作と映像表示に問題を
生じさせない範囲で、3D放送の一時的、または、試験的なサービス運用が
発生する可能性がある。この場合の2D/3D識別信号の運用ケースにも配慮
する。
1.2 3D映像フォーマット
• 3D映像の対象となる入力映像フォーマットとしては、ARIB STD-B32に規定される もののうち、当面1080/60/Iに限定する。 • 3D方式としては、当面Side-By-Side方式に限定する。 • Side-by-Sideフォーマットとは、左眼用および右眼用映像を水平方向にのみ 1/2に縮小（Horizontal sub-sampling）して 1画面の左右位置に配置した方式をいう。 その際、画面上の配置は、視聴者から見て左側の映像が左眼用、右側の映像が 右眼用であること。左眼用映像と右眼用映像との境界は、1走査線当たりの 有効標本化数の1/2 の標本位置であること。水平方向1/2縮小時の標本化位置は 左眼用映像・右眼用映像で同一とし、走査線間で固定とする。 • Side-By-Side方式における左右画像の合成方法と画素配置を図2-1に示す。L R L R 左眼用奇数（偶数）フィールド映像 右眼用奇数（偶数）フィールド映像 1920画素 1920画素 1080/2 ライン 1080/2 ライン 960画素 960画素 1080/2 ライン 2画面合成後の奇数（偶数）フィールド映像 水平方向を 1/2に縮小 水平方向を 1/2に縮小 サブサンプリング標本化位置 図2-1
Side-by-Side方式における画面合成と画素配置
･･･ ･･･2D/3D映像の識別の為に、MPEG-2 Video ピクチャレイヤのuser_dataに 2D/3D識別信号を定義する。 なお、user_data内のデータ配置は、ISO/IEC 14496-10 （MPEG4-AVC規格）の シンタクスを参考とし、構成要素の最適化を行う。 表3-1のMPEG-2 videoで定義されるvideo_sequence 内ピクチャレイヤにて user_data を運用する。
1.3.1. 3D識別信号符号化規定
1.3 MPEG-2映像ストリームにおける3D識別信号仕様
video_sequence() { next_start_code() sequence_header() if ( nextbits() = = extension_start_code ) { sequence_extension() do { extension_and_user_data( 0 ) do { if (nextbits() = = group_start_code) { group_of_pictures_header() extension_and_user_data( 1 ) } picture_header() picture_coding_extension() extensions_and_user_data( 2 ) picture_data()
} while ( (nextbits() = = picture_start_code) || (nextbits() = = group_start_code) ) if ( nextbits() != sequence_end_code ) {
sequence_header() sequence_extension() }
} while ( nextbits() != sequence_end_code ) } else { /* ISO/IEC 11172-2 */ } sequence_end_code } 表3-1 video_sequence
user_data 内では、表3-2 に従いStereo_Video_Format_Signalingを定義する。 尚。Stereo_Video_Format_Signaling()はuser_data()内に1つのみ配置すること。 表3-2 user_data データ構造 ビット数 ビット列表記 user_data() { user_data_start_code 32 uimsbf Stereo_Video_Format_Signaling_identifier 32 uimsbf while( nextbits() != '0000 0000 0000 0000 0000 0001' ) { Stereo_Video_Format_Signaling() } next_start_code() } user_data_start_code ： 固定値‘0x000001B2’を記載。 Stereo_Video_Format_Signaling_identifier ： 固定値 ‘0x4a503344’ (“JP3D”) を記載。 Stereo_Video_Format_Signaling () は、表3-3で定義する。
表3-3 Stereo_Video_Format_Signaling データ構造 ビット数 ビット列表記 Stereo_Video_Format_Signaling() ｛ Stereo_Video_Format_Signaling_Length 8 uimsbf Reserved 1 “1” Stereo_Video_Format_Signaling_type 7 bslbf Reserved 16 “0x04FF” } Stereo_Video_Format_Signaling_Length ：Stereo_Video_Format_Signalingの本フィールドより 後のバイト長を示す。固定値3を記載。 Stereo_Video_Format_Signaling_type ： 3D映像フォーマットを識別するもので 表3-4に従って各フォーマットの種別を示す。 表3-4 Stereo_Video_Format_Signaling_type Stereo_Video_Format_Signaling_type値 説明 0000011 3D Side-by-Side 映像 0001000 2D映像 上記以外 Reserved
1.3.2 3D識別信号運用ガイドライン
• 3D識別信号を運用する場合には、
Video のPicture header、Picture Coding Extensionに続く全てのpictureの
userdata領域にStereo_Video_Format_Signaling()を含むよう符号化を行うこと。 またこの場合、下記の運用制約に従うこと。 ¾ Stereo_Video_Format_Signaling_typeは、 3D映像の場合は”3” (Side-by-Side)、 2D映像の場合は”8”を記載すること。 ¾ 3Dと2Dとの切換えを行う場合は、Picture data()が切り替わるフレームと Stereo_Video_Format_Signaling()が切り替わるフレームとを一致させる ことを推奨する。 （注）映像ストリームにStereo_Video_Format_Signaling()がない場合は、 Stereo_Video_Format_Signaling_typeは”8”と判断する。
1.3.3 3D識別信号運用に当たっての留意事項
3D識別信号の運用において、下記の理由により、頻繁な2D/3Dの切り換えが 生じないよう留意すること。 ¾ 本信号を受信機での映像信号切り換え制御に利用している場合、切り替えに 数秒程度の時間を要する場合がある。 ¾ ２眼式立体表示の場合、映像切り替えに伴い、視聴者はメガネの着脱を 始めとした3D視聴環境の切り替えを余儀なくされる。1.3.4 受信機における考慮事項
• STBで受信する場合、 Stereo_Video_Format_Signaling()で2D/3Dを識別し、 HDMI 1.4aの規定に従った3D映像を出力することができる。 • 既存の2Dのみの放送サービスも含め、映像ストリームにおいて Stereo_Video_Format_Signaling() を含まないpictureを検知した場合には、 該当するpictureは2D信号と判断する。 • 一方、識別信号が無い放送信号に対して手動で3D視聴設定が選択される場合 があることに留意する必要がある。 3D対応 STB 3D対応 TV HDMI 放送信号 MPEG-2 SideBySide (TVで直接受信） 放送 システム L R• 2D/3D映像の識別の為に、アクセスユニットにおいてフレーム格納配置 （Frame Packing Arrangement）SEI（表4-1）を運用する。
• 本SEIは、Side-by-Side 3D映像フォーマット等frame compatible形式の 3D映像を格納するアクセスユニットを含む映像サービスにおいて運用する。 尚、 Frame Packing Arrangement SEIのpayloadTypeは、”45”と
MPEGにて規定されている。
• 尚、アクセス・ユニットを構成するNAL ユニット、およびSEIメッセージの順序は、 GOP の先頭およびそれ以外のアクセス・ユニットで、それぞれ図4-1 に示す 通りとし、記載のないNAL ユニット、およびSEI メッセージについては運用しない こととする。
• 本3D識別信号符号化規定としては、Frame Packing Arrangement SEIの 運用を表4-2に示す通り制約する。
1.4.1 3D識別信号符号化規定
AU Delimiter （1コ） GOPの先頭のアクセスユニット SPS （1コ） SEIs PPS （1コ） Slices (Primary Coded Picture) （1以上） Filler data （1コ） End of sequence （1コ） Recovery point SEI message （open GOPの場合のみ必須、 1コ） Buffering period SEI message （1コ） Picture timing SEI message （1コ） Pan-scan rectangle SEI message （1コ） Decoded reference picture marking SEI
message （1コ） Frame packing arrangement SEI message （1コ） AU Delimiter （1コ） GOPの先頭以外のアクセスユニット SEIs PPS （1コ） Slices (Primary Coded Picture) （1以上） Filler data （1コ） End of sequence （1コ）
frame_packing_arrangement( payloadSize ) { Descriptor frame_packing_arrangement_id ue(v) frame_packing_arrangement_cancel_flag u(1) if( !frame_packing_arrangement_cancel_flag ) { frame_packing_arrangement_type u(7) quincunx_sampling_flag u(1) content_interpretation_type u(6) spatial_flipping_flag u(1) frame0_flipped_flag u(1) field_views_flag u(1) current_frame_is_frame0_flag u(1) frame0_self_contained_flag u(1) frame1_self_contained_flag u(1) if( !quincunx_sampling_flag &&
frame_packing_arrangement_type != 5 ) { frame0_grid_position_x u(4) frame0_grid_position_y u(4) frame1_grid_position_x u(4) frame1_grid_position_y u(4) } frame_packing_arrangement_reserved_byte u(8) frame_packing_arrangement_repetition_period ue(v) } frame_packing_arrangement_extension_flag u(1) }
表4-1 MPEG-4 AVC Frame Packing Arrangement SEI Syntax
シンタックス要素 運用 備考 frame_packing_arrangement_id 0 0固定 frame_packing_arrangement_cancel_flag 0 または 1 0：以下に続くフィールドが存在する 1：以下に続くフィールドが存在しない frame_packing_arrangement_type 3 3：3D Side-by-Side方式 quincunx_sampling_flag 0 0：quincunx_samplingは運用しない content_interpretation_type 1 1：画像左半分が左眼用画像 spatial_flipping_flag 0 0：画像の左右半分いずれも反転しない frame0_flipped_flag 0 0固定 field_views_flag 0 0固定 current_frame_is_frame0_flag 0 0固定 frame0_self_contained_flag 0 0：左眼用画像が右眼用画像を参照する可能性あり frame1_self_contained_flag 0 0：右眼用画像が左眼用画像を参照する可能性あり frame0_grid_position_x 0 左眼用画像の左上画素の水平位置 frame0_grid_position_y 0 左眼用画像の左上画素の垂直位置 frame1_grid_position_x 0 右眼用画像の左上画素の水平位置
• 3D識別信号を運用する場合には、
frame packing arrangement SEIを含むよう符号化すること。 また、この場合、下記の運用制約に従うこと ¾ frame_packing_arrangement_cancel_flagは、3D映像の場合は”0”、 2D映像の場合は”1”を記載すること。 ¾ frame_packing_arrangement_typeは、 3D映像の場合は”3”（Side-by-Side） とする。 ¾ 3Dと2Dとの切換えを行う場合は、スライス・データが切り替わるフレームと frame_packing_arrangement_cancel_flagが切り替わるフレームとを一致させる ことを推奨する。
（注）映像ストリームにframe packing arrangement SEIが無い場合は、 frame_packing_arrangement_cancel_flag=”1”と同様と判断する。
1.4.3 3D識別信号運用に当たっての留意事項
3D識別信号の運用において、下記の理由により、頻繁な2D/3Dの切り換えが 生じないよう留意すること。 ¾ 本信号を受信機での映像信号切り換え制御に利用している場合、切り替えに 数秒程度の時間を要する場合がある。 ¾ ２眼式立体表示の場合、映像切り替えに伴い、視聴者はメガネの着脱を 始めとした3D視聴環境の切り替えを余儀なくされる。1.4.4 受信機における考慮事項
• STBで受信する場合、frame packing arrangement SEIで2D/3Dを識別し、 HDMI 1.4aの規定に従った3D映像を出力することができる。
• 既存の2Dのみの放送サービスも含め、映像ストリームにおいて
frame packing arrangement SEIを含まないアクセスユニットを検知した場合には、 該当するアクセスユニットは2D信号と判断する。
• 一方、識別信号が無い放送信号に対して手動で3D視聴設定が選択される場合 があることに留意する必要がある。
識別信号
Frame packing arrangement SEI
3D対応 STB 3D対応 TV HDMI 放送信号 MPEG-4 AVC SideBySide (TVで直接受信） (STBで受信） 3D信号[v1.4a] 放送 システム L R L R L R
3D映像を含むイベントが、EPGなど番組情報表示時にも利用者に容易に識別 できるよう、EITに配置される、コンテント記述子における番組特性コードを 拡張定義する。 「TR-B15 第二分冊 第一部 BSデジタル放送運用規定 第四編 付録Bに 対し、表5-1に示すように、番組特性コード表のuser_nibbleに「3D映像放送番 組識別情報」を追加する。
1.5.1. 3D映像番組識別情報符号化規定
1.5 SIにおける3D映像を含むイベントの識別仕様
user_nibbleの上位4ビット 0x0 0x1 0x2 user_ni bbleの 下位4 ビット 流動編成関連付属情報 BSデジタル放送 番組特性情報 3D映像 放送番組 識別情報 0x3～0xE 0xF 0x0 中止の可能性あり 中断ニュースあり 当該イベント 中に3D映像 あり 0x1 延長の可能性あり 当該イベントに関連する臨 時サービスあり 0x2 中断の可能性あり 0x3 同一シリーズの別話数放送の 可能性あり 0x4 編成未定枠 0x5 未定義 （地上デジタルテレビジョ ン放送で使用） 0x6～ 0xE reserved reserved reserved reserved 0xF 未定義 未定義 未定義 未定義 未定義 表5-1 BSデジタル放送用番組付属情報
