解 説 01
スーパーハイビジョン
撮像技術の研究開発動向
島本 洋
次
世代の高臨場感放送システムである8Kスーパーハイビジョン(以下,8K )は,2018年12月にいよいよ本放送の開始を迎える。 そして,
2020年には多くの放送番組が8Kで制作され,全国のパブリックビューイン グの会場やご家庭で8Kの迫力ある映像をお楽しみいただける予定である。
8Kの映像パラメーターの規格はITU-R(International Telecommunication Union - Radiocommunication Sector:国際電気通信連合無線通信部門)に おいて標準化されているが,この規格を満たす放送を実現するためには,その映 像を取得するための撮像技術が重要となる。本稿では,スーパーハイビジョン撮 像技術の研究開発動向と,スポーツ中継で要望が高まっている8K高速度撮像技 術について解説する。
1.まえがき
次世代の高臨場感放送システムである8Kスーパーハイビジョン1)(以下,8K)は,2016 年から試験放送が行われており,2018年12月にはいよいよ本放送の開始を迎える。そして,
2020年には多くの放送番組が8Kで制作され,全国のパブリックビューイングの会場やご 家庭で8Kの迫力ある映像をお楽しみいただける予定である。
8Kの映像方式は,ITU-R(国際電気通信連合無線通信部門)において,ITU-R勧告 BT.2020 2)およびBT.2100 3)として標準化されている。その主な映像パラメーターを1表に 示す。解像度は7,680×4,320または3,840×2,160で,それぞれ8K,4Kと呼んでいる。フレー ム周波数は120Hzから24Hz(およびその1/1.001倍)までが規定されており,現在の試験 放送は60/1.001Hzで行われている。階調は12ビットまたは10ビットで,色域については従 来のハイビジョン放送よりも広い色域が規定されている。ダイナミックレンジは,従来と同 じ標準ダイナミックレンジ(Standard Dynamic Range:SDR)と,より広い明暗の幅を 持つ高ダイナミックレンジ(High Dynamic Range:HDR)の両方が規定されている。
このような映像規格を満たす放送を実現するためには,その映像を取得する撮像技術 が重要となる。NHKではこれまでに,8K用のイメージセンサー技術およびカメラ技術の 研究開発を進めてきた。また近年は,メーカー製の実用的なカメラも開発されてきた。本 稿では,スーパーハイビジョン撮像技術のこれまでの研究開発動向を紹介するとともに,
2020年に向けて,特にスポーツ中継で要望が高まっているスローモーション映像を実現す るための8K高速度撮像技術について解説する。
解 説 01
2.8Kスーパーハイビジョン撮像技術とカメラ開発動向
2.1 光学サイズと解像度,被写界深度の関係
8K用カメラは,これまでのハイビジョン用カメラと比較して16倍の画素数を有し,非常 に高い精細度で撮影できることが特長である。それゆえ,レンズ等の光学系の解像度の 影響も受けやすくなる。一般に光学レンズは,収差*1の無い理想的なレンズでも,光の 回折効果により空間周波数の高域で解像度特性が低下する。 解像度特性は,MTF
(Modulation Transfer Function)*2により表現する。収差の無い理想レンズの解像度特 性は,以下の(1)式で表される。
2β-sin2β
MTFlens = π (1)
ただし,β = cos-1(λFNO・f/2V)
ここで,λは光の波長,
F
NOはレンズの絞り値(いわゆるF値),fは空間周波数(TV本),V
は像面垂直長(センサーの垂直方向の長さ)を示す。また,イメージセンサーは画素で光を受けるが,その画素の開口形状により解像度特 性が低下する。画素の開口形状は,画素開口率(画素のサイズに対する,光が入る開口 の割合)で表される。1次元方向の画素開口率を
α
としたときの解像度特性は,(2)式で 表される。MTFapt = sin(π α)f fs π αf
fs
(2)
ここで,
f
sはサンプリング周波数(TV本)を示す。そのほかにも,光学系の解像度特性に影響を与える要素として,イメージセンサーの画 素による空間サンプリングの折り返し成分を抑圧するための,光学ローパスフィルター
(LPF)の特性もある。このLPFの特性と,
MTF
lensおよびMTF
aptを乗じたものが,カメ ラの総合解像度特性となる。1図に,レンズのF値(
F
NO)が5.6,波長λが550nm(緑色),画素開口率が100%(α
=1),*1
レンズの光学系において,被写 体から像へ変換する際に幾何 的に発生する,広がり,曲がり,
ひずみなどの理想的な結像から のずれ。
*2
撮像系を構成する要素(レンズ や撮像素子など)の空間周波数
(単位長当たりの波数)の伝達 特性を表す関数であり,対象と なる要素を通過したときのコント ラストの低下量(ぼけの量)を表 す。コントラストの低下が全く無 い場合が1,コントラストが低下 し,白黒の濃淡が全く無くなっ た場合が0となる。
1表 スーパーハイビジョンの主な映像パラメーター
アスペクト比 16:9
画素数 7,680×4,320, 3,840×2,160
フレーム周波数(Hz) 120, 120/1.001, 100, 60, 60/1.001, 50, 30, 30/1.001, 25, 24, 24/1.001
走査方式 プログレッシブ(順次)走査
表色系
(xy色度図における座標)
原色 x y
赤(R) 0.708 0.292
緑(G) 0.170 0.797
青(B) 0.131 0.046
基準白色 0.3127 0.3290
階調 (ビット) 10, 12
ダイナミックレンジ SDR(標準), HDR(高ダイナミックレンジ)
LPFは不使用とした場合の,センサーサイズごとの総合解像度特性の計算値を示す。こ の図から分かるように,センサーサイズが大きくなるほど,解像度特性は高くなる。
一方,レンズには焦点が合う範囲(被写界深度)があり,後方被写界深度は(3)式,
前方被写界深度は(4)式でそれぞれ表され,その合計が被写界深度となる。
後方被写界深度= δ・FNO・l2
s2 -δ・FNO・l (3)
前方被写界深度= δ・FNO・l2
s2 +δ・FNO・l (4)
ただし,δは許容錯乱円直径*3(mm),
l
は被写体距離(被写体までの距離)(mm),s
はレンズの焦点距離(mm)を示す。2表に,許容錯乱円直径を画素サイズの2倍,レンズのF値(
F
NO)を5.6,被写体距離l
を6mあるいは10m,レンズの焦点距離を水平画角がおよそ20度となるように選んだ場合 の,センサーサイズごとの被写界深度(m)を示す。センサーサイズが小さいほど被写界 深度が深くなり,ピントが合わせやすくなる。(1)~(4)式より,カメラを設計する場合は,解像度特性と被写界深度の両方を考慮 し,所要の性能に合わせて設計する必要があることが分かる。一般に,8K解像度を得
*3
結像面上での像は,ぼやけて 円形となるが,それでもピントが 合っていると見なされる直径の 範囲。
1図 センサーサイズごとの総合解像度特性
2表 センサーサイズごとの被写界深度の計算例 センサーサイズ
(水平×垂直) 許容錯乱円
直径 レンズの
焦点距離 被写体距離
6m 被写体距離 10m 1.25インチ
(16.1×9.1mm) 4.2μm 45mm 0.8m 2.3m
スーパー35mm
(24.6×13.8mm) 6.4μm 70mm 0.5m 1.5m
フルサイズ35mm
(37.6×21.2mm) 9.8μm 100mm 0.4m 1.1m
(レンズの絞り値=F5.6,水平画角およそ20度,許容錯乱円直径を画素サイズの2倍とした場合)
レンズF値=5.6 波長=550(nm)
画素開口率100%
限界解像度8K
0 1,000 2,000 3,000 4,000 5,000 6,000 7,000 8,000 9,000 1
0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0
解像度(MTF)
空間周波数 f (TV本)
フルサイズ35mm スーパー35mm
1.25インチ
解 説 01
るためには,光学サイズ(センサーサイズ)が1.25インチ程度以上であることが望ましい。
2.2 放送用8Kカメラの開発動向
NHKでは,2Kを超えるカメラの研究を1995年に開始し,2002年に初めての実験用8K カメラを開発した4)。その後も,カメラ性能を改善するための技術研究や,実用的なカメ ラの実現に向けた開発を進め,2010年に初めて実用的な8Kカメラを開発した(2図(a))。
このカメラの撮像方式は,1.25インチ890万画素のイメージセンサーを4枚使用した4板撮 像方式*4であった。カメラヘッドの重量は約20kgと放送用としては大型だが,ロンドンオ リンピックの生中継や,リオのカーニバル,紅白歌合戦など,数多くの国内外での撮影に 用いられ,黎れい明めい期きの8Kコンテンツ制作を支えたカメラであった。
2014年には,映画用の高精細単板式カメラを用いて,ライブ映像が出力できるように 改修したカメラシステムが開発された5)(2図(b))。このカメラはスーパー35mmサイズと 呼ばれる光学系(およそ1.7インチに相当)を用いており,映画用のレンズを使用できる。ま た,小型の映像記録用メモリーを内蔵し,屋外に持ち出してバッテリーで駆動することに より,ロケ撮影が可能な初のカメラでもあった。
2014年には,本格的なマルチカメラシステム*5に対応可能な単板式カメラが開発され た6)(2図(c))。重量は8.5kgと小型で,光複合ケーブル*6を用いて中継運用が可能で ある。また,スタジオや劇場でも使用可能な静音設計(約30dB)が施されるとともに,
野球中継などで使用する大型の箱型望遠レンズの運用が可能であり,放送現場で求めら れる多くの要望に応えたカメラであった。
また同時期に,マルチパーパスカメラも開発された6)(2図(d))。このカメラは,分離 型小型カメラヘッドと収録装置ユニットによるロケ運用が可能で,防振雲台や水中ブリン プ装置*7などにも対応可能である。
さらに2017年には,初の実用的な3板式カメラが開発された7)(2図(e))。光学サイ ズは1.25インチで,これまでに開発された8K用高性能ズームレンズが使用可能である。同 年の紅白歌合戦で初めて本格運用され,今後はスポーツコンテンツの撮影など,多くの 撮影現場で使われていく予定である。
一方,映画用のカメラに関しても,8Kに相当する高精細なカメラが開発されている。前 述の映画用カメラのほか,ヘッド重量が僅か1.5kgで,記録メディアも内蔵した超小型単 板カメラが開発された8)(2図(f))。このカメラは収録専用のためライブ出力はできないが,
*4
4枚の4K画像(G,G,B,R:緑・
緑・青・赤)から8Kカラー画像 を合成する方式。デュアルグリー ン方式とも呼ぶ。
*5
中継やスタジオ撮影などで複 数台のカメラを用いて撮影する システム。カメラコントロール 装 置(CCU:Camera Control Unit)を中継車や副調整室など に設置し,一括してカメラの調 整を行うことも可能。
*6
光ファイバーと電源ケーブルが 同梱された汎用放送カメラ用 ケーブル。1本で電源,映像出力,
リターン映像,レンズコントロー ル,インカム・タリーなど,カメ ラに必要な信号を伝送できる。
*7
水中撮影用の防水カメラケース。
2図 主な放送用8Kカメラ
(a)4板式カメラ (b)単板式カメラ (c)マルチカメラシステムに
対応可能な単板式カメラ
(d)マルチパーパスカメラ (e)1.25インチ3板式カメラ (f)映画用カメラ (超小型単板カメラ)
小型で機動性も高いため,南極での撮影などにも使用された。
2.3 8Kカメラフォーカスアシスト技術
8Kカメラは高精細であるため,ピント調整が重要である。しかしながら従来の8Kカメ ラは,ビューファインダーと呼ばれるカメラマン用のモニターの解像度が低く,撮影しなが らピント調整することが困難であった。そこで,低解像度モニターでもピント調整がしや すくなるように,フォーカスアシスト技術を開発した。この技術の詳細については,本特 集号の報告「8Kカメラ用フォーカス補助信号の視認性改善技術」を参照していただきたい。
2.4 8Kイメージセンサー技術
8Kカメラの開発には,イメージセンサーの開発が欠かせない。これまでにも,NHKの 他にさまざまなメーカーから8K用イメージセンサーの開発例が報告されている9)~11)。 3図に,NHKが静岡大学との共同研究で開発した8Kイメージセンサーの例を示す12)。こ れは画素数3,300万,フレーム周波数120Hzの,フルスペック8K用イメージセンサーであり,
これを60Hzで駆動したものが前述の放送用カメラ(2図(c)(d))でも使用されている。
3図 8Kイメージセンサーの外観
4図 8Kイメージセンサーの内部構造
垂直駆動回路 垂直駆動回路
4 4 4 4 4 4 4 4
4 4 4 4 4 4 4 4
垂直駆動回路
14-bit カラム並列ADC 出力回路 出力回路
CDS 14-bit カラム並列ADC
CDS
有効画素数:
7,680(H)×4,320(V)
画素サイズ:
3.2μm×3.2μm
解 説 01
4図に,8Kイメージセンサーの内部構造を示す。このように多画素で高フレーム周波数 のイメージセンサーの多くがCMOS(Complementary Metal Oxide Semiconductor)技 術を用いており,イメージセンサーの内部にADC(Analog-to-Digital Converter)回路を 内蔵している。画素から読み出された信号はCDS(Correlated Double Sampling:相関 二重サンプリング)*8と呼ばれる回路でノイズ成分を低減した後,ADC回路でデジタル信 号に変換される。ADC回路は高精度で高速に動作させる技術が重要であり,各社がさま ざまな工夫を凝らしている。当所では静岡大学と共同で,サイクリック方式を応用した多 段サイクリック型*9ADCを開発し,画素数3,300万,フレーム周波数120Hz,階調14bit,
消費電力3.2Wのイメージセンサーを実現した。このイメージセンサーの仕様を3表に示す。
3.8K高速度撮像技術
NHKでは,スポーツなどの速い動きを8Kスローモーション映像で鮮明に捉えることを 目指して,8Kスローモーションシステムの開発にも取り組んでいる。本章では,2020年に 向けて開発を進めている4倍速の8Kスローモーションシステムについて紹介する。
8K・4倍速スローモーションシステムは,8K映像を通常の4倍のフレーム周波数240Hz で撮影・記録し,60Hzで再生することで,1/4の速度となる8Kスローモーションを実現する。
そのためには,撮像装置だけでなく,記録装置,および映像信号の伝送装置などの高速 化が必要となる。試作した高速度撮像・記録実験装置( 8Kスローモーション実験装置)
を5図に示す13)。この装置は,高速度撮像装置と高速度記録・スロー再生装置(以下,
*8
信号を読み出す際に,信号検 出回路の,リセット直後の電圧 と,信号電圧の両者をサンプリ ングして差を取ることにより,雑 音をキャンセルする技術。
*9
サイクリック方式によるAD変換 回路を縦列に複数接続し,それ ぞれの回路を並行して同時に動 作させることにより,短い時間 でAD変換を行えるようにしたも の。
5図 高速度撮像・記録実験装置 3表 8Kイメージセンサーの仕様
パラメーター 値
有効画素面積 24.6 × 13.8 mm 光学サイズ 1.7インチ / スーパー 35mm
有効画素数 7,680 × 4,320
画素サイズ 3.2 × 3.2μm
フレーム周波数 120 Hz
走査方式 順次走査
階調 14 bits
消費電力 3.2 W
出力インターフェース 1 Gbps × 64-ch SLVS※
出力データレート 64 Gbps
※ Scalable Low Voltage Signaling:スケーラブル低電圧信号伝送
撮像素子駆動部
シングルモード光ファイバーケーブル
(光波長多重伝送) U-SDIインターフェース
(8K・120Hz・4:4:4を8K・240Hz・4:2:0に変換して使用)
信号処理部 高速度記録・スロー再生装置
(スロー装置)
高速度撮像装置
スロー装置)から構成されている。
高速度撮像装置で使用する撮像素子として,240Hzで撮影が可能なモノクロ8K撮像素 子を開発した14)。撮像素子の出力データレートは144Gbpsと高速であるため,撮像素子 駆動部と信号処理部(CCU:Camera Control Unit)の接続は,複数の光トランシーバー と光波長多重技術を用いて,光ケーブル1本で伝送している。信号処理部からの8K・
240Hz映像信号は,8K・120Hz用 U-SDIインターフェース(Ultrahigh-definition Signal/
Data Interface)を用いて8K・120Hz・4:4:4*10映像信号を8K・240Hz・4:2:0映像信号に 変換して出力することにより,1本のケーブルで8K・240Hzの伝送を可能とした。スロー 装置では,フルスペック8K用に開発された圧縮記録装置を改修し,8K・240Hzの映像を 記録した。
本装置で撮像・収録した画像の例を6図に示す。6図の切り出し画像は,評価用画像 を印刷した被写体を水平方向に一定速度で動かしながら撮影した映像の一部を切り出し たものであり,60Hz画像(4フレーム加算平均:フレーム周波数60Hzの通常の8K映像に 相当)と比較すると,240Hz画像では,動きぼやけの少ない鮮明な画像が確認できる。
この240Hz画像を60Hzで再生することにより,鮮明な8Kスローモーション映像を得ること ができる。
NHKではさらに,次の世代の8Kスローモーションシステムの開発に取り組んでいる。
今回新たに,1.25インチサイズで,最大480Hzで撮像可能な高速度8Kイメージセンサーを 開発した15)。 また, 記録装置についても, 新たに長時間収録に対応したほか,8K・
240Hz映像を収録しつつ,8K・60Hzのスロー映像を同時に再生可能な機能を実現した。
これにより,例えばスポーツ競技などで競技開始から終了まで連続で8K・240Hz映像を 収録しつつ,撮影中にスロー再生を行い,競技終了直後にダイジェスト再生を行うことな ども可能となる。
4.あとがき
本稿では,実用化が進む8K撮像技術について,研究開発動向を紹介した。8Kスーパー ハイビジョンは,2018年12月には本放送の開始が予定され,さまざまな番組が放送され る予定である。豊かな8Kコンテンツの制作を支える撮像技術の重要性は,ますます高まっ ている。8Kならではの高解像度を実現するためには,高い性能のイメージセンサーの開 発と,さまざまな撮影スタイルを実現するカメラの開発が欠かせない。NHKでは今後も,
スーパーハイビジョン撮像技術の研究開発を推進していく。
*10
色差信号の水平および垂直の 画素数が輝度信号と等しいも のを4: 4: 4,水平方向に半分 に間引いたものを4: 2: 2,水 平方向と垂直方向ともに半分に 間引いたものを4:2:0と呼ぶ。
6図 高速度撮像・記録実験装置で収録した画像の例 240Hz画像 切り出し画像
移動方向
60Hz画像 (4フレーム加算平均)
解 説 01
参 考 文 献
1) M. Sugawara, M. Emoto, K. Masaoka, Y. Nishida and Y. Shishikui:“Super Hi- Vision for the Next Generation Television,” ITE Trans. on MTA,Vol.1,No.1,
pp.27-33 (2013)
2) Rec. ITU-R BT.2020, “Parameter Values for Ultra-high Definition Television Systems for Production and International Programme Exchange” (2012)
3) Rec. ITU-R BT.2100, “Image Parameter Values for High Dynamic Range Television for Use in Production and International Programme Exchange”
(2016)
4) K. Mitani et al.:“Ultrahigh-definition Color Video Camera System with 4K-scanning Lines,” Proc. of SPIE, Vol.5017, pp.159-166 (2003)
5) Ichikawa et.al:“Development of Super Hi-Vision (8K) Baseband Processor Unit
“BPU-8000,” SMPTE Conf. Proc., October 2014 (2014)
6) 三橋:“実用的な8K単板カ メ ラ シ ス テ ム の開発,” 映情学誌, Vol.71, No.1, pp.J51-J55
(2017)
7) T. Sakiyama, T. Yamashita, T. Hanatani and S. Mitsuhashi:“A Newly-developed 8K/HLG Broadcasting Camera System with Three CMOS Image Sensors,”
IBC2017 (2017)
8) RED WEAPON 8K S35, http://jp.red.com/products/weapon-8K-jp
9) T. Toyama, K. Mishina, H. Tsuchiya, T. Ichikawa, H. Iwaki, Y. Gendai, H. Murakami, K.
Takamiya, H. Shiroshita, Y. Muramatsu and T. Furusawa:“A 17.7Mpixel 120fps CMOS Image Sensor with 34.8Gb/s Readout,” ISSCC Dig. Tech. Papers (2011)
10) Canon報道発表2015年9月8日, http://global.canon/ja/news/2015/p2015sep08j02.html 11) K. Nishimura, S. Shishido, Y. Miyake, M. Yanagida, Y. Satou, M. Shouho, H.
Kanehara, R. Sakaida, Y. Sato, J. Hirase, Y. Tomekawa, Y. Abe, H. Fujinaka, Y.
Matsunaga, M. Murakami, M. Harada and Y. Inoue:“An 8K4K-Resolution 60fps 450ke-Saturation-Signal Organic-Photoconductive-Film Global-Shutter CMOS Image Sensor with In-Pixel Noise Canceller,” IEEE ISSCC, 5.2 (2018)
12) T. Yasue, K. Kitamura, T. Watabe, H. Shimamoto, T. Kosugi, T. Watanabe, S.
Aoyama, M. Monoi, Z. Wei and S. Kawahito:“A 14-bit, 33-Mpixel, 120-fps Image Sensor with DMOS Capacitors in 90-nm/65-nm CMOS,” IISW, pp.200-203 (2015)
13) 梶山, 船津, 山崎, 安江, 菊池, 小倉, 宮下, 島本:“高速度モノクロ撮像装置および圧縮記録技術 を用いた8K/240fpsスローモーションシステム,” JCHSIP, 8-2 (2017)
14) T. Arai, T. Yasue, K. Kitamura, H. Shimamoto, T. Kosugi, S-W. Jun, S. Aoyama, M-C. Hsu, Y. Yamashita, H. Sumi and S. Kawahito:“A 1.1-µm 33-Mpixel 240-fps 3D-Stacked CMOS Image Sensor with 3-Stage Cyclic-Cyclic-SAR Analog-to- Digital Converters,” IEEE Trans. on Electron Devices, Vol. 64, No.12, pp.4992- 5000 (2017)
15) T. Yasue, K. Tomioka, R. Funatsu, T. Nakamura, T. Yamasaki, H. Shimamoto, T.
Kosugi, S-W. Jun, T. Watanabe, M. Nagase, T. Kitajima, S. Aoyama and S.
Kawahito:“A 2.1μm 33Mpixel CMOS Imager with Multi-Functional 3-Stage Pipeline ADC for 480fps High-Speed Mode and 120fps Low-Noise Mode,” IEEE ISSCC 5.6 (2018)
島し ま
本も と
洋ひろし
1991年入局。金沢放送局を経 て,1993年から放送技術研究 所において,固体撮像素子を 用いた撮像技術,スーパーハイ ビジョン用カメラおよびイメー ジセンサーの研究開発に従事。
2007年から2010年まで(財)
NHKエンジニアリングサービス に出向。現在,放送技術研究 所テレビ方式研究部上級研究 員。博士(工学)。