グレースケール画像のカラー化
岡山理科大学 総合情報学部 情報科学科
I11I035 外川 真利奈
I11I036 高見 真理菜
2015/03/09
2 目次 1 はじめに ... 1 2 デジタル画像とは ... 2 3 二値化とは ... 3 4 グレースケール変換 ... 3 4.1 中間値法 ... 4 4.2 NTSC 加重平均法 ... 5 4.3 HDTV 法 ... 6 5 原画像とグレースケール画像の比較 ... 7 6 カラー化 ... 8 7 カラー化作業 ... 9 8 その他画像のカラー化 ... 18 9 ソフトウェア比較 ... 19 10 まとめ ... 20 参考文献 ... 21
1 はじめに
近年，スマートフォンの普及，各種サービスの提供により写真を撮る，交換する，とい う機会が増えてきている．そして使われる写真は膨大な量となってきている． その際，自分の伝えたい情報を相手に正確に伝えるためには，グレースケール写真に文 字情報などを加え情報交換するよりも，カラー写真を使う方がスムーズにコミュニケーシ ョンをとることができると考えられる． ところで，写真自体を加工するための画像編集アプリケーションは増え続けいているも のの，グレースケール画像を自動でカラー画像にするという機能を有したソフトウェアは まだないようである．これは，グレースケール画像に色情報が含まれていないからであ り，この色情報を復元するというアルゴリズムが確立されていないからであると考えられ る． このような自動カラー化ソフトウェアがないということは，グレースケール画像のカラ ー化という技術が一般家庭においてまだ一般的ではないと考えられる．そこで私たちは， 着色機能を有した市販のソフトウェアをいくつかとりあげ，グレースケール画像を手動で カラー化するという技術の性能や操作手順の際について比較することにより，カラー化が 一般に普及して行く上での問題点を明らかにしようと考えた． その際，カラー化した画像の比較評価が容易となるよう，カラー画像をグレースケール 変換して得た画像を用いることにした．用いたカラー画像は，澤見研究室画像保管庫にあ るものから選んでいる(図 1)．なお，グレースケール変換についても比較，検討をし，カ ラー化した画像の比較が容易になると考えられるものを選んでいる． 図 1 原画像 『電車の画像』2
2 デジタル画像とは
デジタル画像とは，画素値を 1 と 0(二進法)の組合せにより表したものである．デジタル 画像を表示することのできる機器には，コンピュータ，携帯電話，スマートフォン，タブレ ット端末などがある． デジタル画像は，解像度が固定されているか否かによって，ラスターイメージとベクター イメージに分けることができる．一般に，特に断りがない限り，デジタル画像は解像度の固 定されたラスターイメージを指すことが多い．本研究で用いているラスターイメージは，ピ クセルと呼ばれる画像の最小要素と対応する情報を有したデジタル値を位置情報に従って 有限個並べたものである．ラスターイメージ中の各ピクセルは，一般に二次元領域内の特定 の位置に対応しており，ピクセル値はその位置に対応した単値また多値の画像情報を格納 している．デジタル画像は，標本化により得られるピクセル値を表すために用いるビット数 などの属性によって以下のように分類することができる[1]． (1)二値画像 白と黒ですべて表現された画像 (2)グレースケール画像 白黒でその濃淡が 256 階調で表現される画像 (3)カラー画像 三原色 RGB の組み合わせで表現される画像 上記の分類に沿った各種画像を，原画像中の赤枠部分に注目して，比較できるようにした ものを以下に示す(図 2)． 図 2 デジタル画像の分類 (1)二値画像 (2)グレースケール画像 (3)カラー画像 原画像 13
3 二値化とは
ピクセルの輝度値を 1 ビット(0 または 1)で表現した画像を二値画像データという．複数 のピクセル値を用いる多値画像データを二値画像データに変換することを二値化という． 二値化された画像は，中間色であるグレーを含まない完全な白色と黒色の 2 色で表現さ れた画像となる．一般に，二値化では，任意の閾値を定めそれ以上か未満かで白色か黒色か を決める処理を行う[2]． 以下はある画像に関し 8 ビットで表した輝度値に対して，閾値 100 を用いた二値化を行 っている例である(図 3). 二値化により，対象物の特徴が明瞭になっていることが分かる．4 グレースケール変換
画像中のピクセルを白から黒に渡る複数個の輝度値により表現し，色情報を含まない画 像に変換することである[3]．カラー化作業においてどのようなグレースケール画像を用い るかにより作業効率が異なってくると考えられる．そこで，次に示す 3 種類のグレースケー ル変換について比較し，カラー化を行う標準グレースケール画像にはどれが適しているか を調べることにする．グレースケール画像の比較には目視とエントロピを用いることにす る． ・中間値法 Y(輝度値)＝(max + min )/ 2 ・NTSC 加重平均法 Y(輝度値)= 0.298912*R + 0.586611*G + 0.114478*B ・HDTV 法 R=0.222015*R1x G=0.706655*G1x B=0.071330*B1x Y(輝度値)=(R + G + B)1x x=ガンマ補正値 図 3 閾値 100 で二値化4 4.1 中間値法 ピクセルを構成する三原色の輝度値 RGB の値から，最大値と最小値を取り出し，これらの 平均値を求めてグレースケール化する方法である(図 4)． 計算式： Y(輝度値)＝(max + min )/ 2 (例) 中間値法では，全体の色の違いが明瞭ではなくなり，全てつぶれたようになって，元の 白色だった部分以外はほとんど単調なグレー一色になっていることがわかる．原画像の電 車側面の一部を切り取り拡大することで，目視による比較を行っている(図 5)． 原画像から矢印部分の色を抽出 RGB(48, 170, 255) max=255 min=48 Y=(255+48)/2 ≒152 図 4 中間値法による変換例 図 5 画像の一部を切り取り拡大
5 4.2 NTSC 加重平均法 ピクセルを構成する三原色の輝度値 RGB 値の重み付け平均を求める方法である(図 6)．計 算式の重み付け係数は，国際電気通信連合の規格に規定されている数値に基づいている． 計算式：Y = 0.298912*R + 0.586611*G + 0.114478*B (例) NTSC 法では，人の目に違和感を感じないように，視覚に基づく重み付けをして変換を行 っているため，原画像の色調が自然なグレーとして再現されている．例えば，原画像の電 車側面の青色，赤色，黄色の部分の色の見た目の明るいことがグレースケールでも自然に 再現されていることが分かる(図 7)．特に黄色部の変化が明確に表されている． 原画像から矢印部分の色を抽出 RGB(48, 170, 255) Y=0.298912*48 + 0.586611*170 + 0.114478*255 =143.263536 ≒143
R
G
B
R
図 6 NTSC 法による変換例 HD100 で二値化 図 7 画像の一部を切り取り拡大6 4.3 HDTV 法 Photoshop のグレースケール化コマンドが行っている処理である．HDTV 用の規格を基に した加重平均に，ガンマ補正を行っている(図 8)． 計算式：R=0.222015*R1x G=0.706655*G1x B=0.071330*B1x Y=(R + G + B)1x x=ガンマ補正値 (例) HDTV 法では，原画像の，色が濃く暗いところほど濃く暗いグレーで，明るいところは明 るく表現されている．このことから中間値法や NTSC 変換法よりも，電車の側面に書かれ ている文字の輪郭部分が読み取りやすいグレースケール画像になることがわかる(図 9)．
R
G
B
R
原画像から矢印部分の色を抽出 R1G1B1 (48, 170, 255) →それぞれを 255 で割ることによって正規化 R1=0.188235 G1=0.666667 B1=1 x=2.2(ガンマ補正値) R=0.222015*0.1882352.2 G=0.706655*0.6666672.2 B=0.071330*12.2 Y1=(1109.464 + 57042.04 + 14049.49)2.21 =0.633707 Y=Y1*255 =161.5953 ≒162 図 8 HDTV 法による変換例 図 9 画像の一部を切り取り拡大7
5 原画像とグレースケール画像の比較
比較において使用する平均情報量の求め方は以下の通りである．ここに示す例では原画像の エントロピを算出している(図 10)． 原画像 Pk -PklogPk 0 1 0.000001 0.000005 1 2 0.000002 0.000009 2 1 0.000001 0.000005 3 6 0.000005 0.000026 … … … … 252 816 0.000664 0.002110 253 1022 0.000832 0.002562 254 1064 0.000866 0.002652 255 486 0.000396 0.001346 合計 合計 1228800 2.266110 グレースケール変換した画像のエントロピを算出して比較する(表 1)． 表 1 原画像とグレースケール画像の比較 原画像 7.5278 bit/pixel 中間値法 7.49182 bit/pixel NTSC 法 7.34908 bit/pixel HDTV 法 7.55327 bit/pixel 比較した結果，HDTV 法が原画像と数値が一番近い大きな値になっている．カラー化を行 う際，エントロピが大きい，すなわち情報量の多いこの HDTV 法を用いるとカラー化の作業 効率が上り，比較が容易となると考えられるので，これを標準グレースケール画像とした． ImageJ から画像の頻度分 布をエクセルに取り込む 情報量の合計を算出 エントロピを算出 単位 bit/pixel 図 10 エントロピ算出方法 エントロピの計算式：−Pk ∑ 𝑙𝑜𝑔Pk/𝑙𝑜𝑔2
k Pk≠08
6 カラー化
これまで変換してきたグレースケール画像にカラー化作業を行う．本研究では市販のソ フトウェアのうち，Photoshop，はいから，Recolored の 3 点を選びカラー化を行った．各 ソフトウェアの概要と，これらを本研究で用いることにした理由について説明する． (1) Adobe Photoshop CS2 Adobe System Software 開発写真編集に渡る全般処理を目的としたソフトウェアであり，画像分野では代表的な存在 となっている[4]．知名度が高く，機能性に優れていると考えられるため使用した． (2)はいから IPA(情報処理推進機構) 開発 白黒画像を色付けしてカラー画像にするソフトウェアである．着色したい部分を切り出 して色付けする作業を効率的に行えるよう，独自の機能を備えている[5]．日本で開発さ れたソフトウェアであるため使用した． (3)Recolored Bertheussen IT 開発 白黒写真のカラー化のためのソフトウェアであり，カラー写真の修復の他にもデジタル 画像のための編集機能も備えている[6]．ホームページに掲載されている Recolored の説 明文に，少ない労力で結果を達成することができるとあったため使用した．
9
7 カラー化作業
それぞれのソフトウェアの実際の作業手順について説明し，評価の容易な以下の項目に ついて，性能と作業手順の差異を比較検討する．カラー化を行う際に参照する色情報は，原 画像のものを用いることにする(図 1)． ・繰り返す作業手順 ・作業時間 ・使用した機器 ・使用したツール ・着色作業を円滑にした点 ・着色作業に手間取った点 (1)Adobe Photoshop CS2[7] メニュー[ファイル][開く]から，グレースケール画像を表示する(図 11.1)． 図 11.1 Photoshop ステップ 1 メニュー[イメージ][モード]から[RGB カラー]を選択する(図 11.2)． 図 11.2 Photoshop ステップ 2 新規レイヤー作成ボタン(赤色の枠内)を押し，レイヤー1 を選択する(図 11.3)． 図 11.3 Photoshop ステップ10 ブラシツール(赤色の枠内)を選択し，カラーパネルから色を選択する(図 11.4）． 図 11.4 Photoshop ステップ 4 パーツを塗りつぶす(図 11.5)． 図 11.5 Photoshop ステップ 5 ソフトライトを選択すると，塗った色が透けて見える(図 11.6)． 図 11.6 Photoshop ステップ 6 余分な部分を消しゴムツール(赤色の枠内)で消していく(図 11.7)． 図 11.7 Photoshop ステップ 7
11 ステップ 3 から 7(図 11.3～11.7)を繰り返すことにより完成した画像が得られる(図 11.8)． 図 11.8 Photoshop 完成 完成した画像を得るための，性能と作業手順に関し順に評価していく．カラー化のため の作業は，先に示した 5 ステップ(図 11.3～11.7)を対象物毎に繰り返すことで完了する． その結果，カラー化のための作業は１日で完了することができる．ここで使用したツー ルはブラシツール，消しゴムツールである．Photoshop は，カラータイプやペンツールの 種類が豊富で，いろいろな状況にも対応できる．しかし，影の部分は日の当たり具合を想 像して着色しなければいけないため，現実的なカラー化は難しいといえる． これらのことをまとめると以下のようになる(表 2)． 繰り返す作業手順 5 ステップ(図 11.3～11.7) 作業時間 １日で完了 使用した機器 マウス，ペンタブレット 使用したツール ブラシツール，消しゴムツール 着色作業を円滑にした点 カラータイプ，ペンツールの種類が豊富である 着色作業に手間取った点 影の部分は日の当たり具合を想像して着色しなければ いけない 表 2 Photoshop－性能と作業手順について
12 (2)はいから[8] メニュー[ファイル][着色画像を開く]から，着色したいグレースケール画像を左に，メニ ュー[ファイル][参照画像を開く]から，参照となるカラー画像を右に表示する(図 12.1)． 図 12.1 はいからステップ 1 着色画像(左)からマウスをドラッグすることにより着色したい範囲を選択し，参照画像 (右)から参照する色の範囲を選択する(図 12.2)． 図 12.2 はいからステップ 2 領域(赤色の枠内)を選択して見ると，色が適切に選択できているのがわかる(図 12.3)． 図 12.3 はいからステップ 3
13 ツールバーから筆(赤色の枠内)を使用し，着色画像(左)の範囲を細かく選択する(図 12.4)． 図 12.4 はいからステップ 4 領域を選択して見ると，以下のようになる(図 12.5)． 図 12.5 はいからステップ 5 参照画像(右)の選択範囲と，着色画像(左)の選択範囲を線(黒色の線)で結ぶ(図 12.6)． 図 12.6 はいからステップ 6
14 ステップ 2 から 6(図 12.2～12.6)を繰り返すことにより完成した画像が得られる(図 12.7)． 図 12.7 はいから完成 完成した画像を得るための，性能と作業手順に関し順に評価していく．カラー化のための 作業は，先に示した 5 ステップ(図 12.2～12.6)を対象物毎に繰り返すことで完了する．作 業は１日で完了することができる．今回使用したツールは筆(細，太)，消しゴムである．は いからは，カラーパネルなどで色を選択しなくてもよいため，色選択が容易である．しかし， 領域の選択に手間がかかるという点が着色作業において手間取ったといえる． これらのことをまとめると以下のようになる(表 3)． 繰り返す作業手順 5 ステップ(図 12.2～12.6) 作業時間 １日で完了 使用した機器 マウス 使用したツール 筆(細，太)，消しゴム 着色作業を円滑にした点 カラーパネルなどで色を選択する必要がない 着色作業に手間取った点 領域選択に手間がかかる 表 3 はいから－性能と作業手順について
15 (3)Recolored[9]
メニュー[File][Open]から，グレースケール画像を表示する(図 13.1)．
図 13.1 Recolored ステップ 1
カラーパネルから Primary Color(赤色の枠内)の Color Picker から色を選択する(図 13.2)． 図 13.2 Recolored ステップ 2 ツールバーから Brush Tool(赤色の枠内)を使用し，着色したい部分を線で囲む(図 13.3)． 図 13.3 Recolored ステップ 3
16 ステップ 2 と 3(図 13.2，13.3)を繰り返すことで線の数を増やす(図 13.4)． 図 13.4 Recolored ステップ 4 ツールバーから Colorize(赤色の枠内)を選択することで，結果が得られる(図 13.5)． 図 13.5 Recolored ステップ 5 Colorize した結果を見ながら，微調整を行う(図 13.6)．
17 図 13.6 Recolored ステップ 6 ステップ 2 から 6(図 13.2～13.6)を繰り返すことにより完成した画像が得られる(図 13.7)． 図 13.7 Recolored 完成 完成した画像を得るための，性能と作業手順に関し順に評価していく．カラー化のため の作業は，先に示した 5 ステップ(図 13.2～13.6)を対象物毎に繰り返すことで完了する． 作業は１日で完了することができる．今回使用したツールは Brush Tool，Line Tool， Eraser Tool，Colorize，Color Replaceである．Recolored は，線で囲むという作業のた め，単純な作業である．しかし，線が交わり，境界線が曖昧であるとカラー化に不具合が 出てしまい，とても細かい作業となることがわかった． これらのことをまとめると以下のようになる(表 4)． 繰り返す作業手順 5 ステップ(図 13.2～13.6) 作業時間 １日で完了 使用した機器 マウス，ペンタブレット
使用したツール Brush Tool，Line Tool，Eraser Tool， Colorize，Color Replace
着色作業を円滑にした点 線で囲むという点が，単純な作業であるといえる 着色作業に手間取った点 線が交わり，境界線が曖昧であるとカラー化に不
具合が出るのでとても細かい作業となる 表 4 Recolored－性能と作業手順について
18
8 その他画像のカラー化
前章では，カラー原画像をグレースケール変換し，カラー原画像の色情報を元にカラー 化を行い結果を得た(図 14)．ここでは，対象物の色情報をインターネットで検索し，それ を元にグレースケール画像をカラー化した(図 15)．そのため，画像中の対象物として土と プランターと多肉植物を取り上げた．土とプランターの色については一般に見かけるもの にはどんな色が多いのかを検索した結果を元に色を決定した．多肉植物の色についてはそ の種と名称を確認し，どんな色をしているかを検索結果の中から選んだ． 各ソフトウェアについて，同じ作業を行うことによってカラー化を行うことが出来るか を調べるために，以下の画像（澤見研究室画像保管庫）を原画像に用いて性能と作業手順の 比較を行うことにした．画像は一度 HDTV 法で変換をほどこしたものである(図 16)． 以下に示すように，比較的自然な結果を得ることが出来た(図 17～19)． 性能と作業手順については，前章までの結果とほぼ同じであった（表 2～4）．プランタ ーに着色することは容易であったが，先の例に示したような原画像の色情報を利用してい ないことから，多肉植物の葉の色を再現することはひときわ難しい作業であった． 対象物の色情報 インターネット検索 図 16 原画像 2 『多肉植物の画像』 図 17 Photoshop 結果 図 18 はいから結果 図 19 Recolored 結果 図 14 原画像の色情報を元にしたカラー化完了までの流れ 図 15 検索した色情報を元にしたカラー化完了までの流れ 原画像 グレースケール変換 カラー化 グレースケール画像 カラー化19
9 ソフトウェア比較
実際に使用したソフトウェアについて，カラー化を行う際に感じた特徴をまとめて以下 に列記する． (1)Adobe Photoshop CS2 塗り絵のように色付けをすることで着色作業を行うソフトウェアであった．ペンツール の種類，色調の選択肢の豊富さがこのソフトウェアの利点であると考えられる．また，編集 機能が豊富なので，画像自体の編集も円滑に行うことが出来る．領域設定をする際に，新規 レイヤーを用いてパーツごとに着色を行えるので，境界線が重なることによって色が大き く滲むことがない．ただし，色の変化は見られた．影や色の濃さを自動調節するという機能 を有していないため，自分で色を調節しなければならない． このソフトウェアはマウスだけの操作でも作業を行うことも十分に可能であると考えら れたが，ペンタブレットを使うことにより作業効率は上がると考えられる． (2)はいから 参考画像から色を移すことで着色作業を行うソフトウェアであった．ある程度の領域選 択を自動で行ってくれることがこのソフトウェアの利点であると考えられる．"右から左へ 色を移す"という手順が，短時間でソフトウェアに慣れることに繋がった．自動で選択され た領域は完全ではないため，筆を使って細かく設定する必要がある．着色した際に，影や色 の濃さを自動調節するという機能を有していた． このソフトウェアはマウスだけの操作により十分な作業が行えると考えられる． (3)Recolored 線で細かく領域設定をしていくことで着色作業を行うソフトウェアであった．線を引く という作業が単純であることがこのソフトウェアの利点であると考えられる．一度塗った パーツの色を変更する，という作業が容易に行うことができた．線が交わり，境界線が曖昧 であるとカラー化の際に色が滲み再現度に不具合が生じるので，領域を設定する際に境界 線が重ならないように調節しなければならない．着色した際に，影や色の濃さを自動調節す るという機能を有していた． このソフトウェアはマウスだけの操作でも作業を行うことも十分に可能であると考えら れたが，ペンタブレットを使うことにより作業効率が上がると考えられる．20
10 まとめ
それぞれのソフトウェアに関し，以下の 3 点が作業効率に影響していると考えられる． ・領域選択の手間 ・ペンツールの種類 ・ペンタブレットの有無 各ソフトウェアの大きな違いは領域選択の方法にあることがわかった．また，この色を付 ける領域を設定するための作業量が作業時間の大部分を占めることが分かった．これが改 良され，自動化が進むとより使いやすくなると考えられる． また，ペンツールの種類の豊富さが作業効率をあげることがわかった．Photoshop ではペ ンツールの種類や形，大きさを自由に選択することができ，パーツの大きさによって使い分 けることで作業効率を上げたと考えられる．はいからや Recolored は，ペンの太さをある程 度調節することが出来たが，作業自体に使えるペンの種類は 1 種類であった．ペンツールの 形によって着色の際に有利な効果をもたらすような機能があれば，作業効率が上がるので はないかと考えられる． 使用した全てのソフトウェアに関し，完成までの作業時間はすべて 1 日であったことか ら，時間に大きな差は見られなかった．しかし Photoshop と Recolored に関しては，カラー 化の際，ペンタブレットを使用して細かい作業を行ったため，その結果が反映されていると 考えられる．ただしペンタブレットの有無で再現度に影響は無いと考えられる． 本来，どのソフトウェアにおいても，元の色がグレースケール画像からは想像することが 出来ない．そのため，グレースケール画像のみからのカラー化では，当初考えていたような ソフトウェアによる再現度の大きな差は見られなかった．また，カラー化が一般に普及する には，作業時間の長いことが問題になるものと考えられる． 今後の課題としては，以下のことが考えられる． ・領域選択にどんな理論が存在するかを調べること ・エントロピの低いグレースケール画像を使用してカラー化を行うと作業時間や作業効 率にどのような影響が出るのかを調べること ・色情報に関する文書などの文字情報を利用することで，作業時間や作業効率にどのよ うな影響が出るかを調べること21
