電気工学科情報工学教室玉木明和 　　　　　・　　　　加　　藤　　清　　史

コンピュータによる略画生成の試み

（平成3年11月30日 原稿受付）

電気工学科情報工学教室玉木明和

     ・    加  藤  清  史

On the Trial of the Sketch Production by Computα

by Akikazu TAMAKI   Kiyoshi KATO

Abst懸￠t

  Acomputer understands the information contained in the input image in the fi企ld of image understanding． And also a computer outputs an image of the models on the display in the field of computer graphics、 In the both field of image understanding and computer graphics， researchers study independmtly and obtained fruitful results． The authors make a trial that a computer gener．

ates a model by means of understanding the i叩ut image and outputs a picture of the model on the display． In the other word， computer makes a sketch of the input image．

  The authors detect the edges of the image by Laplacian filter， and make region segmentation by colors（red， green and blue）． The computer draws lines based on the detected edges， and paints on the segmented regions by each color． We need not accuracy of edge detection and region seg．

mmtation because that the sketch of the image is a sort of art．

  The authors have a， different impression on the output of this system from the original image，

The computer outputs a picture， and then the user appreciates it． We can obtain a favorite picture by m田n＄of controlling the parameters of the system． The authors describe of the production of the sketch as an image transform．

1．はじめに        かそうとしている・鋸のシステムは画像を入力するが

      画像の認識としては，画像の境界抽出，及び，色による  コンピュータによる画像処理が盛んに行われている。  領域の分割のみを行う6それらの解釈をもとに，境界の 画像理解は画像を入力し画像に含まれている情報を理解  表現，分割された領域の表現を組み合わせ，スケッチを 認識するものであり，コンピュータグラフィックスはコ  描く。出力されるものが絵画であるため，それを入が見 ンピュータがディスプレイに画像を出力表示するもので  て評価を行う。芸術の分野のため，境界の抽出及び領域 ある。これらの画像理解の分野と画像表現の分野はそれ   の分割には正確さは必要ない。本システムで生成した略 それ別々に研究され，多くの成果があげられている。  画は実際に入力した画像とは異なる印象を得た。原画像 我々は，画像を入力し，それを理解認識し，そして，そ ， が与える雰囲気を変えたいとき，好みの雰囲気を持つ略 の認識をもとに画像を出力表現することを試みている。   画を用いた方がよい場合がある。画像変換の一例として すなわち，コンピュータにスケッチを行なわせ，絵を描  の略画生成について述べる。

      2．2本システムの描画モデル  2．描画モデル

       出力画像を評価する方法が不明なため，現在構築中の  2．1目標とする描画モデル      システムは，fig．2．1の出力画像からの変換器と内部表  人間が絵画を描く場合をモデル化する。入間は実際の   現を除いたオープンループのモデルである。fig、2．2に 風景を眼でみて，頭の中にその内部表現を造る。内部表  本システムの描画モデルを示す。入力画像から変換器が 現，すなわち，風景のイメージをもとにキャンバスに風   内部表現を造り，このモデルでの評価器は入力画像の内 景画を描いていく。実際の風景とキャンバスの風景画の   部表現だけから描画情報を持つ抽象表現を造る。そして，

イメージが同じであるかを評価し，同じになるように  アクターは抽象表現から出力画像を生成する。前述した キャンバスを修正していく。コンピュータで行うことを  ように，出力画像と入力画像の評価方法が分からないの 前提に，これをモデル化したものがfig．2．1である。風  で，その評価は人間が行い，変換器及び評価器に直接指 景の原画像が入力画像として入力され，キャンバス上の  示を出すようにする。すなわち，変換器及び評価器のパ 風景画が出力画像として出力される。入力画像，出力画   ラメータを入間が修正する。この評価器は厳密な意味で 像ともに変換器によって内部表現に変換される。ウィン  の評価能力はなく，内部表現から抽象表現への出力を，

ドウは変換器が一度に処理できる大きさを表す。入力画  パラメータによってコントロールする程度のものである。

像からの内部表現と出力画像からの内部表現によって評   これらのパラメータはデフォルト値を持ち，人間が修正 価器は抽象表現を作る。アクターは，描画をするための  しなくても，それなりの略画が得られる。

情報を持つ抽象表現を入力し，出力画像を描画する。ま   ・内部表現

た，評価器は入力画像と出力画像を評価し，出力画像の    原画像を認識して内部表現を作成するが，本システム 修正が必要であれば抽象表現を修正する。この修正され  で処理を行う境界および領域の内部表現について述べる。

た抽象表現によってアクターが出力画像を修正する。修   境界

正が不要になるまでこれを繰り返す。変換器，アクター   一般に画像を表現する場合，その画像を認知すること を種々のものを選べば，種々の出力画像が得られる。   が必要である。対象物の認知はさまざまなレベルで行わ       れ，そのレベルで表現される。例えば，画素レベルで考       えれば，対応する画素の明るさ，色，などを認知（検       出力画像    入力画像      出）して，それをディスプレイに表示する。表示レベル        は階層的になっており，上で述べたものは最下位のレベ        ルである。画像に描かれている対象物を認識すれば，そ        の位置にその対象物を表現する。ここでは，画像の対象        物の境界を線（線分）で表現することを考える。すなわ

巨ヨ ［変換器］［垂］ ㍍㌘：蕊：よこ麓璽裏麓鴛1

       は，対象物の境界の線特徴を表現する。

      領域

擁麺  内罐現 醐獺   肪珊像を表現するためには，色彩情報が聾な役

       割を持つ。人間の視覚では，色情報の感覚器は微細構造        には鈍感であり，実際に表現する場合も，大まかなもの        でよい。したがって，微細構造は抽出した境界線によっ        て表現し，色彩による領域の境界と一致しなくても問題        ない。略画を大まかに色付けするために，色彩情報によ

F滅ほ標とするモデル    騨純な領域分割を行う・描画する醸はその崩て属す

       る領域の代表色を持つ。

・抽象表現      それ独立に処理が行われる。線処理の変換器では，エッ  評価器によって生成された抽象表現は実際に描画を行   ジ強調を行い，各座標点ごとの微小線分との相関をとり うアクターへ入力される。内部表現と同じく境界と領域   線特徴（線成分ともいう）の方向を表す内部表現を作る・

に分けられる。       線処理の評価器では，線特徴を結合し，境界を表す抽象  境界       表現を作る。色処理の変換器は色の違いによって領域分  境界線の抽象表現は境界を示す線の方向と境界の鮮明   割を行い，領域番号でラベル付けされた内部表現を作る・

さに応じた値（微小線分との相関値）を持っている。ア   色処理の評価器は各領域の色を淡色化した抽象表現を作 クターは，相関値が閾値以下の線は表示しない。また，   る。線処理及び色処理の抽象表現からアクターがディス 相関値の大きさによって線の太さを変えて表示する。   プレイに描画する。ディスプレイの同時表示色は最大  領域      256色である。本システムでは，原画像から内部表現へ，

 領域の代表色を淡色化した情報を持つ。すなわち，R，  内部表現から抽象表現へ，そして，抽象表現から外部表 G，Bの値をそれぞれ大きくし，その領域を明るくする  現（略画）へと三段階で行っている。これらの処理を行 ことによって淡色化を行う。      う変換器と描画器のアルゴリズムによって，最終出力で       ある絵画の出来上りが異なる。人間が絵画を描く場合は  3．システムの概略

       原画像と外部表現（絵画）の比較をし，外部表現の評価  EWSに接続された480×512の解像度を持つカラーT   を行い，変換器や描画器を修正し，内部表現あるいは外 Vカメラからカラー画像を入力する。R， G， B信号は  部表現を適切なものにする。すなわち，人間の場合は それぞれ8ビットで表現される。Fig．3．1に示すように，  ブイードバック機構があるが，本システムはこれを省略 原画像は，前処理が行われた後，別々に，線処理と色処   した。より芸術性の高い絵画を表現するためにはフィー 理が行われる。前処理では，インターレーススキャンの   ドバック機構を導入する必要がある。

ため，高速で移動している対象物体の輪郭がズレを生じ るので，そのズレを減少させるために，3×3のマスク

      入力画像 で平滑化を行う。線処理や色処理で使うパラメータを入

力画像の部分ごとに変化させるために・入力画像を多く     画像の平滑化

の小領域に分割しそれぞれの統計量（分散）を計算する。

線処理と色処理に分割しジ変換器・評価器ともに・それ      分散の算出

       線処理      色処理 出力画像       入力画像      、．

巨］ ［人間］一べ［憂司

抽繊 ［評価器］ 内部表現

分散をもとに 線の太さの変更

分散をもとに 領域分割

Fig．2．2本システムの描画モデル       Fig・3．1本システムの流れ図

4．線処理        を用いてエ・ジを繍する・Fi・・4・2に示すように・

       エッジ強調された画像はラプラシアン値の最大値の0．8  対象物を表現する場合，一般に対象物全体を認識する   以上を255とし，0．8以下はg〜254に均等に比例させ，

必要があるが，境界に限定すれば，局所的な部分に対す  ラプラシアン値が0〜255の間になるように規格化する。

る処理で，境界線を抽出できる。境界線全体を捉えた処   この例では，ラプラシアン値は，画像1では小さく，画 理を行うのではなく，局所部分の境界を認識し表現する  像2では大きく修正される。

ことで十分である。次の手順で境界線の抽出を行う。    Fig．4．3に示すように，8方向の微小線分（8×8ま        たは6×6のマトリックス上に表現）を準備しておく。

       原画像内の同サイズの小マトリックスとFig．4．3で示        す微小線分との相関を取る。微小線分の種類を替え，ま        た，小マトリックス領域内を動かし，相関値を求め，相        関値の最大となる位置，および，その微小線分の種類を        求める。そして，それをその小マトリックスの線特徴と        する。小マトリックスの属する小領域の分散の値が小さ     Flg．4．1ラプラシアンフィルター   し 時は8×8のサイズ・大きい時は6×6のサイズを用        いる。微小線分のサイズを8×8のみを用いた場合（a）と        8×8と6×6の両方を用いた場合（b）の境界線だけを描        画したものをFig．4．4に示す。（b）の方が細かい線が得        られていることが分かる。また，アクターは微小線分と        の相関値がある閾値以上のものだけを表示するが，描画        255    する時の線の太さを5段階に分けて表示するので，この        閾値と最大値の間を5段階に分けた。閾値は分散の大き       最大値

       いほど小さくする（Fig．4．5参照）。すなわち，対象と        80％

       している小領域の分散を分散の平均で割った値をαとし，

    原画像1    原画像2       原画像全体の標準閾値をs・とし，対象小領域の閾値を        sとして，パラメータ4を用いて，

     Fig．4．2 ラプラシアン値の修正

       s＝So−4・α      （1）

1

1 一4 1

1

口口［コ［刀

と定義する。パラメータdを変えた場合の線画の変化 をFig．4．6に示す。 dの値の大きい方が表示される線が 多い。

 4．2． 線特徴の結合

 線特徴を結合し，新たな線特徴とする。結合された線 特徴を直線あるいは曲線で表す。Fig．4．7に示すように 線分Aと線分Bを結合し合成した直線を生成するのであ るが，線分A，Bの距離，傾きの差，偏りをパラメータ として，結合するかどうかの判断を行う。新しい線特徴       Fig．4．3 8種類の微小線分         は傾きを平均した1本の線分で表現する。この方法では，

       緩いカーブの曲線を直線とみなす可能性がある。

 4．1．線特徴の抽出      次に，微小線分を連結したものを3次曲線で近似する。

境界を求めるために原画像の各色情報R，G， Bに  ここではHe㎜ite法を用いた［4］，点（エ。， y。），（エ、， y、）

Fig・4・1に示すように5×5のラプラシアンフィルター  を端点とし，傾きをそれぞれ〃2。，〃2、とする2線分を結

合する・       仁［オ・，・川      （4）

  エ（『） ＝ α灘∫3十bエ〆一トcエτ十4北      （2）   Cバ［砺bパ・4JT      （5）

   〃（り＝ぱ＋ぱ＋ 耐4・    （3） とすれぱ

で表される曲線で近似する。制約条件はオ＝◎で点（⑳。，

       灘（の＝7℃∬      （6）

・・）を勘髄が幼・であり一＝1で点ぴ鋤を勤・  エ（、H3、・2、、。脇    ｛，）

傾きが物である。行列で書くと，

（∋ ∂＝0，太さの変化なし    （b）4＝◎，太さの変化あり

（a）8×8の微小線分のみ

（c）4＝15，太さの変化なし    （d）4＝15，太さの変化あり

  （b）8×8と6×6の微小線分       Fig・4・6閾値8の変化による線画の変化

Fig．4．4微小線分の大きさの違いによる比較

線の太さ 欄値 線の太さ 相離     傾きの差

4      45    最大値      5 3

0       0

分散：小       分散：大       1   ＼1   ＼       ヘコ      

      1＝＼〆隔旭 Flg．4．5分散による線の太さの変化

Fig．4．7線の位置関係を表すパラメータ

       エ（ ）＝IZo（2 3−3 2十1）十エ1（−2 3十3τ2）

＼Σ ハ ∵ll：：：：： ：：； ：㍗⑫

             」2       隔たり4

       」一け一1・［   ∂（0）一ん吻。／（吻。2＋1）1／2     ⑬ κ＝4×η・＠・は定数）  ＝・・／∫（〃・は定数）   ∂（・）一んM（〆＋1）・／2    04

（a）傾きが同方向の場合   （b）傾きが異方向の場合

       であるので，同様に，

    Fig．4．8線結合のパラメータ決定法         y（の＝〃。（2τ3−3〆＋1）＋y、（−2τ3＋3〆）

      十｛κ卿o／（沈02十1）1／2｝（ 3−2 十1）

となり，タンジェントベクトルの大きさを表すパラメー       ＋｛ 〃21／（〃212＋1）1／2｝（ 3−〆）    （19

タκを用い城

@      となる．この方法ではんの値が大きい程カーブの急

   エ（0）＝κ／（〃2。2＋1）、／2         （8） な曲線を描く。この〃の値は二つの微小線分の離れ具    エ（1）＝κ／（〃2、2＋1）・／2        （g） 合によって決定した。すなわち，η、，η2をパラメータ        としてFig．4．8に示すように決定した。 Fig．4．9にη、

であるので，

       の値を，Fig．4．10に〃2の値を変えて曲線近似した結果

｛》1：：：エi：1：：1一㌦1G⑩＝驚濃當＝：

となる。これをC。について解くと，

G＝

 2 −2  1  1

−3  3 −2 −1  0  0  1  0  1  0  0  0

｛ill：：：‡1 ：］

（11）

となる。すなわち，

 ギ   ココ ロコ       コの      コロ の   ロコ ココ       コの

：1姦≧1き｝ 嚢；三ぎ

  『一鷲一ミ三   一1一慾、ミニ

ー−P． 一    、 ＼c     −一 一 一    、 ＼〈雲

   コ         ロロ       エ  へ         ご

一     ・一 ∴＿一     ・     一  二＿□

     （a） 〃1＝＝0．1      （b） η2＝0．01

Fig．4．9 傾きが同方向の線特徴のみを結合

8−

一一一一一…一一二一…・ @ス      ．一＿  ．．＿．．  一一一ご二ニー．；

      へ

    〈a＞ ％2＝5◎       （b） 邦2＝＝150

Fig．4．10傾きが異方向の線特徴のみを結合

       正された閾値を併合の判断に使用する。画素ごとに修正  5．色処理

       された閾値を持つ。

 5．1領域分割      ・方法2

 画素の色彩情報によって領域を分割する。原画像の隣   最初に走査された，その領域に属する画素が含まれる 接する2点の色をく＆，窃，βδ，（R2タ ε2， 82）とする。  小領域の分散から修正された閾値を（他の小領域に含ま

この色による2点の距離4を      れているかもしれない）ある画素がその領域に属するか        否かの判断に使用する。領域ごとに修正された閾値を持   42ニ（1〜1−R2）2＋（GrG2）2＋（B、−B2）2   ⑯

       つo

によって定義する。この4の値が閾値より小さければ，   F輌g．5．1に領域分割の様子を示す。（a）は分散の影響を この2点を併合する。併合された領域の代表色は平均を  考慮しなかったもの，（b）は方法1によるもの，（c）は方法 用いる。二つの点を併合するか否かの判断はそれらの点   2によるものである。方法1，すなわち，（b）では他に比 の距離がある閾値より小さいときに併合する。この閾値  較して，前輪の周囲に分散の計算のための小領域の境界

を前処理で得た分散によって変化させた。次の方法を用   の影響らしきものが見られる。方法2，すなわち，｛c）で いる。修正された閾値は，その小領域の分散を画像全体   は（a）に比べて，部分的に細かく領域分割を行っているよ の分散の平均で割ったものにパラメータを掛けたものを   うである。

標準の閾値から引いた値である。       5．2．彩色

・方法1      分割された領域に付ける色に淡色化を行った。すなわ  併合の判断を行う画素が含まれる小領域の分散から修  ち，領域の色が（R，G，β）であれば，各3原色をη倍

（∋ 分散の考慮なし     （b）分散の考慮あり（方法1＞  （c）分散の考慮あり（方法2）

       ドig，5、1分散を考慮した領域分割

し，（〃」R，κG，μB）でその領域を色付け表現する。ただ   よる線の太さの変化はしていない。（a）が境界の表示を判 し，ηはその領域が明るいときは小さく，暗いときは大  定する閾値が20のもので，相関値が20以上の線特徴を表 きくなるように補正を行う。すなわち，パラメータη。を  示したものである。（b）が29，（c）が40である。明らかであ 用いて，       るが，閾値の小さいほど表示される線特徴が多くなり，

      絵として細かい感じを受ける。最適な閾値を決めること   T＝R十G十B      （17）

      は難しい。

  κ＝ηo（256× 3−T）      （18）

       ・表示線分の太さ

で表すをη用いた。       Fig．6．2は玩具のダルマの画像から得られた抽象表現       から線特徴のみを表示したものである。（a）は表示線分に  6．実験結果

      太さの変化をつけていないが，（b）は境界の鮮明さに応じ  実験を行った結果・同一の原画像に対してパラメータ   て線の太さを5段階に変化させたものである。（b）の方が の値によって異なる略画が得られた。いくつかの例を示   目の回りなどが強調して表現されており，（a）よりも（b）が す。      よりよい略画といえる。

・境界の表示       他のパラメータ，すなわち，線結合のためのパラメー  Fig・6・1に人物画像から生成された抽象表現から境界   タ，領域分割のためのパラメータ，淡色化のためのパラ のみを表示したものを示す。これらは，境界の鮮明さに   メータの値によっても略画は異なる。これらのパラメー      二，一一一一一ニー一一一ここ｝ピ   一一一『ニー一』一一二     一 ｛一一一一一一一

（a）閾値＝20       （b）閾値＝29      （c）閾値＝40

      Fig．6．1閾値による線画の変化（太さの変化なし）

         一轡．＿穆

     ＼  ノ じ  ＼  ノ ㌧

・こ＝＝…変≦：愈〜ご＝遮≧≡乙室≧＿＿

     （a）太さの変化なし      （b）太さを5段階に変化 Fig．6．2 太さの変化の影響

      塩童4． 、   合を行ったもの，（，）は曲線近似による繍合を行ったも

・翫蹴畿一鑛 ㌶㌶1竺翼・蕊㌶：

       ．和    イ     翼・＾懸    ハードコピーをモノクロ複写機でコピーしたものである。

    誌麺醗灘竺された略画を見ると原画像 つた感じ酬

      ニ      ニ       カ

＿．。←＜ B！一．．．だ  ．竪竃  7．おわりに

        ヨ      ノ

        を       コ 

       ㌦  1 途  ．一 ・ 〉 「・

         巳   ，蹴ロ     コンピュータによる芸術分野への応用として，略画の       自動生成を試みた。ここで用いた方法では各種のパラ

        （a順画像     ．一タの設定が生成された略画に大きな影響を与える。

      ヤ  ヒ ラ       ロ

       へ が諺二い 二惣二；：二霞：㌶鴛鷲璽霊

   ＿ぐ蕊 C編一＿  ものに改良しなければならない・

      づ 一    ＼  ・、一

爺籔・豊：ゑ田灘蛾；：：麟嬬壽葦

        （b）略画（線結合なし）      度卒業論文

傷    1  一舳・眠A・一』         1    ［4］ J．D． Foly， A． Von Dam， Fundamentals of Interactive982

（c）略画（線結合あり，曲線近似）

 Fig．6．3 原画像と略画