コロナ社
視聴覚メディア
15
メディア学大系
共著 ▼近藤 邦雄
相川 清明
竹島由里子
コロナ社
「メディア学大系」刊行に寄せて
メディア学大系 編集委員会
監修（第 1 期）相 川 清 明
（東京工科大学，工学博士）飯 田 仁
（元東京工科大学，博士（工学）） 監修（第 2 期）相 川 清 明
（東京工科大学，工学博士）近 藤 邦 雄
（東京工科大学，工学博士） 編 集 委 員稲 葉 竹 俊
（東京工科大学）榎 本 美 香
（東京工科大学，博士（学術））太 田 高 志
（東京工科大学，博士（工学））大 山 昌 彦
（東京工科大学）柿 本 正 憲
（東京工科大学，博士（情報理工学））菊 池 司
（東京工科大学，博士（工学））榊 俊 吾
（東京工科大学，博士（社会情報学））佐々木 和郎
（東京工科大学）進 藤 美 希
（東京工科大学，博士（経営管理））寺 澤 卓 也
（東京工科大学，博士（工学））三 上 浩 司
（東京工科大学，博士（政策・メディア）） （五十音順，2017 年 1 月現在）コロナ社
ラテン語の“メディア（中間・仲立ち）”という言葉は，16 世紀後期の社会 で使われ始め，20 世紀前期には人間のコミュニケーションを助ける新聞・雑 誌・ラジオ・テレビが代表する“マスメディア”を意味するようになった。ま た，20 世紀後期の情報通信技術の著しい発展によってメディアは社会変革の 原動力に不可欠な存在までに押し上げられた。著名なメディア論者マーシャ ル・マクルーハンは彼の著書『メディア論─人間の拡張の諸相』（栗原・河 本 訳，みすず書房，1987 年）のなかで，“メディアは人間の外部環境のすべ てで，人間拡張の技術であり，われわれのすみからすみまで変えてしまう。人 類の歴史はメディアの交替の歴史ともいえ，メディアの作用に関する知識なし には，社会と文化の変動を理解することはできない”と示唆している。 このように未来社会におけるメディアの発展とその重要な役割は多くの学者 が指摘するところであるが，大学教育の対象としての「メディア学」の体系化 は進んでいない。東京工科大学は理工系の大学であるが，その特色を活かして メディア学の一端を学部レベルで教育・研究する学部を創設することを検討 し，1999 年 4 月世に先駆けて「メディア学部」を開設した。ここでいう，メ ディアとは「人間の意思や感情の創出・表現・認識・知覚・理解・記憶・伝 達・利用といった人間の知的コミュニケーションの基本的な機能を支援し，助 長する媒体あるいは手段」と広義にとらえている。このような多様かつ進化す る高度な学術対象を取り扱うためには，従来の個別学問だけで対応することは 困難で，諸学問横断的なアプローチが必須と考え，学部内に専門的な科目群 （コア）を設けた。その一つ目はメディアの高度な機能と未来のメディアを開 拓するための工学的な領域「メディア技術コア」，二つ目は意思・感情の豊か な表現力と秘められた発想力の発掘を目指す芸術学的な領域「メディア表現コ
「メディア学大系」刊行に寄せて
コロナ社
ii 「メディア学大系」刊行に寄せて ア」，三つ目は新しい社会メディアシステムの開発ならびに健全で快適な社会 の創造に寄与する人文社会学的な領域「メディア環境コア」である。 「文・理・芸」融合のメディア学部は創立から 13 年の間，メディア学の体系 化に試行錯誤の連続であったが，その経験を通して，メディア学は 21 世紀の 学術・産業・社会・生活のあらゆる面に計り知れない大きなインパクトを与 え，学問分野でも重要な位置を占めることを知った。また，メディアに関する 学術的な基礎を確立する見通しもつき，歴年の願いであった「メディア学大 系」の教科書シリーズ全 10 巻を刊行することになった。 2016 年に至り，メディア学の普及と進歩は目覚ましく，「メディア学大系」 もさらに増強が必要になった。この度，視聴覚情報の新たな取り扱いの進歩に 対応するため，さらに 5 巻を刊行することにした。また，学術・産業・社会の 変革に貢献する斬新的なメディアに関する教科書を随時追加し，「メディア学 大系」を充実させることを計画している。 この「メディア学大系」の教科書シリーズは，特にメディア技術・メディア 芸術・メディア環境に興味をもつ学生には基礎的な教科書になり，メディアエ キスパートを志す諸氏には本格的なメディア学への橋渡しの役割を果たすと確 信している。この教科書シリーズを通して「メディア学」という新しい学問の 台頭を感じとっていただければ幸いである。 2017 年 1 月 東京工科大学 メディア学部 初代学部長 前学長 相磯秀夫
「メディア学大系」の使い方
コロナ社
メディア学は人から人や社会への情報伝達に関する学問である。したがっ て，メディア学は情報工学，文化，社会，人文科学にも及ぶ。「メディア学大 系」の第 1 巻から第 10 巻においては，文系・理系の範ちゅうを超えたメディ ア学という新しい学問領域の全体像を学部学生に理解してもらうために，5 領 域から説明を行っている。 第 1 巻『メディア学入門』において，歴史的背景もふまえて，メディアの全 体像とメディア学の学びの対象を概観している。 第 2 巻『CG とゲームの技術』，第 3 巻『コンテンツクリエーション』は， ゲーム，アニメなどコンピュータグラフィックスに関係した内容である。 第 4 巻『マルチモーダルインタラクション』，第 5 巻『人とコンピュータの 関わり』は，人とコンピュータのコミュニケーションをインタフェースとそれ に関係する技術の側面から記述している。 第 6 巻『教育メディア』，第 7 巻『コミュニティメディア』は，メディアの 活用のうち，人と人のつながりや社会に関係した内容である。 第 8 巻『ICT ビジネス』，第 9 巻『ミュージックメディア』は，メディアの 活用のうち，サービスなどの産業，ビジネスや経済に関係した分野である。 第 10 巻『メディア ICT』は，メディアを学ぶ基礎となるコンピュータの技 術の入門書である。 今回追加した第 11 巻から第 15 巻は，人とコンピュータの間のメディア情報 伝達の中心をなす視聴覚に重点を置いている。また，内容的には，第 1 巻から 第 10 巻には書ききれなかった内容とプログラムなどを用いて，より実際的に 理解する内容を含めた。 第 11 巻『自然現象のシミュレーションと可視化』では，高度なコンピュー
「メディア学大系」の使い方
領 域 該当書目 コンテンツ創作領域 第 2 巻 『CG とゲームの技術』第 3 巻 『コンテンツクリエーション』 インタラクティブメディア領域 第 4 巻 『マルチモーダルインタラクション』第 5 巻 『人とコンピュータの関わり』 ソーシャルメディアサービス領域 第 6 巻 『教育メディア』第 7 巻 『コミュニティメディア』 メディアビジネス領域 第 8 巻 『ICT ビジネス』第 9 巻 『ミュージックメディア』 （2013 年 2 月現在）コロナ社
iv 「メディア学大系」の使い方 タグラフィック技術とメディアデータを視覚的に表現する方法について述べて いる。 第 12 巻『CG 数理の基礎』は，コンピュータグラフィックスや画像処理の 原理を，コンピュータツールやプログラムを用いて学ぶ。 第 13 巻『音声音響インタフェース実践』では，音と音声をコンピュータで 扱う技術をコンピュータツールやプログラムを用いて学ぶ。 第 14 巻『映像メディアの制作技術』は，ディジタル映像の制作と配信の技 術を広告の領域まで含めて解説する。 第 15 巻『視聴覚メディア』は，アニメなどの映像や画像の処理と人の視覚 特性，楽器音など自然界の音に対する聴覚特性など，人の視聴覚の側面から解 説する。 各巻の構成内容は，半年にわたる 15 週，90 分 2 単位の大学学部における授 業を想定して執筆され，各章に演習問題を設置して自主学習の支援をするとと もに，参考文献を適切に提示し，十分な理解ができるようにしている。 メディアの歴史は太古に溯るが，ディジタルメディアの時代になり，新しい 方法や技術がつぎつぎに導入され，急速な進展を続けている。本シリーズは， 将来にわたって通用するメディア学の基本的な考え方の修得に重点を置いて企 画した。また，メディア学はメディアの実体との結びつきが強いという特徴が ある。そのため，各分冊の執筆にあたり，実践的な演習授業の経験が豊富で最 新の展開を把握している第一線の執筆者を選び，執筆をお願いした。メディア 学は限りなく進展する学問である。本書がメディアを志す読者の確固たる礎と なることを期待する。 2017 年 1 月
相川清明
近藤邦雄
ま え が き
コロナ社
本書は，視聴覚メディアに関連する理論や技術について学ぼうとする学部生 を対象とした教科書である。本書で取り扱う視聴覚は情報伝達にとってきわめ て重要なメディアである。そこで，メディア学の視点から本書では，視覚心理 や聴覚心理の理論を元に，CG，音，音響，画像，映像などのディジタル情報 とその処理技術の基礎について解説する。そしてよりよいメディアコミュニ ケーションを実現するために，視聴覚情報の理解，表現，処理，評価について 言及する。視覚や聴覚に関する心理学および認知科学の知見とメディア表現技 術や処理技術の関係を示すことによって，人の認知心理学分野の知識を生かし た表現や処理技術を合わせて理解することが本書のねらいである。 まずはじめに，視覚による理解と表現を取り上げ，視覚メディアである図 形，画像，映像による情報伝達の特徴をふまえ，情報の送り手と受け手にとっ てよりよい情報伝達と表現手法を明らかにする。 1 章では視覚と理解をテーマに，2 次元形状，3 次元空間，陰影，色，動き， 両眼立体視における視覚と錯覚および人が情報をいかに理解するのかについて 述べる。 2 章では視覚と表現をテーマに，絵画，形態，空間，色，運動，立体視につ いて取り上げ，視覚を考慮したさまざまな表現手法について述べる。 3 章では，聴覚系の知覚特性について述べ，機能とモデル化，観測と分析の 方法について述べる。まず，音のさまざまな特徴とその観測方法や定量化のた めの尺度について述べる。つぎに，聴覚のハードウェアにあたる聴覚系の機能 について述べ，ソフトウェアにあたる音の知覚特性や聴覚特有の現象を紹介す る。最後に，聴覚の性質を調べるための被験者実験の方法と実験遂行のための 注意事項について述べる。また，実験結果の信頼性を示すための有意差検定な
ま え が き
コロナ社
vi ま え が き どの統計分析の基礎について述べる。 4 章では，ディジタル画像とはどのようなものかを説明した後，画像の見え 方を変える処理である，トーンカーブ，空間フィルタリング，周波数フィルタ リングを用いた変換方法を示す。 5 章では，画像の中から類似している部分や移動物体などを検出するなどと いった，画像の特徴を抽出する方法について述べる。 6 章では，複数の画像を合成して，アルファブレンディング，イメージモザ イキング，モーフィングといった特殊な効果を得る方法について説明するとと もに，画像の圧縮方法も紹介する。 本書は視覚と聴覚に関する広い分野を扱うことから，視覚メディア，聴覚メ ディア，イメージメディアの三つの分野の組合せによって，さまざまな講義内 容に対応できるように構成した。講義構成の例をつぎに四つ示す。本書を教科 書として利用するときの参考にしていただきたい。 （ 1 ） 視聴覚メディアの概要を 15 週で解説する場合：それぞれの学科，学 部の教育カリキュラムにおける目標を元に，6 章の内容を 15 週に振 り分けてシラバスを構成する。 （ 2 ） 視覚や聴覚と認知を主題にする場合：視覚メディア，聴覚メディアの 内容を 15 週で解説するとともに，章末の演習課題を講義時間内に行 うように構成する。 （ 3 ） 画像処理技術を主題にする場合：視覚メディアとイメージメディアの 内容を元にして，15 週のシラバスを構成する。前半は視覚と認知に ついて，後半は，イメージメディア処理技術を取り上げ，必要に応じ て演習問題を取り上げる。 （ 4 ） 三つの分野の一つを取り上げて講義を構成することができる。例え ば，視覚メディア分野を扱う場合は，視覚と認知心理の知識を解説す るとともに，章末の演習課題を数回の講義で扱ったり，宿題として大 きなデザイン課題とするなど，15 週のシラバスを構成することがで きる。同様に，音や音響など聴覚メディアをおもに講義する場合は，
コロナ社
ま え が き vii 3 章の聴覚メディアの内容を詳しく講義し，理解を深めるために演習 課題を行うように講義を構成する，また画像や映像処理技術の講義を する場合は，イメージメディア分野を中心に扱い，講義と演習を交互 に行うようにする。 視聴覚メディアの領域は多岐にわたることから，つぎの 3 名で分担して執筆 した。 近藤邦雄：1，2 章，相川清明：3 章，竹島由里子：4，5，6 章 なお，3 ∼ 6 章の演習問題の解答は，本書の書籍詳細ページ†に掲載してい る。 本書の内容は，東京工科大学メディア学部における教育と研究の成果を元に するとともに，さまざまな先端的研究成果も取り入れて，視聴覚メディアの理 解を深めることができるようにした。読者が人の視点に立ったメディアコミュ ニケーション技術の必要性を理解し，今後のメディア社会における生活の質の 向上とメディア技術の発展を目指すことを期待する。 2017 年 3 月
近藤 邦雄
相川 清明
竹島由里子
† http://www.coronasha.co.jp/np/isbn/9784339027952/コロナ社
1
章視 覚 と 理 解
1 . 1 表 現 と 理 解 2 1 . 1 . 1 視 覚 と 認 知 2 1 . 1 . 2 表現と視覚・錯覚 4 1 . 2 2 次元図形と理解 7 1 . 2 . 1 形（長さ，大きさ）の錯視 8 1 . 2 . 2 図 と 地 12 1 . 2 . 3 複数の図形の認知 15 1 . 2 . 4 ハイブリッドイメージ 17 1 . 3 3 次元空間と理解 19 1 . 3 . 1 3 次元的な表現と奥行知覚 19 1 . 3 . 2 立体の多義図形と不可能立体 26 1 . 4 陰 影 と 理 解 30 1 . 4 . 1 クレーター錯視と凹凸反転 30 1 . 4 . 2 ホロウマスク錯視と奥行反転 31 1 . 4 . 3 影の効果と理解 32 1 . 5 色 と 理 解 33 1 . 5 . 1 濃淡と明るさの錯視と理解 34 1 . 5 . 2 色 と 奥 行 理 解 36 1 . 5 . 3 混色による色の生成 37 1 . 6 動 き と 理 解 38 1 . 6 . 1 仮 現 運 動 40 1 . 6 . 2 アモーダル補完とスリットアニメーション 42 1 . 6 . 3 モーションブラー 43目 次
コロナ社
目 次 ix 1 . 7 両眼立体視と理解 43 演 習 問 題 45
2
章視 覚 と 表 現
2 . 1 絵 画 と 表 現 48 2 . 2 3 次元空間と表現 50 2 . 2 . 1 線の描画：明確な区別 51 2 . 2 . 2 誘目性の活用：「魅せる」部分の限定 52 2 . 2 . 3 3 次元形状の誇張 53 2 . 2 . 4 インタラクティブスケッチモデリング 56 2 . 3 陰 影 と 表 現 60 2 . 4 色 と 表 現 63 2 . 4 . 1 CG による質感表現 63 2 . 4 . 2 調和配色とデザイン 65 2 . 4 . 3 画像処理技術を用いた画像生成 69 2 . 5 動 き と 表 現 71 2 . 5 . 1 動きの誇張表現 72 2 . 5 . 2 過去のアニメ作品の動き利用 73 2 . 5 . 3 カトゥーンブラー 75 2 . 6 立 体 視 と 表 現 76 演 習 問 題 783
章聴覚とメディア
3 . 1 音 の 特 徴 80 3 . 1 . 1 音 の 物 理 80 3 . 1 . 2 物理量と心理量 84 3 . 1 . 3 音の特徴の計測 85 3 . 2 聴 覚 心 理 97 3 . 2 . 1 聴覚信号伝達系 97コロナ社
x 目 次 3 . 2 . 2 音 の 知 覚 特 性 101 3 . 2 . 3 視聴覚相互作用 107 3 . 3 心理学的測定法 109 3 . 3 . 1 心理物理的方法 109 3 . 3 . 2 調整法，極限法，恒常法 113 3 . 3 . 3 MOS と二件法 115 3 . 3 . 4 統計分析と有意差検定 116 3 . 4 聴 覚 実 験 技 術 120 3 . 4 . 1 デ ー タ の 種 類 120 3 . 4 . 2 刺激音作成における注意 120 3 . 4 . 3 被験者実験結果に影響を及ぼす要因 125 3 . 4 . 4 被験者実験の注意 126 演 習 問 題 129
4
章画像の「見え方」を変える
4 . 1 ディジタル画像の性質 132 4 . 1 . 1 画像のディジタル化 132 4 . 1 . 2 カラー画像の表現 134 4 . 1 . 3 ディジタル画像の表示 135 4 . 2 トーンカーブによる画像変換 136 4 . 2 . 1 グレースケール画像の変換 137 4 . 2 . 2 カラー画像の変換 139 4 . 3 空間フィルタリングによる画像変換 140 4 . 3 . 1 平 滑 化 141 4 . 3 . 2 エ ッ ジ 抽 出 144 4 . 3 . 3 鮮 鋭 化 148 4 . 4 周波数フィルタリング 148 4 . 4 . 1 フ ー リ エ 変 換 149 4 . 4 . 2 周波数領域におけるフィルタリング処理 151 演 習 問 題 153コロナ社
目 次 xi
5
章画像から「特徴」を見つける
5 . 1 画 像 の 特 徴 量 158 5 . 1 . 1 画素値の統計的特徴量 159 5 . 1 . 2 テクスチャの統計的特徴量 160 5 . 1 . 3 2 次元フーリエ変換のパワースペクトル 161 5 . 2 画 像 の 特 徴 162 5 . 2 . 1 コーナーの抽出 162 5 . 2 . 2 輪 郭 線 の 抽 出 163 5 . 2 . 3 図 形 の 抽 出 164 5 . 3 パ タ ー ン 検 出 165 5 . 4 移 動 物 体 検 出 167 5 . 4 . 1 差 分 法 167 5 . 4 . 2 オプティカルフロー 170 演 習 問 題 1716
章画像を合成，変換する
6 . 1 幾何学的な変換 173 6 . 1 . 1 ア フ ィ ン 変 換 173 6 . 1 . 2 画像の再標本化 175 6 . 2 画 像 の 合 成 178 6 . 2 . 1 マ ス ク 処 理 178 6 . 2 . 2 アルファブレンディング 179 6 . 2 . 3 イメージモザイキング 181 6 . 2 . 4 モ ー フ ィ ン グ 182 6 . 3 画 像 と 符 号 化 182 6 . 3 . 1 エントロピー符号化 183 6 . 3 . 2 予 測 符 号 化 186 6 . 3 . 3 変 換 符 号 化 188 6 . 3 . 4 画像の性質を考慮した符号化 190コロナ社
xii 目 次
演 習 問 題 192
引用・参考文献
193索 引
2012 1. 視 覚 と 理 解
1.1
表 現 と 理 解
人は眼を通して対象物を見て，対象の内容を理解する。伝えたい対象の理解 を助けるために，伝えたいことがよく伝えられるように表現することが大切で ある。本章では「魅力的で眼を引き付け，伝えたいことを正しく伝えられる」 表現を，「魅せる」表現という言葉で表している。与えられた画像や映像を見 たり楽しんだりするだけではなく，その処理結果を見て，対話的により意図に 合った表現を見つけ出していくことも「魅せる」表現には大切なことである。 ここでは，視覚と理解の関係について，見ることと理解すること，表現するこ とについて明らかにする1），2）†。そして，正しいコミュニケーションによって送 り手と受け手の理解が一致することを示す。さらに，恒常視3）∼6）や視覚認知プ ロセスにおけるモジュール7）について述べる。 1.1.1 視 覚 と 認 知 〔 1 〕 見ることと理解すること，表現すること 例えば，リンゴを見る と，網膜にリンゴの像が結ばれる（図 1.1）。この部分はカメラと同等と考え ることができ，写実的表現（photorealistic rendering）といえる。網膜像を知 覚して，「リンゴである」と認識するためには，脳による判断が必要である。 理解したことを元にリンゴを描く際には，いままでの知識や経験を通して，そ 図 1.1 見ることと理解，表現すること 網膜像 りんご 感覚 知覚 脳 メンタルイメージ 記憶内容と照合 写実的表現 非写実的表現 対象の認知 † 肩付き数字は巻末の引用・参考文献番号を表す。コロナ社
1.1 表 現 と 理 解 3 の特徴をさまざまな表現手法を用いて描くことになる。この表現を非写実的表
現（non photorealistic rendering：NPR）という8）。このことから描く人が対象 の特徴を伝える表現は，NPR 技術を用いているといえる。 〔 2 〕 情報の送り手と受け手の理解と表現 図 1.2 に，情報の送り手と受 け手の関係を示す。デザイナーが描いた画像を受け手のユーザが見たときに， デザイナーの意図を正しく理解できることがよいコミュニケーションといえ る。このようなコミュニケーションを助ける表現は多様であり，伝えたい内容 や意図によって画像の表現方法は変わる。 〔 3 〕 理解と恒常視 われわれは，普段眼で見ている対象が網膜に映る 映像そのものを，そのまま理解しているわけではない。脳内のさまざまな知識 や経験に基づいて特徴の強調，省略を行い認識している。このとき網膜像が変 化しても，大きさ，形，明るさ，色，位置，速度などの対象物の情報は変わら ず一定に知覚される。例えば，見ている対象の大きさが変わっても，経験や知 識から同じであると認識する。このことを恒常視という。また，回転するドア は，その向きによって形が変わって見えるが，ドアの形そのものが変わってい るとは認識しない。 〔 4 〕 視覚認知プロセスと視覚モジュール 岩田7）は，視覚認知プロセス をモジュールと呼ばれる情報処理系に分割するモデルを提案している。図 1.3 図 1.2 情報の送り手と受け手の理解と表現2） デザイナー 画像 ユーザ 一致 画像描画に よる伝達 画像から受ける印象
コロナ社
3.2 聴 覚 心 理 97
3.2
聴 覚 心 理
3.2.1 聴覚信号伝達系 聴覚において，音は，外耳道を経由した後，鼓膜―>耳小骨（ツチ骨―>キヌタ 骨―>アブミ骨）―>基底膜―>有毛細胞―>聴覚神経系を経由して神経の活動である 一種の電気的な信号に変換される。耳小骨は 3 種の骨が連なっており，「てこ」 の働きをする。その構造は支点に対して力点よりも作用点が外側にある構成と なっており，鼓膜の振動振幅を拡大する機能がある。基底膜はかたつむりの形 をした蝸牛と呼ばれる管の中に管に沿って存在する。鼓膜からの振動が伝わる と，膜の上を振動が波のように伝搬する。このとき，高い音は入口付近で減衰 するが，低い音は奥まで伝わる。したがって，基底膜は，機械的なフィルタの 機能を持つ。基底膜の振動により有毛細胞が刺激され，神経インパルス，すな わち聴覚信号が発生する6）。 この先，さらに台形体―>下丘―>内側膝状体を経由して耳の上部付近の側頭葉 にある大脳皮質聴覚領に至り，知覚される。この間の神経は台形体から聴覚領 まで直結ではなく，4 層の神経細胞群を経由して伝わる。各神経細胞の反応す る周波数範囲を調べると，大脳に近付くにつれて反応する周波数範囲が狭く なっている。上位の内側膝状体においては，特定の音の特徴に反応する神経細 胞が存在する。聴覚神経細胞にはさまざまな機能のものが存在する。その一覧 を表 3.7 に示す。 音の伝達経路がなんらかの障害を受けると難聴となる。内耳の音を感じる神 表 3.7 聴覚神経系に存在する神経細胞の種類 タイプ 反応する特徴 持続型 音が存在する間 ON型 音の開始 OFF型 音の終了 FM型 周波数変化 その他 複合音コロナ社
3.3 心 理 学 的 測 定 法 109 視覚刺激である動画がピッチの上昇あるいは下降の知覚，すなわち聴覚に影響 を及ぼしていることがわかる。
3.3
心理学的測定法
3.3.1 心理物理的方法 〔 1 〕 心理測定関数 先述したように，音の特徴として音の三要素である 大きさ，高さ，音色が用いられる。ただ，音の大きさの感覚は周波数によって 異なり，音の高さの感覚も単に基音の周波数だけでなく，周波数成分分布の影 響を受ける。また，音色も基本的には周波数分布時間に依存するが，変化を伴 う音の特徴は周波数分布だけでは表現しつくせない。また，物理的な音の刺激 に対して応答が得られるが，その対応関係は正比例などの単純な関係ではない ことが多い。このような感覚と物理的な刺激との関係を分析する方法を心理 （精神）物理的方法（psychophysical methods）と呼ぶ。 刺激対応答の関数は未知である。座標軸に配置できる一連の刺激群は刺激連 続体と呼ばれる。心理物理的方法では，刺激連続体上の刺激に対する応答を調 表 3.8 周波数変化音のピッチの上昇あるいは下降の知覚における白球上昇映像の影響 開始周波数 3 ％下降 1.5 ％下降 0 ％一定 1.5 ％上昇 3 ％上昇 500 Hz 1000 Hz ▲ 2000 Hz 全 体 ▲ ▲：有意差あり 網掛け部分：上昇音に知覚する割合増加 表 3.9 周波数変化音のピッチの上昇あるいは下降の知覚における白球下降映像の影響 開始周波数 3 ％下降 1.5 ％下降 0 ％一定 1.5 ％上昇 3 ％上昇 500 Hz 1000 Hz 2000 Hz ▼ ▼ 全 体 ▼ ▼ ：有意差あり 網掛け部分：下降音に知覚する割合増加コロナ社
132 4. 画像の「見え方」を変える
4.1
ディジタル画像の性質
ディジタル画像は，画素（pixel，ピクセルと呼ばれることもある）の並び で構成されている。画素は R（赤）G（緑）B（青）の三原色を組み合わせた 色を数値として保持している。実際，液晶ディスプレイを拡大してみると，一 つの画素は R，G，B の三点（ドット）の組で構成されており，R，G，B すべ てのドットを光らせると，その画素は白く見え，R のドットだけを光らせる と，その画素は赤く見える。本節では，どのように画像をディジタル化する か，どのように画像処理が行われるか，どのような特徴があるかなどの基本的 な説明を行う。 4.1.1 画像のディジタル化 自然界に存在するものは，一般的に連続体である。例えば，花びらを顕微鏡 で見たとき，どんなに微小な領域であっても途切れることなく花びらが存在し ている。これをディジタルカメラで撮影するとどうなるだろうか。ディジタル カメラは，撮影した画像を離散的なデータ，すなわちディジタル画像（digital image）として保存する。ディジタル画像は画素の集まりで表現されるが，離 散的なデータであるため，拡大していくと画素の境目で色が変化し，不連続に なっている。本項では，どのように連続体をディジタル画像に変換するかにつ いて説明する。 〔 1 〕 標 本 化 連続体である花びらをディジタルカメラで撮影したと き，各画素の値は花びらのどこか一点の色を格納している。ディジタル画像全 体では縦横等間隔の格子上の点（標本点）における色が格納されている。ディ ジタル画像の画素数が多くなるにつれ，解像度も高くなるが，連続的な世界を そのまま表現することはできない。このように，実世界の情景のような連続的 なものを，ディジタル画像のような離散的な表現に変換することを標本化 （sampling）と呼ぶ。例えば，図 4.1 に連続的な世界を 5×5 画素，10×10 画 素，25×25 画素で標本化した例を示す。図からもわかるように，標本点の数コロナ社
4.1 ディジタル画像の性質 133 が増える（解像度が高くなる）につれて，連続的な物体に近い形を表現するこ とができる。 〔 2 〕 量 子 化 実世界をディジタル画像にする場合，どの位置の色を 格納するかという位置情報だけでなく，どのような数値で格納するかが重要と なる。このように，色を数値に変更するような処理を量子化（quantization） と呼ぶ。量子化では，色を何ビットで表すのか，すなわち，何段階の数値で表 すかによって，生成されるディジタル画像の画質が大きく変化する。例えば， 色を 1 ビットで表現した場合，0，1 の 2 階調となり，生成されるディジタル 画像は白黒画像となる。また，R，G，B 各成分を 8 ビット（256 階調）で表現 した場合は，約 17 万色近くの色を表すことができる。図 4.2 に，モノクロ画 像の階調数を変化させた結果を示す。図から，階調数が少ないものほど色の境 目が目立ち，階調数が増えるにつれ境界が目立たなくなり，より自然に近い画 像が得られることがわかる。人間の視覚は，画素の明るさを表す輝度値の変化 に敏感であるため，階調数が少ないと，1.5.1 項で述べたマッハバンド効果に より，異なる画素値が隣接している場合の不連続さを敏感にとらえてしまう。 図 4.1 連続的な世界の標本化
（ a ） 連続的な実世界 （ b ） 5×5 画素 （ c ） 10×10 画素 （ d ） 25×25 画素
コロナ社
索 引 201
【あ】
明るさの対比 35 アクションライン 72 圧縮効果 20 アナモルフォーシス 23 アモーダル補完 42 アルファブレンディング 179【い】
位 相 121 一点透視図 20 異方性反射 64 イメージモザイキング 181 色の恒常性 33 陰 影 30 陰関数曲面 57 インタラクティブ スケッチモデリング 56【う】
ウェーバーの法則 111 動き補償 191 運動視 4 運動視差 19【え】
エイムズの部屋 23 エッジ抽出 144 エーレンシュタイン現象 14 円筒管 82 エントロピー 183【お】
凹凸反転 30 オクターブ錯覚 104 オノマトペ 101 オービソン錯視 16 オプティカルフロー 170 重み付き平均化フィルタ 142 音圧レベル 84 音韻修復 103 音脈分凝 103【か】
カイ 2 乗検定 116 カイ 2 乗分布 117 開 管 83 階調変換関数 136 回 転 174 ガウシアンフィルタ 142 画 角 20 蝸 牛 97 拡大・縮小 173 角度配色法 65 陰 30 影 30 仮現運動 40 画 素 132 カトゥーンアニメー ションフィルタ 72 カフェウォール錯視 16 加法混色 38 ガンマトーンフィルタ 89, 99 簡略化 50【き】
擬音語 101 気体定数 80 基底膜 97 基本周波数 90 キ メ 24 極限法 113【く】
空間視 4 空間フィルタリング 140 空気遠近法 37 クレーター錯視 30, 31 群 化 15【け】
継時マスキング 99 形態視 4 ケニーのエッジ検出 アルゴリズム 163 ケプストラム法 90 顕著性 52 減法混色 37【こ】
広角レンズ 20 交互作用 119 恒常視 3 恒常法 113 高速フーリエ変換 90 後退色 36 誇張投影 54【さ】
最小可聴音場 98 最小可聴値 84 最小値 159 最大値 159 再標本化 175 サウンドスペクトロ グラム 92 差分法 167索 引
コロナ社
202 索 引 三件法 116 三点透視図 20 サンプリング周波数 91
【し】
視覚認知プロセス 4 色彩視 4 耳小骨 97 質感表現 63 写実的表現 2 ジャストロー錯視 17 収縮色 37 縦断勾配錯視 24 周波数フィルタリング 149 主観的輪郭 14 シュブルール錯視 34 純 音 88 順序効果 125 順序尺度 120 消失点 20 信号対雑音比 95 心理測定関数 110 心理物理的方法 109【す】
垂直・水平錯視 8 スキュー 174 スティーブンスの べき法則 112 図と地 12 スーラブラシ 70 スリットアニメーション 42【せ】
正規化相互相関 166 切断処理 57 鮮鋭化 148 線遠近法 19 線形フィルタリング 140 線形予測符号化 187 線形予測分析 90 前進色 36【そ】
相違度 165 相互相関関数 91 ソーベルフィルタ 146 ソ ン 85【た】
多義図形 13, 26 多視点表現 55 立上り時間 120 だまし絵立体 27 単眼性 19 短区間スペクトル分析 93【ち】
中央値 160 聴覚フィードバック 105 調整法 113【て】
ディジタル画像 132 ディジタルライティング スクラップブック 60 ティンバー 84 デルブーフ錯視 11 テンプレートマッチング 165【と】
統計的背景差分法 169 同次座標 173 同時生起行列 160 同時マスキング 99 透身立体 28 頭部伝達関数 106 等ラウドネス曲線 98 ドラマティック ライティング 60 トーンカーブ 136【な】
内円の過小視 11【に】
ニアレストネイバー 176 二件法 115 二肢強制選択法 115【ね】
ネッカーの立方体 26【は】
倍 音 90 バイキュービック補間 177 配色効果 66 ハイパスフィルタ 153 ハイブリッドイメージ 17 バイラテラルフィルタ 143 バイリニア補間 176 ハース効果 106 ハフ変換 164 ハフマン符号化 183 パワースペクトル 161 半 音 86【ひ】
菱 櫓 29 非写実的表現 3 ヒストグラム 159 非線形フィルタリング 140 ピッチ 84 ビブラート 102 標準偏差 160 標本化 132【ふ】
フィック錯視 8 フェヒナーの法則 112コロナ社
索 引 203 フォルマント 95, 108 不可能モーション立体 27 不可能立体 27 輻 輳 19, 43 輻輳角 43 フーリエ変換 90 プリューウィット フィルタ 146 プレファレンススコア 115 フレーム間差分法 168 フレームレート 167 分 散 159 分析窓 93
【へ】
平滑化 141 閉 管 82 平均化フィルタ 141 平均値 159 平均律 86 平行移動 173 ヘリウム音声 84 ヘリング錯視 16 変換符号化 188 変身立体 28 弁別閾 110 ペンローズの三角形 27【ほ】
望遠レンズ 20 膨張色 37 補 間 176 保護色 34 ホロウマスク錯視 32 ボンゾ錯視 23【ま】
マガーク効果 107 マスキング 98 マスク処理 178 マッハバンド効果 34【み】
ミュラー・リヤー錯視 9【む】
無声音 92【め】
名義尺度 120 メディアンフィルタ 143【も】
モーションブラー 43 文字列傾斜錯視 17 モーフィング 182【ゆ】
有意差検定 118 有声音 92 有毛細胞 97 誘目性 66【ら】
ラウドネス 84 ラプラシアンフィルタ 147 ランレングス符号化 191【り】
離散コサイン変換 188 領域分割処理法 69 両眼視差 19, 43 両眼性 19 量子化 133 臨界帯域幅 88【る】
類似度 165【れ】
連続尺度 120 連続聴効果 103【ろ】
ローパスフィルタ 151 ♦ ♦【A】
ABX法 116 Alternatingフェーズ 122【B】
Bark 88【C】
cent 87【D】
DPCM符号化 186【F】
FFT 90【H】
HRTF 106【L】
LPC 90【M】
Mel 87コロナ社
204 索 引 missing fundamental 105 MOS 115
【N】
NCC 166 non photorealistic rendering 3【P】
photorealistic rendering 2【S】
SAD 165 Schroederフェーズ 123 Sineフェーズ 122 SNR 96 SPL 84 SSD 165【T】
texture 24【数字】
2AFC 115コロナ社
―― 著 者 略 歴 ―― 近藤 邦雄（こんどう くにお） 1973 年 名古屋大学教養学部図学教室勤務 1978 年 名古屋工業大学第Ⅱ部機械工学科卒業 1988 年 工学博士（東京大学） 1988 年 東京工芸大学講師 1989 年 埼玉大学助教授 2007 年 東京工科大学教授 現在に至る 相川 清明（あいかわ きよあき） 1975 年 東京大学工学部電気電子工学科卒業 1980 年 東京大学大学院工学系研究科博士課程修了（電子工学専攻） 工学博士 1980 年 日本電信電話公社武蔵野電気通信研究所入所 1989 年 カーネギーメロン大学コンピュータサイエンス学部客員研究員 1990 年 NTT ヒューマンインタフェース研究所勤務 1992 年 国際電気通信基礎技術研究所人間情報通信研究所勤務 1996 年 NTT ヒューマンインタフェース研究所勤務 1999 年 NTT コミュニケーション科学基礎研究所勤務 2003 年 東京工科大学教授 現在に至る 竹島 由里子（たけしま ゆりこ） 1994 年 お茶の水女子大学理学部情報科学科卒業 1996 年 お茶の水女子大学大学院理学研究科修士課程修了（情報科学専攻） 1999 年 お茶の水女子大学大学院人間文化研究科博士課程修了（人間環境学専攻） 博士（理学） 1999 年 お茶の水女子大学大学院助手 2001 年 東北大学流体科学研究所助手 2004 年 日本原子力研究所博士研究員 2005 年 東北大学流体科学研究所助手 2007 年 東北大学流体科学研究所助教 2010 年 東北大学流体科学研究所講師 2015 年 東京工科大学准教授 現在に至る
コロナ社
視聴覚メディア
Audiovisual Media Ⓒ Kondo, Aikawa, Takeshima 2017
2017 年 6 月 1 日 初版第 1 刷発行 ★ 検印省略 著 者 近 藤 邦 雄相 川 清 明 竹 島 由 里 子 発 行 者 株式会社 コ ロ ナ 社 代 表 者 牛 来 真 也 印 刷 所 萩 原 印 刷 株 式 会 社 製 本 所 有限会社 愛千製本所 112 0011 東京都文京区千石 4 46 10 発 行 所 株式会社 コ ロ ナ 社
CORONA PUBLISHING CO., LTD. Tokyo Japan
振替00140 8 14844・電話（03）3941 3131（代） ホームページ http://www.coronasha.co.jp
ISBN 978 4 339 02795 2 C3355 Printed in Japan （新井）
＜出版者著作権管理機構 委託出版物＞
本書の無断複製は著作権法上での例外を除き禁じられています。複製される場合は，そのつど事前に， 出版者著作権管理機構（電話 03-3513-6969，FAX 03-3513-6979，e-mail: info@jcopy.or.jp）の許諾を 得てください。
本書のコピー，スキャン，デジタル化等の無断複製・転載は著作権法上での例外を除き禁じられています。 購入者以外の第三者による本書の電子データ化及び電子書籍化は，いかなる場合も認めていません。 落丁・乱丁はお取替えいたします。
