本実験

の方が人間よりも変化に鈍感だったためである．上でも述べたように，学習データの偏りに よって本来学習されるべき人間の評価が学習できなかった可能性がある．学習データの工夫 によって識別器の精度が高くなる可能性が考えられる．

一方で，識別器の精度が人間の評価に準じていないのは，元々人間もデータを正確に評価 できていない可能性が考えられる．今回学習データを評価したのが3人であるため分散は 大きくないが，評価した人数が増えた場合分散が大きくなる可能性は大いに考えられる．分 散が大きくなるということは人間が与える評価すら人間によってバラバラであることを意味 している．表3.4より，35枚中14枚が人間の評価と一致している．テストデータ35枚の，

人間の評価の標準偏差の平均は0.276である．ある画像においては標準偏差が1.155となり 人によって評価が大きく異なっていることが分かる．図3.5で示したように画像は10段階 に変形させているが，人間の評価が一意に決まるとは考えにくく，元々識別器に学習させる データの精度が高いとは考えられない．そのような曖昧な学習データを基にしているにも関 わらず，90%近い精度で人間の評価と同じ結果を示す判定関数はある程度妥当であると考え られる．

よって，本実験で用いる美形化画像が入力画像と同一人物か判定する関数として，今回求 めた判定関数を用いることとする．ただし，識別器は完璧に識別できるとは言えない．なぜ ならば，考察で示したようにまず元々人間が完璧に識別できないため，そして，学習データ の偏りによって人間に比べ適切な変形であると判定しやすくなっているためである．

図3.6 : 提案手法による美形化結果を示す．各ペアに対して，左が入力画像，右が出力画像．

• 既存手法による美形化結果と提案手法による美形化結果を左右ランダムで見せ，美し いと思う顔を選択してもらう．評価は，1つ目の主観評価実験と同様に，左が美しい，

右が美しい，判定できないの3択で行う．

これら3つの評価についてまとめ，考察を行う．

3.3.1 実験結果

図3.6に提案手法による美形化の変形結果を示した．実際に与えられた人間の評価につい て表3.5に示した．また，提案手法による美形化結果に対し，変形が適切な変形であるか過 剰な変形であるかについて回答された人間の評価について表3.6に示した．

これまでの既存研究との比較を行う．既存研究による変形結果と提案手法による変形結果 を図3.7に示す．また，どちらが美しいと評価されたか表3.7に結果を示す．

表 3.5 : 本実験における主観評価実験の結果 美形化画像を

美しいと評価

どちらが美しいと 判断できない

入力画像を 美しいと評価

89% 5% 6%

表 3.6 : 本実験における変形の妥当性 適切な変形と評価 過剰な変形と評価

76% 24%

3.3.2 考察

美形化実験の結果より，変形結果が美形化されることは予想通りであった．また，入力画 像と同一人物に見える範囲内の変形となるように関数を設定したため，過剰な変形であると 評価された数は少なかった．また，過剰な変形であると答えた評価者のほとんどが，変形後 の画像に違和感がある例に対し過剰な変形であると評価した．具体例は図3.8に示す．図3.8 で示したように顎付近に輪郭などが表れ，出力画像に違和感が生じるケースがあった．これ は変形する際の制御点の取り方に問題があると考えられる．ワーピングを工夫することで，

この点は解消できると考えられる．また，評価者によると入力画像と別人と思われるほど変 化した例はほぼ0に等しかった．つまり，識別器によって変形に制約が加わり，同一人物に 見える範囲で変形をしているという目的は達成できていると考えられる．

また表3.7に示したように，提案手法の方が美しいと評価されるケースが多かった．これ は提案手法によって定義した同一人物に見える範囲内での変形かどうか判定する関数の存在 があるためである．既存手法では，過剰な変形を防ぐためになるべく変形を行わないという 制約を加えて変形を行うが，提案手法は同一人物に見える範囲を設定することで，美形化画 像がその範囲内にあるならば，なるべく美形になるように形状を変形させる手法である．こ れによって既存研究よりも美形化できていると考えられる．また実験より，顔画像は形状を vbに変形させても別人に見えるほどの過剰な変形が行われないことが分かった．そのため，

既存手法のようになるべく変形させないという制約は過剰な変形を防いでいるだけでなく，

美形化の可能性を大きく減らしているものである．

表 3.7 : 既存手法と提案手法の比較 提案手法による美形化を

美しいと評価

どちらが美しいと 判断できない

既存手法による美形化を 美しいと評価

73% 5% 22%

よって，提案手法では同一人物に見える範囲内で美形化することができた．判定関数の精 度が上がり，美形化画像が入力画像と同一人物に見える範囲がさらに正確に求まるならば，

本研究の目的に示した，同一人物に見える範囲内で最大限に美形化する可能性が高くなると 考えられる．

図3.7 : 提案手法による美形化結果と，既存手法による美形化結果を比較した．左から，入 力画像，提案手法による美形化結果，既存手法による美形化結果．

図3.8 : 提案手法によって過剰な変形が行われた例．左：入力画像 右：出力画像．右の出 力画像の顎付近に入力にない線が生じている．

第 4 ^{章 おわりに}

本研究では，美形化画像が入力画像と同一人物に見える範囲内かどうか判定する識別器を 用いることによって，入力画像を同一人物に見える範囲内で最大限に美形化する手法を提案 した．識別器は，顔画像を学習したCNN，VGG-Face[24]による特徴ベクトルと、ロジス ティック回帰によって設計した．結果，89%が入力画像と比べ美形化されたと評価され，同 一人物に見える範囲内の変形であると76%が評価された．また，既存手法による美形化と比 較したところ，73%が提案手法の美形化の方が美しく変形されたと評価した．

謝辞

本研究を進めるにあたり、ご指導を頂いた卒業論文指導教員の石川 博教授に感謝致しま す。また、日常の議論を通じて多くの知識や示唆を頂いた飯塚さん、エドガーさん、望月さ ん、石川研究室の皆様に感謝します。

2016年2月 神田庸平

参考文献

[1] Beauty Science ? What makes a Beautiful Face. http://glamourdaze.com/2013/

03/beauty-science-what-makes-a-beautiful-face.html.

[2] PortraitPro -簡単な使用の写真編集ソフト. http://www.portraitpro.co.jp/.

[3] 【 人 物 の 美 化 】画 像 修 正・写 真 修 正 — グ ラ フィック ファク ト リ ー. http://

graphic-factory.net/beauty.html.

[4] 人によって顔や体などの見た目の好みが違うのは何故なのか？｜高須クリニック. http:

//www.takasu.co.jp/topics/column/beauty/36.html.

[5] 美人顔の黄金比とは｜デンタル美顔術 名古屋. http://www.dental-bigan.com/

golden.html.

[6] Thomas R Alley. The effects of growth and aging on facial aesthetics. 1988.

[7] Thomas R Alley and Michael R Cunningham. Averaged faces are attractive, but very attractive faces are not average. Psychological Science, 2(2):123–125, 1991.

[8] Brandon Amos, Jan Harkes, Padmanabhan Pillai, Khalid Elgazzar, and Mahadev Satyanarayanan. OpenFace: Face Recognition with Deep Neural Networks. http:

//github.com/cmusatyalab/openface. Accessed: 2015-11-11.

[9] Kaoru Arakawa and Takuya Okada. ε-separating nonlinear filter bank and its appli-cation to face image beautifiappli-cation. Electronics and Communications in Japan (Part III: Fundamental Electronic Science), 90(4):52–62, 2007.

[10] Andrea Bottino and Aldo Laurentini. The analysis of facial beauty: an emerging area of research in pattern analysis. In Image Analysis and Recognition, pages 425–435.

Springer, 2010.

[11] Leo W Buss. The evolution of individuality, volume 201. Princeton University Press Princeton, 1987.

[12] Timothy F Cootes, Chritopher J Taylor, David H Cooper, and Jim Graham. Active shape models-their training and application.Computer Vision and image understand-ing, 61:38–59, 1995.

[13] David L Davies and Donald W Bouldin. A cluster separation measure. Pattern Analysis and Machine Intelligence, IEEE Transactions on, (2):224–227, 1979.

[14] Yael Eisenthal, Gideon Dror, and Eytan Ruppin. Facial attractiveness: Beauty and the machine. Neural Computation, 18(1):119–142, 2006.

[15] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Delving deep into recti-fiers: Surpassing human-level performance on imagenet classification. arXiv preprint arXiv:1502.01852, 2015.

[16] E Holland. Marquardt s phi mask: Pitfalls of relying on fashion models and the golden ratio to describe a beautiful face. Aesthetic plastic surgery, 32(2):200–208, 2008.

[17] Gary B Huang, Manu Ramesh, Tamara Berg, and Erik Learned-Miller. Labeled faces in the wild: A database for studying face recognition in unconstrained envi-ronments. Technical report, Technical Report 07-49, University of Massachusetts, Amherst, 2007.

[18] Yosh Jefferson. Facial beauty-establishing a universal standard. INTERNATIONAL JOURNAL OF ORTHODONTICS-MILWAUKEE-, 15(1):9–26, 2004.

[19] Ian Johnston. Mathematicians dispute claims that the ’golden ratio’ is a nat-ural blueprint for beauty. http://www.independent.co.uk/news/science/

mathematicians-dispute-claims-that-the-golden-ratio-is-a-natural/

blueprint-for-beauty-10204354.html.

[20] Judith H Langlois and Lori A Roggman. Attractive faces are only average. Psycho-logical science, 1(2):115–121, 1990.

[21] Tommer Leyvand, Daniel Cohen-Or, Gideon Dror, and Dani Lischinski. Data-driven enhancement of facial attractiveness. ACM Transactions on Graphics (TOG), 27(3):38, 2008.

[22] Stefano Melacci, Lorenzo Sarti, Marco Maggini, and Marco Gori. A template-based approach to automatic face enhancement. Pattern Analysis and Applications, 13(3):289–300, 2010.

[23] Stephen Milborrow and Fred Nicolls. Locating facial features with an extended active shape model. In Computer Vision–ECCV 2008, pages 504–513. Springer, 2008.

[24] O. M. Parkhi, A. Vedaldi, and A. Zisserman. Deep face recognition. In British Machine Vision Conference, 2015.

[25] Gillian Rhodes, Alex Sumich, and Graham Byatt. Are average facial configurations attractive only because of their symmetry? Psychological Science, 10(1):52–58, 1999.

[26] Gillian Rhodes and Tanya Tremewan. Averageness, exaggeration, and facial attrac-tiveness. Psychological science, pages 105–110, 1996.

[27] Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014.

[28] Alex Smola and Vladimir Vapnik. Support vector regression machines. Advances in neural information processing systems, 9:155–161, 1997.

[29] Mingming Sun, David Zhang, and Jingyu Yang. Face attractiveness improvement using beauty prototypes and decision. In Pattern Recognition (ACPR), 2011 First Asian Conference on, pages 283–287. IEEE, 2011.

[30] Matthew A Turk and Alex P Pentland. Face recognition using eigenface. In Com-puter Vision and Pattern Recognition, 1991. Proceedings CVPR’91., IEEE ComCom-puter Society Conference on, pages 586–591. IEEE, 1991.

[31] Paul Viola and Michael Jones. Rapid object detection using a boosted casucade of simple features. volume 1. IEEE, 2001.

[32] Lior Wolf, Tal Hassner, and Itay Maoz. Face recognition in unconstrained videos with matched background similarity. In Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on, pages 529–534. IEEE, 2011.

付 録 A ^{既存美形化の詳細}

本研究では入力顔画像に対し，同一人物と判定される範囲内で最大限に美形化した顔画像 を出力する．本研究の美形化は，顔形状を変形させることによって行う手法であり，同様の 既存研究が存在する．提案手法との違いを比較できるよう，各手法の詳細について付録とし て載せる．