第 8 章 終わりに 34
8.2 今後の課題
現在ではほぼ柄のないランチョンマット上での実行を行っており,そのためエッ ジ検出での食器検出がうまくいっているが, 実際の環境下ではテーブルの木目や模 様, 広告などでエッジがうまく検出されず正しい食器検出ができない場合がある.
今後は楕円フィッテングなどを用いてより背景情報に左右されない食器検出手法を 考える必要がある.
また, 食事領域抽出においても色情報を主に使用しているので,食品と食器の色 が類似している場合やカレーライスのように大きく色の異なる部分がある食品に
第 8 章 終わりに 35 はうまく食事領域を抽出できない場合が存在する(図8.1). 今後はテクスチャ特徴 なども用いてより正確に食事領域を抽出したい.
図 8.1: カレーライスでの食品領域分割実行例
今後は複数品においてもまとめて撮影し, 一回の撮影で食事全体のカロリー量 がわかればより有用性が上がると考えられる(図8.2). その際にはユーザーに大ま かな食品領域を指定してもらい, その情報を用いてGrabCutを行うなどをすれば, ユーザーの負担を最小限に抑えつつ, 実行が可能であると考えられる. 現在の方式 にとらわれず今後も様々な手法を試していきたい.
今回は画像中より面積を求め,それを一定の単位の下,積算よりカロリー量を求 めたが実際には面積ではなく, 体積を求めたほうがより正確なカロリー量を推定で きると考えられる. 体積の推定には, 複数枚の異なる視点での画像を撮影し, 3D復 元を行う方法が考えられるが,あまり操作が多くなると気軽に使用できずに使って もらえなくなる場合もあるので使用感と,精度の良いバランスを考え選択しなけれ ばならない.
第 8 章 終わりに 36
図 8.2: 想定される実際の使用環境
参考文献 37
参考文献
[1] Y. Kawano and K. Yanai. Foodcam-256: A large-scale real-time mobile food recognition system employing high-dimensional features and compression of classifier weights. In Proceedings of the ACM International Conference on Multimedia, pp. 761–762, 2014.
[2] K. Okamoto and K. Yanai. Grillcam: A real-time eating action recogni-tion system. In Proc. of International Conference on Multimedia Modelling (MMM), 2016.
[3] 株式会社クオリア. http://www.qualia.tokyo.
[4] K. Aizawa, Y. Maruyama, H. Li, and C. Morikawa. Food balance estima-tion by using personal dietary tendencies in a multimedia food log. IEEE Transactions on Multimedia, Vol. 15, No. 8, pp. 2176–2185, 2013.
[5] W. Wu and J. Yang. Fast food recognition from videos of eating for calorie estimation. In Proc. of IEEE International Conference on Multimedia and Expo(ICME), pp. 1210–1213, 2009.
[6] 特定非営利活動法人日本栄養改善学会. 食事調査マニュアル 改定2版. 南山 堂, 2008.
[7] W. Shimoda and K. Yanai. Cnn-based food image segmentation. In Proc. of International Workshop on Multimedia Assisted Dietary Manage-ment (MADIMA), 2015.
[8] J. Dehais, M. Anthimopoulos, and S. Mougiakakou. Dish detection and seg-mentation for dietary assessment on smartphones. In Proc. of International Workshop on Multimedia Assisted Dietary Management (MADIMA), pp. 432–
440, 2015.
参考文献 38 [9] T. Miyazaki, Gamhewage C. De S., and K. Aizawa. Image-based calorie
content estimation for dietary assessment. InIEEE International Symposium on Multimedia, pp. 363–368, 2011.
[10] P. Pouladzadeh, S. Shirmohammadi, and R. Almaghrabi. Measuring calorie and nutrition from food image. IEEE Transactions on Instrumentation and Measurement, pp. 1947–1956, 2014.
[11] F. Kong and J. Tan. Dietcam: Automatic dietary assessment with mobile camera phones. In Proc. of Pervasive and Mobile Computing, pp. 147–163, 2012.
[12] C. Xu, Y. He, N. Khannan, A. Parra, C. Boushey, and E. Delp. Image-based food volume estimation. In Proceedings of the international workshop on Multimedia for cooking & eating activities, pp. 75–80, 2013.
[13] M. Chen, Y. Yang, C. Ho, S. Wang, S. Liu, E. Chang, C. Yeh, and M. Ouhy-oung. Automatic chinese food identification and quantity estimation. In SIGGRAPH Asia Technical Briefs, p. 29, 2012.
[14] A. Meyers, N. Johnston, V. Rathod, A. Korattikara, A. Gorban, N. Silberman, S. Guadarrama, G. Papandreou, J. Huang, and K. P. Murphy. Im2calories:
Towards an automated mobile vision food diary. In The IEEE International Conference on Computer Vision (ICCV), 2015.
[15] J. A. Hartigan and M. A. Wong. A K-means clustering algorithm. Applied Statistics, Vol. 28, pp. 100–108, 1979.
[16] C. Rother, V. Kolmogorov, and A. Blake. “GrabCut” − Interactive Fore-ground Extraction using Iterated Graph Cuts. InProc. of ACM SIGGRAPH, pp. 309–314, 2004.
[17] 岡元晃一, 柳井啓司. Deepfoodcam: Dcnnによる101種類食事認識アプリ. 画 像の認識・理解シンポジウム(MIRU), 2015.
[18] A. Krizhevsky, S. Ilya, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. InAdvances in Neural Information Processing Systems, pp. 1097–1105. 2012.
参考文献 39 [19] M. Lin, Q. Chen, and S. Yan. Network in network. In Proc. of International
Conference on Learning Represenation Conference Track, 2013.
[20] Y. Kawano and K. Yanai. ILSVRC on a Smartphone. IPSJ Transactions on Computer Vision and Applications, Vol. 6, pp. 83–87, 2014.
[21] Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, S. Guadarrama, and T. Darrell. Caffe: Convolutional architecture for fast feature embedding. In Proc.of ACM International Conference Multimedia, pp. 675–678, 2014.
[22] UEC FOOD 100. http://foodcam.mobi/dataset.html.
付 録 A 今回作成したデータセット 40
付 録 A
今回作成したデータセット
今回収集したデータセット及びテストセットの画像の一部を以下の図に示し, 全 体の面積及びカロリー量を以下の表に示す. 画像は全て左側よりS,M,Lサイズの 順番で並んでいる.
図 A.1: ごはん データセット画像
図 A.2: ごはん テストセット画像
図 A.3: 牛丼 データセット画像
付 録 A 今回作成したデータセット 41
図 A.4: 牛丼 テストセット画像
表 A.1: データセットの面積及びカロリー量
データセット面積(cm2) データセットカロリー量(kcal)
食品名 S M L S M L
ごはん 126.03 178.09 195.85 142 242 285
ひじき 66 98.7 129.89 44 73 100
サラダ 103.68 171.02 184.78 8 13 17
ナポリタン 289.8 501.01 597.04 399 614 748
お浸し 79.27 121.5 132.53 53 80 116
牛丼 184.82 221.54 228.73 669 929 1063
肉じゃが 85.07 116.09 132.9 116 174 275.5
酢豚 70.05 92.31 112.75 150.4 225.6 357.2
春巻き 52.11 89.47 131.83 166 332 498
コロッケ 59.87 111.45 163.81 198 369 594
から揚げ 25.82 75.11 116.93 77.7 259 414.4
きんぴら 63.91 78.08 100.44 53.2 79.8 119.7
エビチリ 58.32 69.84 108.8 141.6 212.4 336.3
餃子 18.38 61.46 96.96 50 150 250
たこ焼き 82.52 114.87 153.81 235.5 353.25 471
焼きそば 133.35 182.67 264.51 232.98 360 678
トンカツ 31.29 80.76 146.47 124 372 744
焼き鳥 31.85 120.92 229.59 63.3 190 380
筑前煮 76.44 81.88 98.84 74.4 94 141
フライドポテト 87.47 136.95 204.4 207 310.5 414
付 録 A 今回作成したデータセット 42
表 A.2: テストセットの面積及びカロリー量
テストセット面積(cm2) テストセットカロリー量(kcal)
食品名 S M L S M L
ごはん 129.28 119.69 306.14 221 340 459
ひじき 51.6 59.12 85.05 32.94 51.76 80
サラダ 79.18 97.62 74.23 6 10 14
ナポリタン 163.79 190.37 240.37 278 441.49 605
お浸し 53.78 73.16 110.14 30 54 81
牛丼 192.3 227.16 243.23 737 962 1322
肉じゃが 114.4 99.63 95.01 120 170 276
酢豚 68.79 87.01 91.76 195 292 476
春巻き 48.82 100.44 147.36 214 428 642
コロッケ 65.07 108.52 146.72 184 368 552
から揚げ 26.43 68.21 109.93 97.6 292.8 488
きんぴら 40.5 64.04 92.66 36 72 108
エビチリ 80.31 87.9 97.99 178.42 267.63 368
餃子 25.94 80.91 157.72 82 246 494
たこ焼き 63.86 91.48 115.09 160.5 240.75 321
焼きそば 137.15 193.71 227.72 188.89 283.33 425
トンカツ 28.33 70.63 115.06 120.75 345 586.5
焼き鳥 22.27 90.09 114.9 55.2 165.6 276
筑前煮 66.41 83.17 97.36 56.68 85.02 124
フライドポテト 153.65 267.78 305.12 249 454 571
付 録 B 全カロリー量推定結果及びユーザーによるカロリー量推定結果43
付 録 B
全カロリー量推定結果及び
ユーザーによるカロリー量推定結果
今回のカロリー量推定実験の食品ごとの3サイズごとのカロリー量誤差平均及 び相対誤差を以下の表B.1に示す.
またユーザー評価実験での実際にユーザーに使用してもらい, 求められたカロ リー量とその誤差を以下の表に示す. 表B.2に既存システムの結果を, 表B.3に既 存システムの結果を示す.
付 録 B 全カロリー量推定結果及びユーザーによるカロリー量推定結果44
表 B.1: 計測されたカロリー量誤差及び相対誤差
カロリー量誤差(kcal) 相対誤差
S M L 平均 S M L 平均
ごはん 73.443 213.564 20.943 102.65 0.332 0.628 0.046 0.335 ひじき 1.853 13.845 18.822 11.507 0.056 0.267 0.235 0.186 サラダ -6.384 0.96 0.405 2.583 -1.064 0.096 0.029 0.396 ナポリタン -44.177 106.793 242.159 131.043 -0.159 0.242 0.4 0.267 お浸し -4.394 6.917 1.366 4.226 -0.146 0.128 0.017 0.097 牛丼 71.471 -70.83 -95.537 79.279 0.097 -0.074 -0.072 0.081 肉じゃが -46.317 47.813 159.814 84.648 -0.386 0.281 0.579 0.415 酢豚 46.728 90.761 253.108 130.199 0.24 0.311 0.532 0.361 春巻き 63.495 50.841 89.33 67.889 0.297 0.119 0.139 0.185 コロッケ -28.774 10.545 38.037 25.785 -0.156 0.029 0.069 0.085 から揚げ -3.56 57.917 101.457 54.311 -0.036 0.198 0.208 0.147 きんぴら -21.336 2.432 22.957 15.575 -0.593 0.034 0.213 0.28 エビチリ -84.649 -24.188 48.444 52.427 -0.474 -0.09 0.132 0.232 餃子 16.147 43.189 36.057 31.798 0.197 0.176 0.073 0.148 たこ焼き 0.992 -29.48 -33.497 21.323 0.006 -0.122 -0.104 0.078 焼きそば -52.343 -112.125 -94.013 86.16 -0.277 -0.396 -0.221 0.298 トンカツ 10.71 26.199 26.851 21.254 0.089 0.076 0.046 0.07 焼き鳥 3.991 22.812 96.035 40.946 0.072 0.138 0.348 0.186 筑前煮 24.398 -13.127 -13.509 17.012 0.43 -0.154 -0.109 0.231 フライド
ポテト -90.466 -15.545 86.048 64.02 -0.363 -0.034 0.151 0.183
付 録 B 全カロリー量推定結果及びユーザーによるカロリー量推定結果45
表 B.2: ユーザー評価実験(FoodCam) FoodCam
求められたカロリー量(kcal) カロリー量誤差(kcal) 被験者 牛丼 コロッケ サラダ 牛丼 コロッケ サラダ 正解カロリー量 962 552 14 0 0 0
A 1272 434 26 310 -118 12
B 727 434 131 -235 -118 117
C 909 248 78 -53 -304 64
D 1090 310 104 128 -242 90
E 909 310 52 -53 -242 38
F 909 310 78 -53 -242 64
G 909 310 52 -53 -242 38
H 727 310 131 -235 -242 117
I 545 186 40 -417 -366 26
J 727 434 30 -235 -118 16
K 909 310 78 -53 -242 64
L 1272 124 26 310 -428 12
平均 908.75 310 68.83 177.91 242 54.83
標準偏差 209.79 91.26 36.28