17 Proposal of an Algorithm of Image Extraction and Research on Improvement of a Man-machine Interface of Food Intake Measuring System

食事摂取量計測システムに関する切り出しアルゴリズムの提案と

マンマシンインターフェイスの改良に関する研究

人工知能研究室 片山 崇俊 1. はじめに 現在，入院患者の食事の摂取量計測は，栄養士による目視 と手計算で行われている．しかし，この様な計測方法では栄 養士による個人差が生じるため，正確な摂取量の計測が困難 になる．また，患者毎に異なる食事のメニューや摂取量を記 録する作業を考慮すると，膨大な手間を要する．さらに，患 者毎の計測データの管理においても電子化されておらず，効 率も良くない．そこで，これらの問題を改善するために，病 院関係者からこれらの作業を栄養士に代わり，機械を用いて 計測および記録を行いたいという強い要望がある． そこで，著者は食事摂取量計測システムの研究と開発を行 ってきた(1)．本論文では，新切り出しアルゴリズムの提案と マシンインターフェイス(以下 MMI と略)の改良を行う．また， 実験を行い，新旧抽出アルゴリズムの抽出精度，抽出能力の 有用性を検討する． 2. 食事摂取量計測システム 本システムの基本コンセプトは食前と食後の食膳画像を比 較，計測を行い，患者が摂取したカロリー，各種栄養素を 算出するものである．システムの処理の流れは，まず撮影 筐体の中に食膳を入れ，食膳全体を撮影する．次に，その 撮影画像から食器位置を特定し，食器画像を抽出する．さ らに，抽出された食器画像から食材画像を抽出する．最後 に，抽出された食材画像から画素数を求め，食前および食 後を比較し，データベースとリンクして摂取カロリーを算 出する． 3. 切り出しアルゴリズムの提案とマンマシンインタ ーフェイスの改良 これまでの研究では，食器および食材のエッジ探索に市販 の画像処理ライブラリを用いてきた．そのため，著作権の問 題，およびバイナリコード表現などの問題により，アルゴリ ズムの改良ができない等の問題や，市場投入の際，コストも 大幅に増加してしまう．そこで，エッジ探索とヒストグラム 法を用いた新切り出しアルゴリズムの提案を行う．また，本 システムを市場で利用する際に，従来の MMI では機械や Personal Computer(PC)が苦手な人では操作が難しいと考えた． そこで，MMI の改良を行い，機械や PC の操作が不得意な人 にも操作しやすいように操作性の向上を行う．また，音声ガ イドシステムを追加し，さらなる操作性の向上を行う． ４．新旧抽出アルゴリズムによる比較実験 新旧抽出アルゴリズムのどちらが有用な抽出能力を持つア 表１ 抽出性能確認実験 食器抽出(%) 食材抽出(%) 新 100.0 95.2 旧 100.0 80.1 図１ 抽出成功例 図 2 抽出失敗例 実験結果より，新抽出アルゴリズムの方が有用なシステム であることが判明した．次に，市場投入の際の計測時にデー タベースへの登録の失敗や，未登録の食材が混入される等の システムが予測不可能な状況が考えられる．そこで，両アル ゴリズムの未登録食材排除実験を行った．その結果，未登録 食材の排除率は旧アルゴリズムで０%，新アルゴリズムで 31.3%となり，新アルゴリズムの排除率が高かった．しかし， 未だ排除率は低い．今後は，2 次元ヒストグラム作成時の閾 値の値を変更し，排除率を高めていこうと考えている．最後 に，新アルゴリズムの問題である計測時間の増加を解決する ために，PC のマシンスペックを変更し，目標時間(3 秒)を達 成できるか調べるために時間計測実験を行った(2)．その結果， マシンスペックの変更だけでは目標時間を達成できなかった． そこで，今後は抽出時に作成する２次元ヒストグラムの枚数 を減少させるなどのプログラムの改良を行う． ５．まとめ 本論文では，食事摂取量計測システムとシステム構成につ いて述べた．次に新切り出しアルゴリズムの提案とMMI の 改良について述べた．そして，新旧抽出アルゴリズムの抽出 性能と未登録食材排除率の比較実験を行い，両アルゴリズム の有用性を検討した．次に，新アルゴリズムの問題である計 測時間の短縮を目的とした実験を行った．今後は，未登録食 材の排除率を高めるために2 次元ヒストグラム作成時の閾値 の値を変更し，排除率を高める．また，計測時間の短縮を図 るために，抽出時に作成する２次元ヒストグラムの枚数を減 少させるなどのプログラムの改良を行う． 参考文献 (１) 片山崇俊,大森竹雄,佐伯欣洋,竹田史章 院内用食事摂取 量計測システムの性能安定化の検討 ,第 49 回システム 制御情報学会,研究発表講演会後援論文集,p531-532,2005

平成

17 年度

学士学位論文

食事摂取量計測システムに関する切り出し

アルゴリズムの提案とマンマシン

インターフェイスの改良に関する研究

Proposal of an Algorithm of Image Extraction and

Research on Improvement of a Man-machine Interface

of Food Intake Measuring System

1060120 片山 崇俊

指導教員 竹田 史章

2006 年 2 月 3 日

要旨

食事摂取量計測システムに関する切り出しアルゴリズムの提案と

マンマシンインターフェイスの改良に関する研究

現在，入院患者の食事の摂取量計測は，栄養士による目視と食品成分表と照らし合わ せた手計算で行われている．しかし，この方法では栄養士による個人差が生じるため， 正確な摂取量の計測が困難となる．また，患者によって異なる食事のメニューや摂取量 を記録している．よって，膨大な手間を要することになる．そのため，病院関係者から これらの作業を栄養士に代わり，機械を用いて計測および記録を行いたいという強い要 望がある．そこで，著者は食事摂取量計測システムの研究を行ってきた．本システムを 導入することによって，測定基準が一定になり，摂取量計測の時間短縮と厳密な栄養管 理が可能となり，栄養士への負担が軽減される．さらに記録の電子化によりデータ管理 や共有が容易になる． 本論文ではまずシステムの概要，運用方法について述べる． 次に，新しい切り出し アルゴリズムについて提案する．さらに，マンマシンインターフェイスの改良による操 作性の改善を目指す．また，新旧アルゴリズムの比較実験を行い、新しいアルゴリズム の有用性の検証を行う． キーワード 食事摂取量測定，食器抽出，食材抽出，アルゴリズム マンマシンインターフェイス

Abstract

Proposal of an Algorithm of Image Extraction and Research on

Improvement of a Man-machine Interface

of Food Intake Measuring System

Up to now, food intakes in hospitals are calculated manually depending on dieticians measuring by check with eyes and comparing it with the standard ingredient table. However, it is restricted by individual differences of dieticians and therefore difficult to get correct results. Moreover, it is expensive computationally relying on different patients with different food menus. It is necessary to develop an instrument that can realize measuring and recording automatically to assist dieticians. Hence we have developed a food intake measuring system, which can decrease measuring time and realize accurate management of food intakes, and reduce burden of dieticians. It is also easily for data sharing and managing.

In this paper, the construction and operation of the system are reported. Moreover, we propose, a new algorithm for extracting of the food edge. Next, in order to improve the operability of the system the interface between operators and the system is modified. Furthermore, the comparison of experiment results between the proposed algorithm and, the old one are executed. The effectiveness of the algorithm is shown with experimental results.

Keywords; food intake measuring system, dish extraction, food extraction,

目次

第１章 はじめに...1 第２章 食事摂取量計測システム...2 ２.１ システムの特徴...2 ２.２ ハードウェアの構成...3 ２.３ ソフトウェアの構成...4 ２.３.１ データベースプログラム...5 ２.３.２ 画像処理プログラム... 10 ２.３.３ データベースプログラムとの通信処理... 11 ２.３.４ 撮像処理... 11 ２.３.５ 計測処理... 12 第３章 新しい切り出しアルゴリズムの提案とマンマシンインターフェイスの改良... 13 ３.１ 画像処理ライブラリ... 14 ３.２ 新しい切り出しアルゴリズムの提案... 15 ３.２.１ 食器抽出方法... 16 ３.２.２ 食材抽出方法... 18 ３.３ マンマシンインターフェイスの改良... 20 ３.３.１ データベース部... 20 ３.３.２ 画像処理部... 23 ３.３.３ 音声ガイド... 24 第４章 新旧抽出アルゴリズムによる比較実験... 25 ４.１ 抽出性能確認実験... 25 ４.１.１ 実験条件... 25 ４.１.２ 実験結果... 27 ４.１.３ 考察... 27 ４.２ 未登録食材排除実験... 28 ４.２.１ 実験条件... 28 ４.２.２ 実験結果... 28 ４.２.３ 考察... 29 ４.３ 時間計測実験... 30 ４.３.１ 実験条件... 30 ４.３.２ 実験結果... 32 ４.３.３ 考察... 32 第５章 まとめ... 33 謝辞... 34 参考文献... 35

図目次

図 ２.１ 計測方法... 3 図 ２.２ 実験筐体... 4 図 ２.３ 食器データベース... 5 図 ２.４ 食物栄養素データベース... 6 図 ２.５ 料理データベース... 7 図 ２.６ メニューデータベース... 8 図 ２.７ 個人データベース... 10 図 ２.８ 撮影処理部... 12 図 ２.９ 計測処理部... 13 図 ３.１ マスク情報例... 15 図 ３.２ ヒストグラム情報例... 16 図 ３.３ 食器抽出方法... 17 図 ３.４ 食材抽出方法... 19 図 ３.５ データベース部新メイン画面... 21 図 ３.６ 新食器データベース登録画面... 22 図 ３.７ 新画像処理画面... 23 図 ３.８ 音声ガイド... 24 図 ４.１ 食器、食材例... 26 図 ４.２ 抽出例... 26 図 ４.３ 配膳パターン例... 31

表目次

表 ４.１ 抽出性能確認実験... 27 表 ４.２ 未登録食材排除結果... 29 表 ４.３ 時間計測実験... 32

第１章

はじめに

現在，入院患者の食事の摂取量計測は，栄養士による目視と食品成分表と照らし合わ せた手計算で行われている．この様な目視による計測方法では，栄養士による個人差が 生じるため，正確な摂取量の計測が困難となる．そのため，厳密な計測を行っている病 院では食材ごとに重さを量り計測を行っている．しかし，患者によって異なる食事のメ ニューや摂取量を記録する作業を考慮すると，重さを量る方法よりも簡略的な目視を用 いる方法ですら，膨大な手間を要することになる．さらに，患者個人の計測データの管 理においても電子化されておらず効率も良くない．そこで，これらの問題を改善するた めに病院関係者から，これらの作業を栄養士に代わり機械を用いて計測および記録を行 いたい，という強い要望がある． そこで，著者らは食事摂取量測定システムの研究と開発を行ってきた[1]-[8]．これま での研究では，食器および食材のエッジ探索に市販の画像処理ライブラリを用いてきた． そのため，著作権の問題およびバイナリコード表現などの問題により，アルゴリズムの 改良ができない等の使用上の制約が多い．また，市場投入の際に，コストが大幅に増加 してしまうという問題もある． 本論文では，撮影した画像から食器抽出および食材抽出を行う新しい切り出しアルゴ リズムの提案と評価実験を行う[9]．さらに，新しい切り出しアルゴリズムの課題とな っている抽出時間の減少方法も検討する[10]．そして，実用化へ向けて機械や Personal Computer(PC)の操作が不得意な人にも操作しやすいようにマンマシンインターフェイ ス(MMI)の改良を行い，操作性の向上を目指す．

第２章

食事摂取量計測システム

本章では，これまでの研究における食事摂取量計測システムの特徴や，ハードウェア， ソフトウェアの構成について記述する．

２.１ システムの特徴

食事摂取量計測システムの基本コンセプトは，システム内で食前と食後に撮影した画 像の画素数の計測および比較を行い，患者が摂取したカロリーおよび各種栄養素(塩分， 鉄分，カルシウム，各種ビタミン，など)を算出するものである． システムの処理の流れは，まず実験筐体の中に食膳を入れ，食膳全体を撮影する．次 に，その撮影画像から食器位置を特定し，食器画像を抽出する．さらに，抽出された食 器画像から食材画像を抽出する．最後に，抽出された食材画像から画素数を求め，食前 および食後を比較し，食物栄養素データベースとリンクして摂取カロリーを算出する． 計測方法の手順を図 ２.１に示す． 提案システムを導入することにより，目視など個人差がある計測方法と比べ，機械で 計測を行うことによって測定基準が一定になり，摂取量計測の時間短縮と厳密な栄養管 理が可能となる．さらに記録の電子化によりデータ管理や共有が容易となる．そのため， 栄養士への負担が軽減されると考えられる．さらに，カメラ付携帯電話などの移動体通 信から送られてきた画像から計測を行うことで，独居老人への栄養指導，遠隔地にいる 患者への栄養管理も可能となることが期待できる．

2.2 ハードウェアの構成 図 ２.１ 計測方法

２.２ ハードウェアの構成

食事摂取量計測システムの実験筐体を図２.２(a)に筐体概観，(b)に筐体内部を示す． 筐体内の上部 4 隅には蛍光灯昼白色球 9W(40W 相当明度)を 4 個取り付けている．電 球と床面の間に，光を拡散させる反射板を取り付けている．撮影にはカラーカメラ(解 像度：320×240,24bit カラー)を使用し，ソフトウェア部分を収納している PC への接続 は Universal Serial Bus(USB)ポートを使用している．

2.2 ハードウェアの構成

(a) 筐体概観 (b) 筐体内部

図 ２.２ 実験筐体

２.３ ソフトウェアの構成

本システムは，データベースプログラム(DBP)と画像処理プログラムの 2 つのプログ ラムから構成されており，両プログラムは User Datagram Protocol(UDP)通信を用いて各 種コマンドや測定結果データのやりとりを行う．DBP は食器データベース，食物栄養 素データベース，料理データベース，メニューデータベース，個人データベースに種別 される．画像処理プログラムには，通信処理サブシステム，画像処理ライブラリによる 撮影処理サブシステム，および計測処理サブシステムがある．これらのサブシステム， データベースはメインシステムとリンクしてプログラムとして PC に格納されており， メニュー登録から計測判定までが PC 上でのオンライン処理となっている．

2.3 ソフトウェアの構成 摂取カロリーの算出は，食材ごとに残留する食材の画素数を摂取前の食材画像と比較す ることによって実施される．

２.３.１ データベースプログラム

本システムを用いて計測，摂取カロリー，各種栄養素の算出を行う場合には，前処理 として，DBP への各種データの登録が必須となっている．計測の際には，各データベ ースを参照し，摂取カロリー，各種栄養素の算出を行っている．データベースは合計 5 つあり，食器データベース，食物栄養素データベース，料理データベース，メニューデ ータベース，個人データベースがある．以下に各データベースについて記述する 食器データベースには，各食器の ID 番号，撮影画像，食器名，その食器を抽出する 際に必要とされる食器テンプレート情報が登録される．食器抽出には，このデータベー スを参照し，登録された食器テンプレート情報を用いて食器を特定する．食器データベ ース画面を図 ２.３に示す． 図 ２.３ 食器データベース

2.3 ソフトウェアの構成

食物栄養素データベースには，食材の栄養成分の情報が登録される．この栄養成分の登 録情報は，文部科学省資源調査会編｢五訂日本食品標準成分｣から引用している．食物栄 養素データベース画面を図 ２.４に示す．

2.3 ソフトウェアの構成 料理データベースには料理 ID，種別，料理名，調理された料理を撮影した画像，料 理に使用する食材，調味料，香辛料等が登録されており，料理レシピを登録するもので ある．この料理レシピに登録する食材，調味料，香辛料は上記の食物栄養素データベー スから選択し，使用量を入力する．料理データベース画面を図 ２.５に示す． 図 ２.５ 料理データベース

2.3 ソフトウェアの構成 メニューデータベースには，提供する食事のメニューが登録されている． メニュー データベース画面を図 ２.６に示す．メニューデータベースでは，メニューID，メニュ ー名，提供年月日，提供種別(朝，昼，夜)を選択，登録する．その後，メニューに利用 する料理を前記した料理データベースより選択する．そして，料理に使用する食器を上 記にある食器データベースより選択する．最後に，提供者を個人データベースより選択 する．また，提供する料理が料理データベースに登録した分量と異なる場合には，その 差を％で指定することが可能である．これにより，患者ごとに異なる食事量でも計測を 行うことが可能となる． 図 ２.６ メニューデータベース

2.3 ソフトウェアの構成 個人データベースには患者の ID，氏名，生年月日，病名などの個人情報が登録され る． 個人データベース画面を図 ２.７に示す．実際に計測を行う際にこのデータベー スに登録された ID を選択する事によって，計測結果がその ID の個人データベースに記 録される．さらに，このデータベースから各患者の摂取したカロリー，各種栄養素情報 を参照することが可能であり，さらに期間を指定した摂取履歴のグラフ，一覧，総摂取 量の表示する機能なども備えており，栄養士の補助に役立つと考えられる．

図 ２.７ 個人データベース 2.3 ソフトウェアの構成

２.３.２ 画像処理プログラム

画像処理プログラムでは，以下の処理を行うことができる． ・ DBP との通信処理 通信設定

各種コマンド送受信 計測結果データ送信 ・ 撮像処理 カメラの設定変更 カメラからの画像データ(食器，食材，食膳画像)の取得 画像データの保存 ・ 計測処理 食器抽出(食膳画像内の食器位置判定) 食材抽出(食器内の食材面積計測) 計測結果の出力

２.３.３ データベースプログラムとの通信処理

DBP との通信処理部では，通信に使用するポートの設定を行う．また，計測処理の 際に，画像処理プログラムは，DBP への命令の送信，DBP からのメニュー情報，食器， 食材のテンプレート情報の受信，DBP への計測結果の送信などを行う． 2.3 ソフトウェアの構成

２.３.４ 撮像処理

図 ２.８に撮像処理画面を示す．図の左側の画像はカメラのリアルタイム画像である． また，右側の画像は，最後に撮影した画像の確認用画面である．この撮像処理部で DBP に必要な食器，料理などの画像を撮影する．また，カメラの画像補正の設定を行うこと ができる．

図 ２.８ 撮影処理部

２.３.５ 計測処理

図 ２.９に計測処理部を示す．ここでは，食事の摂取量計測を行う．計測を行う前に， 提供年月日，提供種別(朝，昼，夜)，提供者 ID，の選択を行う．(実際に病院内で使用 2.3 ソフトウェアの構成 することを想定として，提供年月日，提供種別は PC から自動的に日付，時間帯を取得 する．提供者 ID も IC チップなどを用いて自動的に選択するなどの手法がある)．この 登録が終了すると，抽出ボタンを押して計測を開始する．この時，選択した提供年月日 などが各データベースに存在しない場合には，エラーメッセージが表示される．選択条 件が存在した場合は，図２.９に示すように，撮影した画像が右上に表示される．その 画像を用いて画像処理を行い，食器抽出，食材抽出を行う．そして，抽出された画像デ ータを元に計測を行い，料理およびメニューデータベースと参照して結果を出力する．

出力される結果は，各料理の摂取率(％)とその摂取カロリー(kcal)，全料理の摂取率(％) とその摂取カロリー(kcal)である．さらに，メニューから料理を選択すると，右上の画 像に選択された料理画像が紫色に塗りつぶされる．これによって，食材抽出が正確に行 われているかを確認することが可能である． 図 ２.９ 計測処理部

第３章

新しい切り出しアルゴリズムの提案とマンマシン

インターフェイスの改良

本章では，食器抽出，食材抽出に用いる新しい切り出しアルゴリズムを提案する．ま

た，市場投入を想定し，MMI の操作性の向上を目的とした改良を行う．

３.１ 画像処理ライブラリ

本研究では，食器抽出処理および食材抽出処理に市販の画像処理ライブラリを用いてき た．この画像処理ライブラリでは，マスク画像を用いて食器抽出を行っている．食器抽出 を行うには，まず食器テンプレートを登録する必要がある．そのために，食器のみを撮影 した画像よりエッジ検出を行い，食器を特定し，マスク画像を作成する．このマスク画像 とは，食器抽出を行う範囲を特定するものである．エッジ画像を食器テンプレート情報と して，食器データベースに登録する．そして，食器抽出処理では，食器データベースに登 録してあるマスク画像とエッジ画像を参照して探索を行い，食器を特定し，食器抽出を行 う．図 ３.１ マスク画像例の(a)に原画像，(b)にマスク画像，(c)にエッジ検出画像を示す． 食材抽出処理でも最初に食材テンプレートを登録する必要がある．そこで，単品食材を撮 影した画像に，食器抽出処理を行い，食器を特定する．そして，食器内の食材の色相，彩 度，明度を情報とするHue Saturation Brightness (HSB)情報を食材テンプレート情報とし て，食材データベースに登録する．食材抽出処理では、食膳を撮影し，食器抽出処理によ

3.1 新しい切り出しアルゴリズムの提案

って食器を特定する．そして，食器内にある食材に対して，食材データベースと参照して， 食器内から食材を抽出する．

(a) 原画像 (b) マスク画像 (c) エッジ検出画像 図 ３.１ マスク画像例

３.２ 新しい切り出しアルゴリズムの提案

これまでの研究では，食器および食材のエッジ探索に上記の 3.1 にある市販の画像処 理ライブラリを用いてきた．そのため，著作権の問題およびバイナリコード表現等の問 題により，アルゴリズムの改良ができない等の使用上の制約が多く，市場投入の際，コ ストも大幅に増加してしまう．そこで，エッジ探索とヒストグラム法を用いた新しい切 り出しアルゴリズムの提案を行う．新しい切り出しアルゴリズムには，テンプレート情 報として，食器のみを撮影した画像もしくは単品食材を撮影した画像から食器半径と， 光の 3 原色(RGB)を用いた 2 次元ヒストグラムを得る．ヒストグラムは，原画像の RGB 値を用いて X 軸 Y 軸に R と G，G と B，B と R を用いた 3 つの 2 次元ヒストグラムを 作成した後，閾値以下の値を 0 にする．この 3 つのヒストグラムを合成したものを，原 画像に対する 2 次元ヒストグラムと呼んでいる．これによって，画像の特徴色を得た 3.1 新しい切り出しアルゴリズムの提案 2 次元ヒストグラムを作成することができる．この 2 次元ヒストグラムと食器半径をテ ンプレート情報として登録している．図 ３.２の(a)に牛肉を用いた場合の原画像，(b) にその 2 次元ヒストグラムを示す．

(a)原画像 (b)ヒストグラム 図 ３.２ ヒストグラム情報例

３.２.１ 食器抽出方法

食器抽出の処理の流れを図 ３.３に示す． 食器抽出を行うには，最初に食器テンプレートを登録する必要がある．そのために， 図３.２の食器画像の様に食器のみを撮影した画像からエッジ探索を行い，食器半径の 計算と 2 次元ヒストグラムの作成を行う．この二つの情報を食器テンプレート情報とし て DBP に登録する．そして，抽出処理には食膳画像からエッジ探索を行い，食器半径 を求める．そして，食器データベースを参照して登録している食器半径と比較し，一致 した場合は，食器画像を切り出す．なお，テンプレートに登録した 2 次元ヒストグラム は食材抽出の時に用いる． 3.1 新しい切り出しアルゴリズムの提案

図 ３.３ 食器抽出方法

３.２.２ 食材抽出方法

単品食材での抽出処理の流れを図 ３.４に示す． 食材抽出を行うには，最初に食材データベースに食材情報を登録する必要がある．ま ず，図に示すように単品食材の画像を撮影し，食器抽出処理によって食器画像を得る． そして，食器抽出によって得られた画像の 2 次元ヒストグラムを作成する．しかし，こ の 2 次元ヒストグラムには，食器成分が含まれているため，食器ヒストグラム情報を食 器データベースの食器テンプレート情報から参照して，食器成分を除去する．これによ り，食材のみの 2 次元ヒストグラムが完成する．この 2 次元ヒストグラムをテンプレー ト情報として，食材データベースに登録する．食材抽出では，上記の方法とほぼ同様の 方法で食材抽出を行う．異なる点として，食材のみの 2 次元ヒストグラムを作成した際 に，食材データベースを参照して食材抽出を行っている．また，同一の食器内に複数の 盛り付けられた食材が存在する場合がある．そこから，単一の食材を抽出する場合，目 的の食材以外の成分を食材データベースから参照して，除去したヒストグラムを作成す ることで，単品の食材を抽出することが可能になる． 3.1 新しい切り出しアルゴリズムの提案

図 ３.４ 食材抽出方法 3.2 マンマシンインターフェイスの改良

３.３ マンマシンインターフェイスの改良

本システムを市場で利用する際に，従来の MMI では，機械や PC の操作が苦手な人 には操作が難しい可能性があった．そのため，MMI の操作性およびガイド機能の向上 が必要だと推測される．そこで，データベース部，画像処理部の MMI の改良を行い， 操作が苦手な人にも簡単に操作が行えるように，操作性の向上を行う．また，音声ガイ ドシステムを新たに追加し，操作の補助を行い，画面からの視覚情報だけでなく，音声 ガイドによる音声情報でさらなる操作性の向上を行う．

３.３.１ データベース部

データベース部のメイン画面はボタンを大きくし，見やすいように設計を行った．ま た食器データベース，食物栄養素データベース，料理データベース，メニューデータベ ース，個人データベースの 5 つのデータベース全ての登録はウェザード形式で氏名や病 名などの登録情報を項目ごとに画面の切り替えを行い，登録を行うことができる．この ように順番に条件を登録することによって，ソフト関連が苦手な人でも簡単に利用でき ると考えられる．また，従来のシステムにはなかった登録情報の表示画面を作成し，ボ タン一つで表示できるようにしている．データベース部の新メイン画面を図 ３.５に示 す．また，データベースへの登録方法の例として，新食器データベースへの登録方法を 図 ３.６に示す． 3.2 マンマシンインターフェイスの改良

図 ３.５ データベース部新メイン画面

図 ３.６ 新食器データベース登録画面

３.３.２ 画像処理部

画像処理部の計測画面は，計測結果を表示する画面であり，最も利用される画面であ る．よって，見やすく，使いやすくする必要がある．そこで，全体的に文字を大きく表 示し，計測ボタンやその他の選択ボタンを大きくすることによって，見やすく，使いや すい画面に変更を行う．さらに，従来のシステムには無かった現在時刻，日時を載せ， 現在時刻とリンクさせて計測する場合の利便性を向上させる．また，これまで選択した 料理のみについて表示していた摂取率，摂取カロリーを摂取料理名とともに一覧表示す ることで，料理毎の確認が容易にできるようになる．そして，一度摂取料理名を選択す ると料理を塗りつぶして表示していたが，この場合では，原画像の再確認がしづらかっ たので，原画像表示ボタンを追加し，確認しやすいように変更する．新画像処理画面を 図 ３.７に示す． 図 ３.７ 新画像処理画面 3.2 マンマシンインターフェイスの改良

３.３.３ 音声ガイド

従来のシステムでは，画面からの情報によって登録や計測を行っていた．そこで，画 面のみでなく，音声によって登録，計測手順の補助を行えるようにし，ガイド機能の向 上を目指す．また，登録，計測を失敗してしまった場合には，音声によって失敗した原 因を指摘し，問題点を利用者に簡単に発見，理解できるようにする．これらの機能によ って，機械や PC の操作が苦手な人にでも，簡単に操作できると考えられ，市場に導入 しやすくなると考えられる．例として，食器データベースへの登録手順の音声ガイドを 図 ３.８ 音声ガイドに示す．図のようなメッセージが，音声ガイドとして流れる． 図 ３.８ 音声ガイド

第４章

新旧抽出アルゴリズムによる比較実験

本章では，新旧アルゴリズムの性能の比較実験を行い，どちらが有用な抽出精度や抽 出能力を持つアルゴリズムか検討を行う．

４.１ 抽出性能確認実験

新旧抽出アルゴリズムの抽出精度の検討を行うために、両アルゴリズムで，抽出性能 比較確認実験を行う．

４.１.１ 実験条件

それぞれのアルゴリズムを用いて，再現性のあるダミー食材の豚カツやレタス等の 11 種類の食材をお椀と大皿の 2 種類の食器にそれぞれ 1 種類ずつ盛り付け，食材ごと に残食率 100％，50％，0％の状態(ただし，50％にできない食材は 100％と 0％)の食材 を用いて，これら全ての組み合わせ，計 330 通りで食器抽出処理および食材抽出処理を 行う．ただし，抽出時に食器同士が重ならないようにする．評価方法として，盛り付け た食材のみが正確に抽出された場合を成功とする．また，結果は式(4.1)を用いて算出す る． 抽出成功率(％)＝抽出成功回数 ÷ 全抽出回数 × 100 ―(4.1) 4.1 抽出性能確認実験 図 ４.１(a)に実験で用いた食器(お椀，大皿)，(b)にダミー食材(豚カツ，レタス)を示す．

図 ４.２(a)に豚カツの場合での原画像，(b)に抽出成功例，(c)に抽出失敗例を示す． (a)食器 (b)ダミー食材 図 ４.１ 食器、食材例 (a) 原画像 (b) 抽出成功例 (c) 抽出失敗例 図 ４.２ 抽出例 4.1 抽出性能確認実験

４.１.２

実験結果

表 ４.１に実験結果を示す．実験結果より，食器抽出率は変わらず 100.0％だったが， 食材抽出成功率では，新アルゴリズムが 95.2％，旧アルゴリズムでは 80.1％となり 15％ 向上した． 表 ４.１ 抽出性能確認実験

食器抽出成功率(％)

食材抽出成功率(％)

新

100.0 95.2

旧

100.0 80.1

４.１.３ 考察

新旧抽出アルゴリズムの比較実験の結果より，新アルゴリズムが旧アルゴリズムより 抽出処理成功率が向上した．これにより，旧アルゴリズムより新アルゴリズムが有用で あることが検証できた．しかし，これは正確に各データベースに登録した食器，食材を 利用する状態であり，実際に市場で利用する際には，間違ってデータベースに未登録の 食器や食材で計測をしてしまう場合が考えられる．そこで，新旧アルゴリズムによる未 登録食材排除の実験を行う． 4.1 抽出性能確認実験

４.２ 未登録食材排除実験

市場投入の際，計測時にデータベースへの登録ミスや，登録されていない食材が混入 される等のシステムが予測不可能な状況が市場投入の際に考えられる．そこで，未登録 食材をどれだけ誤認識せずに排除することが可能であるか、検証実験を行う．

４.２.１ 実験条件

新旧抽出アルゴリズムを用いて再現性のあるダミー食材の豚カツ，レタス，ハム，コ ロッケ，キャベツ，トマトの 6 食材と大皿の 1 食器をそれぞれ単品で盛り付け，残食率 100％状態の食材を用いて計測を行う．計測パターンとしては，両アルゴリズムで登録 した 1 食材に対して，未登録の 5 食材を用いてそれぞれ 5 回の計 25 回計測する．これ を 6 種類全ての食材で行う．評価方法として，未登録食材を間違って抽出してしまって いる場合が失敗，抽出しなかった場合を成功としている．

４.２.２ 実験結果

実験結果を表 ４.２に示す．旧アルゴリズムでは全ての食材を登録食材と誤認識して 抽出してしまっている．新アルゴリズムでは平均で 31.3％の排除率となっている． 4.2 未登録食材排除実験

表 ４.２ 未登録食材排除結果

新アルゴリズム

旧アルゴリズム

食材名

排除率

排除率

豚カツ

0.0

0.0

レタス

20.0

0.0

ハム

40.0

0.0

コロッケ

28.0

0.0

キャベツ

40.0

0.0

トマト

60.0

0.0

平均(％)

31.3

0.0

４.２.３ 考察

新旧抽出アルゴリズムの比較実験より，新アルゴリズムの方が抽出成功率と同様に未 登録食材の排除率が高いという結果が得られた．しかし，未だに排除率は低い．これは， RGB によって食材の認識を行っているため，登録食材と色が類似している食材を識別 することが困難なためである．しかし，本システムの特性上，これは解決可能な問題で ある．よって，類似色の未登録食材がある場合は，栄養士などの計測者に排除してもら うしかない．しかし，異なる色の食材は排除可能であった．そこで，今後は 2 次元ヒス トグラム作成時の閾値の値の変更を行い，可能な限り未登録食材排除率を高める必要が ある． 4.3 時間計測実験

４.３ 時間計測実験

４.１ ，４.２ の実験によって新アルゴリズムが抽出に関しては有用であると検証 された．しかし，新アルゴリズムでは，抽出時間が旧アルゴリズムの 1∼2 秒から大幅 に増加して 3∼5 秒に増加した．実際に病院や市場で利用する際には，短時間での計測 が求められており，最大 3 秒が限界と考えられる．そこで，PC のマシンスペックを変 更することで，目標計測時間の 3 秒を達成可能と考え，検証を行う．

４.３.１ 実験条件

PC のマシンスペックの変更によって計測時間を減少させ，目標計測時間が達成可能 と考える．そこで，マシンスペックと計測時間の関係を検証するために PentiumⅣ 1.6GHz，Memory 238MB(以下機種Ａ)および Celeron 2.53GHz，Memory 222MB(以下機種 B)と Celeron 2.0GHz Memory 222MB(以下機種 C) OS は全て Windows XP を用いて抽出時 間の計測実験を行う．Visual basic の time コマンドをシステム内に移植して，時間計測 を行う．実験はお椀と大皿，そして小皿の 3 種類の食器に，残食率 100％状態の５種類 の食材（炊飯米，豚カツ，千切りレタス，牛肉，ハム）を用いる．盛り付けには 3 種類 の食器に 5 種類の食材を任意に用いる．配膳パターン例を図 ４.３に示す．1 食材では 5 パターン，2 食材では 4 パターン，3 食材では 6 パターン，4 食材では 10 パターン，5 食材では 1 パターンの計 26 パターン，各パターン 6 回の抽出を行い，計 156 回食器お よび食材抽出処理を行い，時間計測を行う．時間の計測は食器抽出および食材抽出を行 い出力されるまでの間の時間とする． 4.3 時間計測実験

(a) 1 食材 (b) 2 食材 c) 3 食材 (d) 4 食材 (e) 5 食材 図 ４.３ 配膳パターン例 4.3 時間計測実験

４.３.２ 実験結果

表 ４.３に実験結果を示す．実験結果より機種 B の計測時間が最も短く，次に機種 C で，最も遅かったのが機種 A となり，機種別の平均で最大 1.06 秒，計測時間に差があ る．しかし，目標時間の達成は，できなかった．また，食材数が増えることで，計測時 間の増加が見られた． 表 ４.３ 時間計測実験

食材数

機種 A

計測時間(sec)

機種 B

計測時間(sec)

機種 C

計測時間(sec)

1 1.79 1.31 1.85

2 4.74 3.12 3.43

3 5.50 2.97 4.16

4 7.15 4.18 5.83

5 8.18 6.04 6.42

平均 5.34 3.26 4.33

４.３.３ 考察

PC のマシンスペックを変更することで計測時間の短縮を行えたが，単品計測では目標 時間である 3 秒を達成できたが，2 食材以上の複数食材の計測では，目標時間を達成で きなかった．これは，食材増加によって食材抽出処理回数が増加したことが原因である と考えられる．そこで，更なる時間短縮を図るために，抽出時に作成する２次元ヒスト グラムの枚数を減少させるなどのプログラムの改良を行う．

第５章

まとめ

本論文では，食事摂取量計測システムとシステム構成について述べた．次に，本シス テムを実際に使用する際の運用手順を述べた．そして，新しい切り出しアルゴリズムの 提案と，操作性向上のための MMI の改良と音声ガイドシステムについて述べた．この 新しい切り出しアルゴリズムと旧アルゴリズムの性能比較を行うために，抽出性能確認 実験，未登録食材排除実験を行い，抽出精度の有用性の検証を行った．そして，新しい 切り出しアルゴリズムの優位性を示した．しかし，計測時間の増加という問題が発生し た．そこで，PC のマシンスペックの変更により目標時間(3 秒)を達成できないかと考え， マシンスペックを変更して時間計測実験を行った．しかし，PC のマシンスペックの変 更だけでは，目標時間を達成できなかった． 今後は，未登録食材排除率を高めるために，2 次元ヒストグラム作成時の閾値の値の 変更を行い，可能な限り排除率を高める検討を行う．また，更なる時間短縮を図るため に，抽出時に作成する２次元ヒストグラムの枚数を減少させるなどのプログラムの改良 を行う．そして，新旧 MMI の操作性の有用性を検討するために，新旧 MMI による操 作方法の比較実験を行う．評価方法として，アンケートによる評価を行い，操作性の有 用性を検討する．

謝辞

本研究の進行に貴重な助言を頂いた高知工科大学知能機械システム工学科の竹田史 章に感謝の意を表します．また，(株)テクノソフトシステムニクス様にはシステム開発 においてご尽力を頂きお礼申し上げます．最後に，研究室の方々にも研究の助力のみな らず，未熟な私を精神的にも支えて頂き深く感謝致します．

参考文献

[1] F.Takeda, H.Uchida and S.Hattori ``Construction of Measuring System for Food Intake System'', Society of Signal Processing Applications and Technology of Japan, pp.75-80, 2001 [2] H.Uchida and F.Takeda ``Development of a Measurement System for Food Intake using Neural

Network'', International Conxortium for Medical Imaging technology,'01, pp.19-24, 2001 [3] 佐伯欣洋, 竹田史章 ''食事摂取量計測システムにおける実モデルへの展開'', システム 制御情報学会, p391-392, 2004 [4] 佐伯欣洋, 竹田史章 ''食事摂取量計測システムの開発とその実モデルへの展開'', 電気 学会電子・情報システム部門, p532-534, 2004 [5] 佐伯欣洋, 竹田史章 ''食事計測システムの提案と実システムの開発'', 福祉工学シンポ ジウム, p205-208, 2004 [6] 佐伯欣洋, 竹田史章 ''院内用食事摂取量計測システムの開発とそのシステムの評価'', FAN-インテリジェントシンポジウム, p149-152, 2004 [7] 大森竹雄, 片山崇俊, 佐伯欣洋, 竹田史章 院内用食事摂取量計測システムの撮像系の 検討 ,第 49 回システム制御情報学会,研究発表講演会後援論文集,p533-534,2005 [8] 大森竹雄, 片山崇俊, 佐伯欣洋, 竹田史章 院内用食事摂取量計測システムにおける撮 像状態の安定化の検討 ,第 10 回知能メカトロニクスワークショップ後援論文 集,p173-174,2005 [9] 片山崇俊, 大森竹雄, 佐伯欣洋, 竹田史章 院内用食事摂取量計測システムの性能安定 化の検討 ,第 49 回システム制御情報学会,研究発表講演会後援論文集,p531-532,2005 [10] 片山崇俊, 大森竹雄, 佐伯欣洋, 竹田史章 独自アルゴリズムを用いた食事摂取量計測 システムの検討 ,高速信号処理応用技術学会,2005 年研究会後援論文集,p66-p67,2005