1．は
じ め に
食べることは人間が生きるうえで必要不可欠の営みで ある．我々の体を構成する要素は，基本的には毎日の食 事によって構成される．「食」に関してヒトとその他の 動物で最も大きく異なることは，ヒトが調理をする，と いうことである．伝統食として残る一部の原始的な食事 を除き，調理は寄生虫などの危険性を排除し，安全な食 を手に入れる手段として人類の生活の一部となってい る．言い換えれば，「生物」を安全に食べられるように 加工する行為とするのが，調理の根源的な機能であろ う．他の動物が消化器官の中で行っているさまざまな機 能を，ヒトは調理を通して体の外にアウトソーシングす ることによって，現在の多様な食材からなる豊かな文化 が育まれたという点は他の生物とヒトの違いを語るうえ で，特筆すべきことかもしれない． 特に日本における調理においては，明治以降に職業料 理人は男性，家庭での料理は女性が担うという思想を基 本とした制度が築かれた．これが戦後の長きにわたって まで，家庭での料理に対して「手づくり神話」ともいう べき価値観を根付かせることにつながったようだ [森枝 13]．さらに現代では，技術の発展や女性の社会進出と ともに，家庭における調理は簡略化が進んでいる．いわ ば，ヒトの体の外に出た「調理」という機能が，さらに 調理人の手元を離れ，家庭の外に，さらにアウトソーシ ングされている形である．最近では冷凍食品の技術も向 上し，一人暮らし世帯ではコンビニを冷蔵庫代わりとす るような生活スタイルも見られるようになっている．近 い将来には，一部の東南アジアの国のように，1 日 3 食 が外食，というスタイルも増えるのかもしれない． それでもなお，本稿では「家庭での調理」に焦点を当 てる．現代において，家庭での調理にはどんな価値があ るだろうか．近年では孤食が悪であるかのようにいわれ ることがあるが，明治以前の日本の，特に農家では，そ もそも家族がそろって食事をすることはまれであったら しい．農作業中も家族が常に一緒に行動していたため， わざわざ食事を一緒に囲む必要性が低かったという．そ れがサラリーマン家庭が増え，家族が共有する時間と場 所が減った結果として「一家団欒の食事の場」が，その 貴重な時間を提供する役割を担うようになった，という 説もある．このように，食事の枕詞としての「一家団欒」 は最小の社会集団たる家族のコミュニケーションの場と して，また，子供が社会性を学ぶ場としての役割に対す る期待の現れなのだろう． 上にあげた「食の簡略化」や「一家団欒」をキーワー ドとした場合，スマートキッチンに求められる役割は， 大きく，以下の二つになるのではないだろうか． （1）満足のいく料理を簡易に提供する機能 （2）コミュニケーションを促進させる機能 （1）については，特に現在でもレトルト食品を始めと して，手軽に本格的な味を再現するためのさまざまな商 品が開発されている．特に一人で食べるだけならば，お 湯を入れて数分待つだけ，あるいは電子レンジで温める だけの食事でも十分に受け入れられている．一方で，家 族向けの料理をまとめてつくる場合には，材料を一品く らいは自分で用意して混ぜる，というものが多い．これ は，米国において世界で初めてホットケーキミックスが 発売された当時，水を入れて混ぜて焼くだけ，という簡 単な手順であったにもかかわらず売上が伸びず，自分で 用意した卵も混ぜるように手順を少し面倒にしたとこ ろ，売れるようになった，という有名なエピソード [ ノー マン 90] に，そのデザインの狙いがあるのだろう．つま り，必ずしも物理的に簡易な料理であればよいわけでな く，心理的な満足を同時に満たすことがスマートキッチ ンにとっても重要となる． （2）については，一つには美味しい料理や，旬の食材 の利用，その他，話題を提供する「仕掛け」を料理に施 すということがあげられる．また，出来上がった料理を 食べるタイミングだけでなく，そもそも調理を行う時間 を誰かと共有することによるコミュニケーションの創発 も考えられる．スマートキッチンのこれまでとこれから
Smart Kitchens, Past Trials and Future Directions
橋本 敦史
オムロンサイニックエックス株式会社Atsushi Hashimoto OMRON SINIC X Corp.
[email protected], https://atsushihashimoto.github.io/cv/
Keywords:
smart kitchen, dietary education, task navigation.上記に加えて，以下の二つの方向性についての研究も 見られる． （3）料理の栄養に関する情報を提供する機能 （4）プロジェクト型の学びを提供する機能 （3）に関して，食は我々の健康と密接に結び付いてい る．健康寿命の増進は，時代や文化・社会の違いを問わず， 個人にとっても社会にとっても重要なテーマであること から，この役割もスマートキッチンにとって重要な機能 であろう． また（4）に関して，調理作業はどの工程をどの順番 で行うか，どの道具をどうやって扱うか，食材の状態の 確認など多様な認知的タスクを伴う複雑な作業である． このような性質から小さなプロジェクトとして調理が利 用されることもあり，そのようなプロジェクト型の学び の支援としてのスマートキッチンも存在する．
2．さまざまなスマートキッチンシステムの
目的
前述の（1）∼（4）であげたように，一言でスマートキッ チンシステムと言っても多様なトピックが存在し，それ ぞれのトピックの中でも，その実現方法として想定した システムの目的はさまざまなものが提案されている．本 章では，（1）∼（4）のそれぞれのトピックについて具 体例とともに紹介する． 前章で述べたスマートキッチンの役割のうち，（1）満 足のいく料理を簡易に提供する機能，および，（4）プロ ジェクト型の学びを提供する機能の双方に寄与する応用 として，作業の進 状況と同期してレシピの詳細な情報 を提示する「ナビゲーションタスク」がある．（1）を背 景とするシステムとしては，汚れた手による直接操作な しにスムーズにレシピを参照するためのインタフェース がいくつも研究され，あるいは商用システムとして実用 化されている [Bradbury 03, Hashimoto 16, INFOCOM Corp. 14, 任天堂 06, Sato 14]．（4）を背景とするシステ ムとしては，2001 年に発表されたスマートキッチンの 先駆け的な存在である CounterActive [Ju 01] が，主に 子供のための食育をその目的としている．また，宮脇 らは高次脳機能障害の患者に対するリハビリに調理作 業を利用することを提案しており，そのために作業の進 行に同期した情報提示のためのシステムを提案してい る [Miyawaki 08, 宮脇 09]．高次脳機能障害は症状がさ まざまであるため，症状が異なる患者の組合せによるグ ループワークが想定されている [杉谷 14]. また，難しい 調理技術の習得を支援することを目的として，雨竜らは 卵の加熱に対する厳密な温度管理が必要なスパゲッティ カルボナーラに特化した panavi [Uriu 12] を提案してい る．また加藤らは力覚提示装置を用いた焼く工程の訓練 シミュレータ [Kato 13] を提案している． ナビゲーション以外にも，（1）を背景とするシステム として CounterIntelligence [Lee 06] が提案されている． このシステムでは「調理家電の利用において，冷凍庫か ら取り出した食材を電子レンジで解凍する」といった頻 出するパターンを抽出し，調理中の家電操作の簡略化を 実現している．また，水の温度をプロジェクタによる色 の付与によって可視化し，安全性を増す機能なども構築 している．家電との連携という観点ではクックパッド株 式会社がキッチン家電向けに機械可読なレシピの提供な どを行っており，今後の展開があるかもしれない [クッ クパッド 18]. このほか，中内らは，人とロボットのイン タラクションによる調理支援を目指した研究を行ってい る [Nakauchi 05a, Nakauchi 05b]．このシステムでは， 複数の人がキッチンを使う場合などに，物体がどの棚に あるかがわからないような状況を想定し，同時に使われ る確率が高い物体の組合せを過去の記録から自動的に獲 得し，人が一つ物体を手に取ったときに，同時に使われ るもう一方の物体の場所をロボットが教えてくれる．ま た，調理中に食材に加えた調味料の分量などを可視化す ることによる認知負荷の軽減度合いを測った [Tran 05] などの基礎的な研究もある． （2）を背景とするシステムとしては，Web や SNS を 介したレシピの共有，あるいは，家庭の味をいつでも再 現できる記録として，調理作業の内容をレシピに書き起 こすタスクなどがある．中村らは重量計測装置を調味料 置き場に備え付けることで調味料の消費量を自動計測す るシステムを提案している [Nakamura 15]．また，山肩 らは料理番組のような調理コンテンツを一人で作成する システムとして，エージェントを料理番組のアシスタン トと見立てた調理中の対話システムを提案している [ 山 肩 05]．一人での調理では黙々と作業してしまいがちで あるため，事前にエージェントから調理者への質問内容 を定めておく．エージェントが決められたタイミングで 質問を行うことで，重要なシーンの解説逃しを防ぐとと もに調理者に自然な発話を促すことが可能となる．さら に，牛久ら [Ushiku 17] は未編集の調理映像から，重要 フレームを調理台上の物体に対する把持・解放によって ある程度絞った後に Video Captioning を施し，作業フ ローの整合性を保ったテキスト群を生成することによっ てレシピを書き起こす手法を提案している． より直接的にコミュニケーションの創発を目指した研 究としては，佐藤らによるガヤガヤチャットボッツ [佐 藤 18] がある．この研究では，遠隔で暮らす親子の対話 用チャットルームに，二つのエージェントを配置してい る．それらのエージェントは家での調理が行われたこと を話題として対話を開始することで，その対話に混ざる， あるいは対話の中の話題を拾う形で親子のチャットによ る対話回数を増加することを目指している．このほか， 研究ではないが，近年はビデオチャットを使った遠隔の 料理教室なども開かれているようである． （3）としてあげた料理の栄養に関する情報を提供する 機能を実現するシステムの一つに Chi らによる研究がある [Chi 07, Chi 08]．この研究では調理中の食材の移動 を重量移動として計測し，その重量に基づいて計算され るカロリーなどの栄養素の移動を調理作業者に対してリ アルタイムで可視化することで，より健康志向の料理を 奨励するようなユーザインタフェースを提案している． また，完成した料理の写真を用いて，過去の食事メ ニューの履歴やカロリーなどの栄養情報を記録する研究 も多数存在する．これらの手法やサービスの詳細について は本特集の別稿に譲る．完成した写真では，食材にソース がかかっていたり衣に包まれている場合，つまり，そもそ も材料を観測することが難しい場合が存在する．これは， 完成した料理からの栄養情報推定の一つの課題である． スマートキッチンのように調理過程を計測する場合に はそのような問題は起きない．しかし，調理過程で計測 をしたとしても，その料理を誰がどのくらい食べたかを 把握するためには，料理が家族それぞれの口にどのよう な配分で届いたかまでを追跡する必要がある．この問題 に取り組んだシステムは今のところ存在していない．現 在，食事と既往歴の関係を疫学的に調査するための大 規模なコホート研究 [J-MICC 研究 05] が行われており， 手作業で 10 万人 20 年分の記録が集められている．もし， 個人の食事履歴を，その調理過程から厳密に追跡でき， 自動的に記録されるような仕組みを提供できれば，この ような疫学的調査が恒常的，かつ，より大規模に実践で きるという潜在的可能性を秘めている． このほか，キッチンというよりはダイニングでの支援 となるが，料理写真を SNS でシェアし，友人から受け 取る評価に細工をして，より健康志向なメニューへ人間 の行動を変容させようというユニークな研究もなされて いる [Takeuchi 14, Takeuchi 15].
3．インタフェース
2章で紹介したようにスマートキッチンの目的とする ところはさまざまであり，それぞれを実現するために多 数の入出力の関係が存在する．それらの入出力を図 1 に 大まかにまとめる．以下では，個別の先行事例における システムの入出力についてそれぞれ紹介する． 3･1 システムの情報源（入力） スマートキッチンシステムに対する入力は，大きく「レ シピなどの外部知識」，システムに対する調理者の「イ ンタフェース操作」，調理者の「行動観測」の三つに分 けられる（図 1 の入力の項目）． 「外部知識」はほとんどの場合，レシピに関する情報 となる．レシピはシステムが前提とする形式で記述され ている必要がある．大きく分けて，作業の順序が一通り に限定された「直線型のシナリオ」と，異なる食材に対 する工程など，一部の順序の入替えを認める「ワークフ ロー型のシナリオ」の二通りに分かれる（図 2）． また，食材の栄養価の情報などを外部知識としてデー タベースに格納し，それを参照する必要がある．各食材 の栄養価に関するデータベースは国や地域ごとに政府機 -P@M !!5$ GB6%Y ?32/ L=KS !#7WY .8R:NO<R F'I; U, 3JT3J HC ! EQ 6% ( L=*& 0+4A $9 V"KS D'>1 6%YU, !!7WY ) XY:NO< 図 1 スマートキッチンシステムに対する入出力の例 図 2 レシピの内部表現の例1
2
3
3
4
（a）直線型のシナリオ1
2
3
4
（d）ワークフロー型のシナリオ関を中心としてさまざま公開されているが，最近では， 食材が与える環境負担を，その食材を生産するために消 費される資源の量によって定量化したデータベースなど も提供されている [Yamakata 18]. このほか，レシピの推薦などに関連して，冷蔵庫など のストレージとの間で物体の取出し・収納に関する情報 との連携なども考えられる． 「インタフェース操作」については，さまざまなもの が提案されているが，調理を対象とする動機としては手 が汚れていて接触型の従来型インタフェースが利用でき ない，ということに着眼したものが多い．例えば，プ ロジェクタで投影したスイッチに手をかざす非接触型 スイッチ [Ju 01, Lee 06], 足で蹴るフットスイッチ [Siio 07]，音声認識に基づくもの [Bradbury 03] などがある． また，GoogleGlass のアプリで頭部姿勢のジェスチャ で動作するもの [INFOCOM Corp. 14] が存在するほか， Kinectのジェスチャ認識なども汚れた手で触らずに操作 可能である．ただし，Kinect の姿勢推定は，例えば包 丁をもちっぱなしの状態ではうまく動作しない場合があ る．このため，近年発表された OpenPose[Cao 17] などの， 手にものをもったままでも頑健に動作する姿勢推定手法 を用いたほうが，包丁をもちっぱなしでも操作が可能な インタフェースが実現でき，より有用であろう． 「行動観測」に関しては，大きくウェアラブルセンサ を用いる方法と環境埋込み型センサを用いる方法の二つ に分けられる．ウェアラブルセンサとしては，ヘッドマ ウント型の一人称カメラによる動作解析などの研究があ り [Okumura 18, Urabe 18]，また，大量のラベル付き データセットなども公開されている [Damen 18]．ヘッ ドマウント型カメラの利点として，カメラ一つで調理台 だけでなく，冷蔵庫や棚の中など，キッチン内の調理者 が関わる領域全体を観測できる点，および調理者の注目 している物体を検出しやすい点などがある．また，特に 把持している物体を検出する手間を省き，簡単に作業に 関わった物体の認識を達成する手段として，手首に装着 するリストマウントカメラによる観測方法も提案されて いる [Ohnishi 16]. 環境埋込み型の観測にはさまざまなセンサを用いる手 法が提案されている．最も一般的なものは天井，あるい は壁際に設置された固定カメラによる観測であろう．一 方，作業を行う調理台の天板あるいはまな板などの調理 器具に対して，コンタクトマイクを取り付けることによ り，切断作業の検出や切断された物体の認識などが行わ れている [Hashimoto 12]．Chi らは，食材や調味料が 料理に加えられた際のカロリーの増加を可視化するため に，Schmidt らが提案した荷重の重心を算出可能な天板 [Schmidt 02]を用い，食材をグラム単位で追跡するシス テムを提案した．また，同じ荷重計測天板を用いて，カ メラで観測できない状況下でも物体を追跡する手法も提 案されている [Yasuoka 13]. また，「インタフェース操作」と「行動観測」の中間 として，物体の置き場所を決めておく，あるいは，作業 ごとに使う物体を事前に取り決めておくことで，物体の 把持を管理し，それに基づいて調理ナビゲーションを するシステムなども提案されている [宮脇 09, Sato 14]． 同様に作業に使う物体を物体認識ベースで把握すること で，事前の取決めなしにナビゲーションを行う試みも存 在する [Hashimoto 16a, 橋本 16b]. 3･2 システムの出力 システムの出力は，大きく分けて，調理者に対するリ アルタイムフィードバック型の「情報提示」，および作 業結果の記録の 2 種類がある．特に作業結果の記録につ いては，応用が料理に限らない「作業ログ」と，料理と いう応用特有の「食事記録」にさらに分けられる（図 1）． 情報提示によるリアルタイムフィードバックは，多く の場合，ナビゲーション，あるいは情報の可視化を行う システムの出力となる．情報提示方法としてはプロジェ クタによる直接投影型 [Chi 07, Ju 01, Lee 06, Sato 14, Uriu 12]，モニタを利用したシステム [Hashimoto 16a, 橋本 16b, Siio 07, Tran 05] がある．また多くのシステム で音声も用いられている．少し変わった目的をもつシス テムとして，調理体験を楽しくするゲーミフィケーショ ンを目的とした Chop Chop[Halupka 12] では，観測音 を加工して調理者にフィードバックするシステムが提案 されている．このシステムでは調理者はヘッドフォンを 装着した状態でまな板の上で食材を切る．その際の切断 音は加工されて調理者にフィードバックされる． 調理作業をログとして記録するための試みとしては， 最終的に映像から図 2 に示したようなワークフロー構造 のような機械可読な作業構造を抽出することを目的とし たいくつかの取組みがなされている．[Ushiku 17] らは 映像からレシピテキストを自動生成することを試みた． 同じグループによる研究には，レシピテキストからワー クフローを抽出する試みがある [Mori 14]．今のところ， 精度はまだまだ低いものの，映像から調理作業の自然言 語表現を獲得できれば，同様に機械可読なワークフロー も抽出可能になると期待できる． 上記の取組みはレシピが未知であると仮定し，映像の みを入力としている．これに対して，レシピが既知であ ると仮定し，レシピ文の名詞句の参照関係（it, that な どが，それより前のどの名詞を指すかの関係）を推定す ることで，ワークフローに近いレシピの構造を抽出する 取組みも行われている [Huang 17, Huang 18]．これら の手法では，映像は名詞句の同一性を知るための手掛か りとして利用されているが，同時に名詞句と画像領域の 正しい対応付けも推定する必要があり，これらの手法も まだまだ精度は低い． 食事記録を出力するものとして，消費した調味料の記 録を取る調味料計測装置 [Nakamura 15] がある．消費
された調味料の量などは，完成した料理の写真などから は推定がほぼ不可能な情報の代表である．しかし，2 章 で述べたように，調理過程の観測に基づいて，家族の中 の各個人が摂取した食事の記録を取るようなシステムは まだ実現していない．
4．ナビゲーションタスクにおける
機能実装
一言にスマートキッチンといってもさまざまな目的を もつ多様なシステムが存在する．本章では，その中でも， 特に人の作業をナビゲーションするシステムに重点を置 き，それらに共通する要求機能と，その実装方法につい てまとめる． 4･1 システム操作のためのインタフェース 調理作業に同期して情報を提示するナビゲーションに おいて，自動認識が精度 100％を達成することはないこ とを考えれば，ユーザインタラクションによる操作は必 要不可欠な機能となる． 表 1 にそれぞれのナビゲーションシステムが前提とす るレシピの形式と操作方法などをまとめる．直線型のシ ナリオを想定する場合，基本的には「進む」，「戻る」と いう単純な操作でしか任意の工程の情報を参照すること ができない．これはインタフェースとして考えた場合に は，音声認識コマンド（「OK!（＝進む）」[任天堂 06]） やヘッドジェスチャ（「左右への首かしげ」[INFOCOM Corp. 14]）で実現可能だという利点がある．特に [Siio 07]で提案されているフットスイッチを備えたキッチン は，前述した単純な音声コマンドと同様の情報量の入力 を，より確実に入力する方法として，単純ながらも実用 性が高い方法となっている． また，他の利点としては，ワークフロー型のシナリオ と比べて，レシピからの逸脱を検知する機能を実装しや すい点がある．例えば，MimiCook [Sato 14] では，ど の物体を手にとったかを把握することで，調理者がどの 工程を実行しようとしているかを推定し，これがシナリ オどおりかどうかをチェックすることで逸脱の検知を 行っている．ワークフロー型レシピを仮定する場合，順 序の変更は工程を忘れたことによるものか，意図的に順 序を変えて後回しにしたのかを判断することが難しい場 合が多数存在する．この場合にも逸脱検知を行うには， 順序の変更が意図的なものか，そうでないかを判定する 必要が生じてしまう．このようなワークフロー型の作業 における逸脱検知は著者の知る限り，いまだ手付かずの 課題となっている． このように，調理という作業の実行順序には一定の自 由度が存在し，これはワークフロー型のシナリオで表現 される．この自由度を残しながら調理者をナビゲートす るため，例えば [Bradbury 03] では，視線と音声コマン ドを組み合わせることで，視線を向けている作業の詳細 な情報が記述されたページにアクセスすることを可能と している．このような複数のモダリティーの組合せは， 表 1 既存のスマートキッチンの入出力形式． 各項目の略称は表下部の説明を参照のこと システム レシピ 入力操作 センサ 認識目標 情報提示CounterActive [Ju 01] S NT − − Projection/Sound
eyeCOOK [Bradbury 03] H V, 視線 − − Display
Dejavu Display [Tran 05] − − WoZ #S Display
[Nakauchi 05b] − − RFID O Voice
CounterIntelligence [Lee 06] − − CA − Projection
HappyCooking
[Hamada 05, Siio 07] W T, フットスイッチ − − Display
しゃべる！ DS お料理ナビ
[任天堂 06] S T, V − − Display/Voice
[Chi 08] − − C, L, WoZ O Projection
[宮脇 09] W − C, AR O Display
panavi [Uriu 12] S T C, T, A H Projection/Sound AMKitchen
[INFOCOM Corp. 14] S V, 頭部ジェスチャ − Smart Glass
MimiCook [Sato 14] S O（Strage） − − Projection
[橋本 16b]（[Hashimoto 16a]） W T C,（WoZ） O Display/Voice レ シ ピ S：線形，H：ハイパーテキスト，W：ワークフロー型
入力操作 NT：手かざしスイッチ，V：音声コマンド，T：タッチディスプレイ，O（Strage）：取出し検知式の使用物体検出 セ ン サ WoZ：Wizard of OZ 法，CA：調理家電の操作履歴，C：カメラ，L：天板荷重センサ [Schmidt 02]，T：温度センサ，
A：三次元加速度センサ，AR：AR マーカ
技術的にはシンプルであっても，ユーザインタフェース としては誰でも簡単に使えるほどシンプルとは言いがた い．近年のスマートスピーカなどに見られる音声認識精 度の向上と普及によって，より複雑な音声コマンドや対 話による新しいレシピ参照インタフェースのデザインも 可能になってきているかもしれない． 4･2 作業進行状況への同期 ナビゲーションを受けるユーザにとって，明にスイッ チやコマンドなどのインタフェースを操作することは， ただでさえ複雑な調理作業に加えて余分な作業を増加さ せてしまう．これが負担となってしまうとユーザがシス テムの利用を敬遠する原因となり得る．このため，そ のようなインタフェースによらずに自動的に調理者が取 り組んでいる作業工程を把握し，その進 状況に同期 した情報提示を行うことでインタフェースの操作回数 を低減する機能をもつことが望ましい．このような動作 同期型のナビゲーションを実現するため，[宮脇 09] や [Hashimoto 14, Hashimoto 16a, Sato 14]では，調理台上 の物体を仮想的なスイッチと見立てて，それらに対する 操作をもってユーザとシステムとの間のインタラクショ ンを実現しようとしている．このアプローチはユーザが レシピを参照せずに勝手に作業を進める場合でも仮想的 なスイッチに対する操作が行われるため，実質的にイン タフェースの操作負担を増加させずに作業に同期した情 報提示が行われる．一方で，物体と作業工程は常に 1 対 1の対応関係にあるわけではなく，事前に対応関係をユー ザとシステムで共有する必要がある [宮脇 09, Sato 14]． また，物体を認識により特定する場合には，このような 共有は不要であるものの誤認識の問題が常に存在する [Hashimoto 16a]．共有した対応関係をユーザが忘却し たり，システムが物体を誤認識することに起因するシス テムの誤作動が発生した場合，ユーザがシステムの内部 状態を把握できないと復帰は難しい．このような，誤作 動状態から復帰させることを想定したインタフェース設 計なども，まだまだ手付かずの課題となっている． 4･3 スケジューリング
Happy Cooking [Hamada 05]では複数の料理が同時 に出来上がるようなスケジューリングの機能を提供して いる．事前にレシピごとに最適な手順を計算していたとし ても，実際に各工程にかかる時間は個人の調理スキルや 他のタスクの介入によって容易に変動する．このような 実際の調理状況を鑑みながら，コンロの数などの制約も 考慮して動的なスケジューリングを行うことは，ナビゲー ションシステムにおいては重要な機能の一つとなる．
5．これからのスマートキッチン
調理のナビゲーションというタスクは，近年，世界的 にも注目を浴びている．これは，世界が「食」を情報学 的に取り扱うことを重要視するようになったわけではな いだろう．むしろ，主に産業用ロボット分野で抱えてい る多くの問題が，人の調理行動を理解させるタスクと多 くの共通点をもち，手軽で作業内容の秘密性が少なく， かつ，十分に複雑な対象であるために，技術開発競争の ベンチマークとして利用されるようになっていることに 起因しているように思える．とはいえ，これらの技術は 当然，実際の調理作業を対象とした応用へも利用可能で ある．したがって，ロボットが物理的に調理作業に介入 してくる「調理の半自動化」は産業用ロボティクス開発 の副産物として，今後十分に実現が予想される新しいタ イプのスマートキッチンになり得るだろう．実際，その ような背景での研究と思しきものは多数現れているし [Cai 16, Damen 18, Huang 17, Huang 18, Ohnishi 16, Packer 12, Rohrbach 12, Xu 17]，キッチンをメインター ゲットとしたロボットの開発を行う会社も存在している [Moley Robotics 15]． このようなロボットが家庭のキッチンにあふれるよう になった世界はどうあるべきだろうか．まず，1 章であ げた（1）を考えれば，人は調理の中でも，より創造的 で楽しい部分に注力できるのが望ましい．焦げ付かない ように食材をかき混ぜたり，調理中に台上を整理整頓し たり，食材や調理器具を洗う，といったルーチンワーク は極力ロボットがその役割を担うべきだろう．より手軽 な調理を実現するという点では，当然，調理作業そのも のも代行できるのが理想だろう．一人でご飯を食べると きはすべてロボットにお任せで，しかし，家族と囲む食 事はホットケーキミックスに卵を加える程度には調理者 が介入をすることで，あくまで（主観的には）調理者に よって「美味しい料理」が完成したという手応えを残す デザインが重要になるだろう． また（2）に関しては，調理中のビデオチャットや調 理後の SNS でのコミュニケーションを促進するための 撮影も，ロボットの仕事の一つとなり得るかもしれない． 毎日の料理がレシピとして記録に残り，また，ロボット によってフルオートモードで再現可能になれば，遠隔地 に暮らす家族に，あるいは，自分が死んだ後でさえも， 自分の味を他人に伝えることが可能になる，いわば言語 情報が紙に記録できるようになったのと同じ人の能力の 拡張を調理を始めとしたものづくりで実現できる可能性 もある． （3）に関しては，盛り付けられたお皿をダイニングに 運ぶ，あるいは運びやすいように並べ替える，などの作 業をする際に重量を測れば，農場から胃袋までの食品の トレーサビリティも少しは簡単になるかもしれない．あ るいは，皿やダイニングテーブルをセンサ化する可能性 もあるだろう．いずれにしても，病気になる前から食事 のログを取るには，健康なユーザがコストを支払っても 導入したくなるようなダイニングでのサービスのデザインが求められている． また，（4）に関しては，高い教育効果を達成するため には，子供や認知機能にハンディキャップをもつ多様な 人々にとってカスタマイズされた教材の存在が重要とな る．このようなカスタマイズを商用レベルで実現するた めには，上述した機能がコモディティ化し，ライブラリ や学習データが安価に利用可能となる必要があるだろう．
6．お
わ り に
生活に必要な「衣食住」の一角であるにもかかわらず， スマートキッチンに関する研究は世界的にそれほど盛ん とはいえない．これは，一つには技術的に，キッチンに おけるナビゲーションがいまだ，さまざまな難しい課題 を残していることに起因している．著者が考える最も大 きいオーバヘッドは，調理途中に現れる食材の認識であ る．つまり，複数の食材が混ざっているようなもの，し かも，混ぜられる前にも多様な工程を経ており，同じ食 材の組合せであっても外見が大きく異なるようなもの， に対する認識処理の難しさが，作業同期の自動化を阻む 最大要因と考えている．裏を返せば，この問題さえ解決 できれば，昨今の AI ブームにも乗って，スマートキッ チンは一気に花開く，そのためのブレークスルーになる と考えている． さらに，前章で述べたようにロボットの導入により物 理的な介入が可能になるのが，次の段階であろう．産業 用ロボットとの関連を考えれば，自動運転と同じように 今後，爆発的に研究開発が加速していくのは間違いない． 本稿がこのような未来に取り残されないための一助とな れば嬉しく思う．◇ 参 考 文 献 ◇
[Bradbury 03] Bradbury, J. S., Shell, J. S. and Knowles, C. B.: Hands on cooking: Towards an attentive kitchen, CHI’03
Extended Abstracts on Human Factors in Computing Systems,
pp. 996-997（2003）
[Cai 16] Cai, M., Kitani, K. M. and Sato, Y.: Understanding hand-object manipulation with grasp types and hand-object attributes,
Robotics: Science and Systems, Vol. 3（2016）
[Cao 17] Cao, Z., Simon, T., Wei, S.-E. and Sheikh, Y.: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields,
CVPR（2017）
[Chi 07] Chi, P.-y., Chen, J.-h., Chu, H.-h. and Chen, B.-Y.: Enabling nutrition-aware cooking in a smart kitchen, CHI’07
Extended Abstracts on Human Factors in Computing Systems, CHI EA’07, pp. 2333-2338, ACM, New York, NY, USA（2007） [Chi 08] Chi, P. Y., Chen, J. H., Chu, H. H. and Lo, J. L.: Enabling
calorie-aware cooking in a smart kitchen, Lecture Notes in
Computer Science, Vol. 5033, p. 116（2008）
[クックパッド 18] クックパッド株式会社：クックパッド，キッ チ ン 家 電 に レ シ ピ を 提 供 す る ス マ ー ト キ ッ チ ン サ ー ビ ス 『OiCy』を公開！，https://info.cookpad.com/pr/news/
press_2018_0508（2018）
[Damen 18] Damen, D., Doughty, H., Farinella, G. M., Fidler, S., Furnari, A., Kazakos, E., Moltisanti, D., Munro, J., Perrett, T., Price, W. and Wray, M.: Scaling egocentric vision: The
EPICKITCHENS dataset, ECCV（2018）
[Halupka 12] Halupka, V., Almahr, A., Pan, Y. and Cheok, A. D.: Chop chop: A sound augmented kitchen prototype, Advances
in Computer Entertainment, pp. 494-497, Springer（2012） [Hamada 05] Hamada, R., Okabe, J., Ide, I., Sakai, S. and
Tanaka, H.: Cooking navi: Assistant for daily cooking in kitchen, Proc. 13th ACM Int. Conf. on Multimedia, pp. 371-374 （2005）
[Hashimoto 12] Hashimoto, A., Inoue, J., Nakamura, K., Funatomi, T., Ueda, M., Yamakata, Y. and Minoh, M.: Recognizing ingredients at cutting process by integrating multimodal features, Proc. ACM Multimedia 2012 Workshop
on Multimedia for Cooking and Eating Activities, pp. 13-18,
ACM（2012）
[Hashimoto 14] Hashimoto, A., Inoue, J., Funatomi, T. and Minoh, M.: How does User’s access to object make HCI smooth in recipe guidance?, Proc. Human Computer Interaction
International（2014）
[Hashimoto 16a] Hashimoto, A., Inoue, J., Funatomi, T. and Minoh, M.: Intention-sensing recipe guidance via user accessing to objects, Int. J. of Human-Computer Interaction, Vol. 32, No. 9, pp. 722-733（2016）
[橋本 16b] 橋本敦史，藤野拓海，舩冨卓哉，飯山将晃，美濃導彦： 物体への接触に基づいて意図センシングを行うレシピナビゲー ションシステム，MIRU 2016 デモ発表（2016）
[Huang 17] Huang, D.-A., Lim, J. J., Fei-Fei, L. and Niebles, J. C.: Unsupervised visual-linguistic reference resolution in instructional videos, CVPR, Vol. 2, p. 4（2017）
[Huang 18] Huang, D.-A., Buch, S., Dery, L., Garg, A., Fei-Fei, L. and Carlos Niebles, J.: Finding “It”: Weakly-supervised reference-aware visual grounding in instructional videos,
CVPR（2018）
[INFOCOM Corp. 14] INFOCOM Corp.: AmKitchen, https:// www.infocom.co.jp/english/pdf/ir14121301.pdf （2014）
[J-MICC研究 05] J-MICC 研究：健康追跡 10 万人× 20 年調査， http://www.jmicc.com/（2005）
[Ju 01] Ju, W., Hurwitz, R., Judd, T. and Lee, B.: CounterActive: An interactive cookbook for the kitchen counter, Conf. on
Human Factors in Computing Systems, pp. 269-270（2001） [Kato 13] Kato, F. and Hasegawa, S.: Interactive cooking
simulator: Showing food ingredients appearance changes in frying pan cooking, Proc. 5th Int. Workshop on Multimedia for
Cooking Eating Activities, CEA’13, pp. 33-38, New York, NY, USA, ACM（2013）
[Lee 06] Lee, C. H. J., Bonanni, L., Espinosa, J. H., Lieberman, H. and Selker, T.: Augmenting kitchen appliances with a shared context using knowledge about daily events, Proc. 11th Int.
Conf. on Intelligent User Interfaces, pp. 348-350（2006） [Miyawaki 08] Miyawaki, K. and Sano, M.: A virtual agent for a
cooking navigation system using augmented reality, Intelligent
Virtual Agents, Vol. 5208 of Lecture Notes in Computer Science,
pp. 97-103, Springer Berlin Heidelberg（2008）
[宮脇 09] 宮脇健三郎，佐野睦夫，西口敏司，池田克夫 ほか：動作 同期型調理ナビゲーションのためのユーザ適応型調理タスクモ デル，情処学論，Vol. 50, No. 4, pp. 1299-1310（2009） [Moley Robotics 15] Moley Robotics: Moley - The world’s first
robotic kitchen, http://www.moley.com/（2015）
[Mori 14] Mori, S., Maeta, H., Yamakata, Y. and Sasada, T.: Flow graph corpus from recipe texts, Proc. 9th Int. Conf. on
Language Resources and Evaluation（2014）
[森枝 13] 森枝卓士，石井智美，川崎寛也，関野吉晴，長沢美津子， 野本寛一，東四柳祥子，伏木 亨，村瀬敬子，山崎英恵：食の文 化フォーラム 31 料理すること：その変容と社会性，ドメス出版 （2013）
[Nakamura 15] Nakamura, K., Funatomi, T., Hashimoto, A., Ueda, M. and Minoh, M.: Development and evaluation of near real-time automated system for measuring consumption of seasonings, IEICE Trans. Inf. & Syst., Vol. 98, No. 12, pp. 2229-2241（2015）
Matsubara, T.: Intelligent kitchen: Cooking support by LCD and mobile robot with IC-labeled objects, Int. Conf. on
Intelligent Robots and Systems, pp. 1911-1916（2005） [Nakauchi 05b] Nakauchi, Y., Fukuda, T., Noguchi, K. and
Matsubara, T.: Time sequence data mining for cooking support robot, Proc. Int. Symp. on Computational Intelligence in
Robotics and Automation, pp. 481-486（2005）
[任天堂 06] 任天堂：しゃべる ! DS お料理ナビ，http://www. nintendo.co.jp/ds/a4vj/（2006）
[ノーマン 90] ノーマン，D. A. 著，野島久雄 訳：誰のためのデザ イン ? ─認知科学者のデザイン原論─，新曜社（1990） [Ohnishi 16] Ohnishi, K., Kanehira, A., Kanezaki, A. and Harada,
T.: Recognizing activities of daily living with a wrist-mounted camera, Proc. IEEE Conf. on Computer Vision and Pattern
Recognition, pp. 3103-3111（2016）
[Okumura 18] Okumura, T., Urabe, S., Inoue, K. and Yoshioka, M.: Cooking activities recognition in egocentric videos using hand shape feature with openpose, Proc. Joint Workshop on
Multimedia for Cooking and Eating Activities and Multimedia Assisted Dietary Management, CEA/MADiMa’18, pp. 42-45, ACM, New York, NY, USA（2018）
[Packer 12] Packer, B., Saenko, K. and Koller, D.: A combined pose, object, and feature model for action understanding,
CVPR, pp. 1378-1385（2012）
[Rohrbach 12] Rohrbach, M., Amin, S., Andriluka, M. and Schiele, B.: A database for fine grained activity detection of cooking activities, Computer Vision and Pattern Recognition（CVPR）, pp. 1194-1201, IEEE（2012）
[Sato 14] Sato, A., Watanabe, K. and Rekimoto, J.: MimiCook: A cooking assistant system with situated guidance, Proc. 8th Int.
Conf. on Tangible, Embedded and Embodied Interaction, pp.
121-124, ACM（2014）
[佐藤 18] 佐藤晃佑，大島直樹，武川直樹：がやがやチャットボッ ツ：料理行動をネタにして離れて暮らす親子間のコミュニケー ションを誘う雑談エージェント，信学技報（MVE），Vol. 118, No.211, pp. 9-13（2018）
[Schmidt 02] Schmidt, A., Strohbach, M., Van Laerhoven, K., Friday, A. and Gellersen, H.-W.: Context acquisition based on load sensing, UbiComp 2002: Ubiquitous Computing, pp. 333-350, Springer（2002）
[Siio 07] Siio, I., Hamada, R. and Mima, N.: Kitchen of the future and applications, Lecture Notes in Computer Science, Vol. 4551, pp. 946-955（2007）
[杉谷 14] 杉谷正成，宮本崇弘，大井 翔，宮脇健三郎，佐野睦夫： 認知リハビリテーションのための調理行動振り返り支援システ ム，信学技報（MVE），Vol. 113, No. 470, pp. 185-186（2014） [Takeuchi 14] Takeuchi, T., Fujii, T., Ogawa, K., Narumi, T.,
Tanikawa, T. and Hirose, M.: Using social media to change eating habits without conscious effort, Proc. 2014 ACM Int.
Joint Conf. on Pervasive and Ubiquitous Computing: Adjunct Publication, pp. 527-535, ACM（2014）
[Takeuchi 15] Takeuchi, T., Fujii, T., Narumi, T., Tanikawa, T. and Hirose, M.: Considering individual taste in social feedback to improve eating habits, 2015 IEEE Int. Conf. on Multimedia
Expo Workshops（ICMEW）, pp. 1-6（2015）
[Tran 05] Tran, Q., Calcaterra, G. and Mynatt, E.: Cook’s Collage: Déjà vu display for a home kitchen, Proc. HOIT, pp. 15-32 （2005）
[Urabe 18] Urabe, S., Inoue, K. and Yoshioka, M.: Cooking activities recognition in egocentric videos using combining 2DCNN and 3DCNN, Proc. JointWorkshop on Multimedia
for Cooking and Eating Activities and Multimedia Assisted Dietary Management, CEA/MADiMa’18, pp. 1-8, ACM, New York, NY, USA（2018）
[Uriu 12] Uriu, D., Namai, M., Tokuhisa, S., Kashiwagi, R., Inami, M. and Okude, N.: Panavi: Recipe medium with a sensorsembedded pan for domestic users to master professional culinary arts, Proc. SIGCHI Conf. on Human
Factors in Computing Systems, pp. 129-138, ACM（2012） [Ushiku 17] Ushiku, A., Hashimoto, H., Hashimoto, A. and Mori,
S.: Procedural text generation from an execution video, Proc.
8th Int. Joint Conf. on Natural Language Processing, IJCNLP 2017, Taipei, Taiwan, Nov. 27 - Dec. 1, 2017 - Vol. 1: Long
Papers, pp. 326-335（2017）
[Xu 17] Xu, D., Nair, S., Zhu, Y., Gao, J., Garg, A., Fei-Fei, L. and Savarese, S.: Neural task programming: Learning to generalize across hierarchical tasks, arXiv preprint
arXiv:1710.01813（2017）
[山肩 05] 山肩洋子，正司哲朗，角所 考，美濃導彦：アシスタントエー ジェントとの音声対話による調理コンテンツの自動生成，信学 技報（MVE），マルチメディア・仮想環境基礎，Vol. 105, No. 433, pp. 55-60（2005）
[Yamakata 18] Yamakata, Y., Yamasue, E., McLellan, B. and Aizawa, K.: Resource intensity for menu items: how much land is required to provide for each dish?, Proc. Joint Workshop on
Multimedia for Cooking and Eating Activities and Multimedia Assisted Dietary Management, pp. 15-20, ACM（2018） [Yasuoka 13] Yasuoka, R., Hashimoto, A., Funatomi, T. and
Minoh, M.: Detecting start and end times of object-handlings on a table by fusion of camera and load sensors, Proc. 5th
International Workshop on Multimedia for Cooking and Eating Activities, CEA’13, pp. 51-56（2013）
2018年 10 月 22 日 受理
