食メディア研究の20 年を振り返って

1．は

 じ め に

本特集では，料理情報の知的処理に関する技術・研究

について，最新の研究動向が紹介されてきたが，本稿で

は，著者らの経験を中心に，過去 20 年間の研究動向お

よび研究コミュニティの形成過程を振り返る．それに先

立ち，本章では，それ以前の歴史を簡単に ってみたい．

1･1 黎  明  期

米国 Westinghouse Electric 社の電子計算機システム

技術者であった Jim Sutherland と妻で家政学者の Ruth

Sutherland

は，1966 年頃から中古部品を買い集めて，

「Electronic Computing Home Operator（ECHO）Ⅳ」

と称する家庭内情報処理システムを Pittsburgh にあっ

た自宅に実装し，空調や時計の集中制御，家計簿作成な

どに利用していた [Infield 68]．この記事では，将来この

システムを台所にも展開し，献立設計，料理レシピに基

づく必要食材の分量計算およびそれと連動した購入リス

トの作成，食材の在庫管理などを実現しようとする計画

が語られている．その後，この計画は実行に移されなかっ

たようだが [Tomayko 94]，電子計算機技術が一般ユー

ザの手にも届くようになった初期の頃から，応用対象と

して料理情報が注目されていたことに注目したい．

ま た 1969 年 に は， 米 国 の 高 級 デ パ ー ト

Neiman-Marcus

の ク リ ス マ ス 用 贈 答 カ タ ロ グ に「Kitchen

Computer」と称する 10,600 ドルもする高額商品が掲載

された [NM 69]．その宣伝文句には，機能として料理レ

シピの保存と献立設計，家計簿との連携が謳われている．

その実体は，きょう体に調理台を備え付けた Honeywell

社製のミニコン H316 の台座型モデルだったが，貧弱な

入出力インタフェースや 2 週間のプログラミング講習

付きという高いハードルのためか，コンセプトモデル的

な位置付けで終わり，販売実績はなかったとされる．し

かし，史上初めて情報家電の可能性を探った製品として

の価値は高い．なお，おそらく唯一製造された実機は，

Mountain View

にある Computer Science Museum で

現在も展示されている．

一方，国内最古級の研究として，1970 年に都立農林

高校の武藤八恵子らによって提案された献立設計システ

ムがある [武藤 70]．このシステムでは，料理レシピ 200

件，日本食品標準成分表中の 99 食材，各食材の月別小

売価格をデータベース化してあり，それに対して，主食

および主食材の種類，調理様式，調理時間，摂食対象者，

味付け，摂食時間および季節，予算などの項目について

条件を設定すると，それらに合致する主菜を検索したう

えで，適切な副菜と組み合わせて一つの献立として出力

するようになっている．余談だが，このシステムは，当

時お茶の水女子大学に設置されていた沖電気社製のミニ

コン OKIMINITAC-7000 上に実装されたとのことで，

家政学部（現 生活科学部）と理学部（の電子計算機室．現

情報基盤センター）の両者を有していた同大学の面目躍

如といったところである．

これらの研究を原点と考えれば，料理情報の知的処理

に関する研究は，実に 50 年近い歴史があるといえよう．

1･2 第二次 AI ブームの到来

その後 1980 年代に入り，いわゆる「第二次 AI ブー

ム」が到来すると，今度は人工知能分野で料理情報の知

的処理に関する研究事例が登場し始める．この時代の研

究は，主に料理レシピ中の調理手順の処理に関するもの

である．

例えば，米国 SRI International 研究所の David E.

Wilkins

らは，「System for Interactive Planning and

食メディア研究の 20 年を振り返って

Looking Back upon Two Decades of Food-Media Research

井手　一郎

名古屋大学

Ichiro Ide Nagoya University.

[email protected], http://www.murase.is.i.nagoya-u.ac.jp/~ide/

山肩　洋子

京都大学大学院情報学研究科

Yoko Yamakata Graduate School of Informatics, Kyoto University.

[email protected], https://www.hal.t.u-tokyo.ac.jp/~yamakata/index_j.html

Keywords:

cooking, eating, food, history.

Execution monitoring（SIPE）」と呼ばれるインタラク

ティブな自動計画システムを提案した [Wilkins 81]．こ

の論文では，その適用例として肉・ブロッコリ・ジャガ

イモのおのおのを用いた三つの料理からなる献立を取り

上げ，ユーザとのインタラクションを通じて，使用でき

る調理器具の個数などに基づく制約を検証・解消するこ

とで，並列作業できるような調理計画に修正する過程を

紹介している．

フランス Paris South 大学の Marie-Odile Cordier ら

は，自動翻訳の題材として料理レシピを取り上げ，調理

手順の意味的構造表現を経由して，フランス語からアラ

ビア語に翻訳する手法を提案した [Cordier 82]．この論

文では，ルーのつくり方を例として取り上げ，料理レシ

ピ固有の性質を踏まえた中間表現を経由することで，自

然な翻訳文を生成する過程を紹介している．

米国 Yale 大学の Kristian J. Hammond は，「CHEF」

と呼ばれる，事例に基づく自動計画システムを提案した

[Hammond 86]．この論文では，四川料理を対象として，

失敗事例を踏まえながら過去の事例を修正することで，

使用食材，味付け，歯ごたえ，調理方法などの与えられた

条件を満たす料理レシピを出力する手法を紹介している．

英国 Edinburgh 大学の Robert Dale は，「EPICURE」

と呼ばれる，料理レシピ生成システムを提案した [Dale

90]．この論文では，バタービーンスープの調理手順構

造を自然な文章構造に変換する過程を取り上げ，料理レ

シピを生成する過程を紹介している．特に，状態変化を

記述できるような食材および調理操作の記述方法や，調

理手順を記述する際に参照表現の導入に注目している点

で，料理レシピ固有の性質を踏まえた研究になっている．

一方，国内では名古屋大学の佐川雄二らが，

「RECIPE」

と呼ばれる，ユーザモデルの更新に応じて動的に対話プ

ランを再計画する自然言語対話システムを提案した．こ

の論文では，すき焼きの調理手順の教示に関する対話

を例として取り上げ，ユーザモデルの更新に伴う影響

を検出し，対話プランを再計画する過程を紹介している

[Sagawa 91]．

食品卸売業者である（株）中島董商店の鳥越正敏は，

関連会社であるキューピー（株）とともに，関連各社が

販売する商品の販売促進用に「メニュー提案システム」

を開発した [鳥越 91]．このシステムは，主食材，販促

対象商品，調理方法，調理様式，献立中の位置付け，試

食可否などの項目により，データベース中に保存された

料理レシピを検索し，現場の販売員が利用することがで

きるようにした．

1･3 マルチメディアブームとインターネット時代の到来

1990

年代に入ると，いわゆる「第二次 AI 氷河期」が

訪れ，人工知能分野における料理情報の知的処理に関す

る研究も下火になっていく．一方，それと入れ違いに，

電子計算機の一般ユーザへの普及と記憶媒体の高密度化

に伴って，特に画像・映像情報を中心とした「マルチメ

ディア」技術に関する注目が高まった．多分にバズワー

ド的な側面はあったものの，この頃からディジタル画像・

映像処理の敷居が下がったのも事実である．そのため，

この時代の研究は，料理画像・映像中の調理過程の認識

や理解に関するものが中心である．

一方，インターネットが民間に開放されてしばらくす

ると，料理レシピを中心とした料理情報を紹介するサー

ビスが登場し始めた．現存する料理レシピサイトの草分

けとして，米国の「Epicurious.com」

＊1

_{（1995 ～）や}

「Allrecipes.com」

＊2

_{（1997 ～），「FoodNetwork.com」}

＊3

（料理番組チャンネルを運営する会社のサイト，1998 ～），

「Food.com」（1999 ～，2017 より「Genius Kitchen」

＊4

_）

がある．国内では，NHK「みんなのきょうの料理」

＊5

_や

大阪ガス（株）「ボブとアンジー」

＊6

_{（1995 ～，2015 よ}

り（株）オージス総研が運営），ネスレ社「VEVEY」（現

在は「ネスレバランスレシピ」

＊7

_{）など，テレビ会社や}

食品会社が専門家が作成したレシピを提供し始めた．そ

の後 2000 年代中頃にインターネットが一般家庭に急速

に普及したのに伴い，専門家ではない一般ユーザが自ら

考案した投稿型レシピが急増した．その受け皿として中

心的な役割を担ったのが「クックパッド」

＊8

_{（1998 ～）}

であり，続いて 2010 年には「楽天レシピ」

＊9

_がサービ

スを開始した．やがて，これらを活用して，料理レシピ

中に含まれるテキスト情報や料理画像を認識・解析する

研究も盛んになっていく．

著者らによる「食メディア」研究はこのような時代背

景の中で産声をあげた．以下，2 章で著者らが実際に体

験してきた過去 20 年間の個人的な体験と，3 章で研究

コミュニティの形成状況について紹介する．最後に 4 章

で近年の状況について簡単に紹介し，本稿をまとめる．

2．

食メディア研究の黎明期

個人的な話で恐縮だが，黎明期の雰囲気を伝えるため

に，本章では著者らの経験を紹介したい．なお，この間

に広がりを見せたほかのさまざまな研究については，本

特集の他の章および，これまで執筆されてきた特集・解

説記事 [相澤 11, 井手 09, 井手 17, 佐野 10, 山肩 13] があ

るため，本稿では割愛する．

＊1 https://www.epicurious.com/ ＊2 https://www.allrecipes.com/ ＊3 https://www.foodnetwork.com/ ＊4 https://www.geniuskitchen.com/ ＊5 https://www.kyounoryouri.jp/ ＊6 https://www.bob-an.com/ ＊7 https://nestle.jp/recipe/ ＊8 https://cookpad.com/ ＊9 https://recipe.rakuten.co.jp/

2･1 井 手 の 場 合

井手は博士課程の学生として，1996 年頃から放送映

像を対象として画像情報とテキスト情報を組み合わせた

マルチメディア情報処理の研究に従事していた．

1998

年に修士課程学生として研究室に配属された濱

田玲子氏の実質的指導をすることになり，当時マルチメ

ディアコンテンツとして注目していた「漫画」と「料理」

のどちらに興味があるか尋ねた．このときに濱田氏が後

者を選んだことから著者らの食メディア研究が始まった

（この選択が逆であれば，最近本会でも注目されている

「コミック工学」の研究に従事していたかもしれない）．

前述のように，当時はあくまでも放送映像を対象とした

マルチメディア情報処理の事例と考えていたため，料理

番組の映像と副読本のテキストとの自動対応付け手法に

関する研究に取り組んだ．基本的には映像に付随する文

字放送字幕（音声書き下しテキスト）を利用できるため，

テキスト間の照合である程度の対応付けはできるもの

の，映像と副読本とで調理手順が一致しない場合がある

こと，映像には画像内容とは無関係な会話も含まれるこ

とから，調理場所および調理動作を照合したうえで，映

像区間と調理手順を対応付ける手法 [Hamada 04] を提

案し，調理支援インタフェース「Happy Cooking」[濱田

06]

を実装した．この研究は 2003 年に食メディア研究

分野でおそらく国内初

＊10

_{の学位論文 [濱田 03] として結}

実する．

この研究に取り組み始めた頃，同世代の男子学生から

「女子はこういうチャラチャラしたことをやっても研究

になっていいよね」とか，年配の男性研究者から「こう

いう研究の意義が全く感じられない」などと言われ，研

究コミュニティから必ずしも温かく受容してもらえたわ

けではなかった．そこには，料理という「卑近な」課題

を研究対象として扱うことに対する拒否感のようなもの

を感じた．我々としては，苦々しく思いながらも，結果

で示すのみと考え，研究に邁進したものである．

研究コミュニティが確立するにつれ，また Web 上で

食メディアコンテンツが普及するにつれ，このような声

も表だっては聞こえなくなった．しかし，今でも我々の

中に，「卑近な」研究対象をどこかで見下す気持ちが潜

んではいないだろうか．もしそうであれば，そのような

気持ちを乗り越えられれば乗り越えることで，未開拓の

新たな応用分野を見いだせるかもしれない．

2･2 山 肩 の 場 合

一方，山肩は博士後期課程の学生として，2000 年頃

から音声対話によりコンピュータ計算機が人間の調理を

支援する調理ナビゲーションシステム「Smart Kitchen」

の研究を始めた．当時は「ユビキタス」という概念がア

カデミアを中心に急速に広まっていた時期で，電子レン

ジや炊飯器，冷蔵庫，IH コンロなど多様な機能をもつ

家電が集まる台所は，その格好の対象と考えられていた．

台所全体をユビキタス環境と捉えて調理を支援する機能

を生み出そうとする試みは，ほかにも，（独）通信総合

研究所（後の（独）情報通信研究機構）や筑波大学，大

阪工業大学，京都産業大学などで行われていた．

調理は材料を加工して新しい価値をもつ製品をつく

る，いわば「ものづくり」であり，専門的な教育を受け

ていない一般の人々がほぼ毎日その創作活動を行ってい

る．今，冷蔵庫にどのような食材があるか，旬の食材・

低価格な食材は何か，家族はどのような料理が好きか，

最近何を食べたか，調理に費やせる時間はどの程度か，

手間なくおいしくつくれる料理（しかも複数品！）はな

いか，料理を計画するうえで考えなければならない要因

は山のようにある．著者は将来それに否応なく従事せざ

るを得ない者の一人として，情報技術の力で人間の調理

行動を支援するシステムの研究開発を始めることにした

（しかし現在，我が家の料理は半分以上，最適化数理を

専門とする研究者でもある夫がつくっている．料理は科

学実験に似て極めて理論的な作業であり，共著者の井手

図 1 東京大学で開発した調理支援インタフェース「Happy Cooking」 （a）料理レシピ選択・閲覧画面 （b）調理支援画面 ＊10 国外では，少なくとも前出の Cordier が 1979 年にフラン ス語料理レシピの構造解析に基づくロボット操作に関する研究 [Cordier 79] で学位を取得している．

と同様，料理を趣味とする研究者は多い．いまだに料理

をほとんどしない男性が多いのは極めて不可解であり，

残念に思う）．

当時，任天堂（株）「しゃべる！ DS お料理ナビ」や

前出の「Happy Cooking」など，音声案内に従い 1 ステッ

プずつ調理を支援するアプリはすでに存在した．しかし

ある程度熟練した主婦ならば調理開始前に大まかな調理

の流れを理解しているため， そのように逐一指示される

必要はなく，調理中にわからないことが生じた時点で適

切な支援を行えばよい．しかしユーザが支援を必要とし

たタイミングで計算機が適切な支援を行うためには，そ

の時点で調理が料理レシピのどのステップまで進んでい

るかを把握する必要がある．そこで，台所の上方にカメ

ラを下向きに設置し，調理の様子を撮影して，逐次的に

料理レシピと対応付けることにより，調理を認識するこ

とにした．

調理映像における食材の認識は，画像認識として新し

い課題を含んでいた．通常，一般物体認識では，同じ名

称の物体は同じ性質を有すること（同質性）を前提とし

ている．いわば「リンゴは赤くて丸い」という知識であ

る．しかし料理では，食材は皮をむかれ切られ他の食材

と混ぜられ，別の名称の物体（料理）へと変化する．こ

のようにトポロジーが変わり，過渡的にしか存在しない

中間物をどのように認識すればよいのか？ 著者はこの

課題に対して，その中間物は元の材料と時間的に連続し

た同一物体であることから，元の物体の名称が与えら

れると考えた，要するに「リンゴは皮をむかれても切ら

れてもパイ生地で包まれても焼かれてもリンゴと呼び得

る」という考えである．これを「同一性に基づく物体認

識」と名付け，食材を調理開始時から終了まで追跡し続

けることでその物体の参照可能な名前を獲得する手法と

して実装し [山肩 07, 山肩 11]，その他の成果を合わせて，

2006

年におそらく国内 3 番目

＊11

_{の食メディア関係の学}

位論文 [Yamakata 06] として結実した．

3．

研究コミュニティ形成期

2

章で紹介したような研究が盛り上がりを見せ始めた

2006

年に，京都大学の美濃導彦，中村裕一，大阪工業

大学の佐野睦夫らを中心に，電子情報通信学会（以下，

信学会）に料理メディア（CM）第 3 種研究会運営委員

会が設立された．これ以降，国内における食メディア研

究は，散発的な個々の研究から，それらを結んだ組織的

な研究コミュニティの形成期に入った．本章ではその後

継となる食メディア研究会および派生イベントである国

際ワークショップ CEA シリーズを含めて，これまでの

活動状況についてまとめる．なお，本章で紹介するデー

タは [CEA 17] でまとめた内容に加筆修正を施したもの

である．最後に，国際的なコミュニティの形成状況につ

いても簡単にまとめる．

3･1 料理メディア（CM）第 3 種研究会運営委員会

2006

年 8 月に，信学会ヒューマンコミュニケーショ

ングループ（HCG）内に標記組織の設立が承認された．

翌年 1 月には，京都大学において設立記念シンポジウム

を開催し，食文化および健康医学の研究者にご講演いた

だいた．そのうえで，著者らを含めて，当時料理情報の

知的処理に関わる研究に従事していた関係者らによるパ

ネル討論が行われた．第 3 種研究会は非公開で調査活動

を実施することが使命であったため，関係者の知見を広

めるべく，招待講演や見学を中心とする単独研究会をそ

の後多数開催してきた．以下，その活動についてまとめ

る．

§1 歴代委員長

●

初代：美濃導彦（京都大学）［2006 ～ 08 年度］

●

₂

代：佐野睦夫（大阪工業大学）［2009 ～ 10 年度］

§2 活動状況

CM-01 2007/ 1/17 京都大学 吉田校舎（京都） 設立記念シンポ（招待講演，パネル討論） CM-02 2007/ 8/ 2 京都大学 吉田校舎（京都） 単独研究会（招待講演，研究紹介，見学（美濃研）） CM-03 2007/ 9/27 お茶の水女子大学（東京） 単独研究会（招待講演，見学（椎尾研）） CM-04 2008/ 1/25 神戸臨床研究情報センター（兵庫） 信学会 MVE 研協賛（招待講演，研究発表） ＊11 2 番目は半年早い滝 聖子の学位論文 [滝 06] と思われる． 図 2 京都大学で開発した調理支援システム「Smart Kitchen」 （a）正面から撮影した写真 （b） キッチン上方の天袋部分を下から撮影し た写真（可視光カメラと赤外線カメラが 2組，下向きに設置されている）

3･2 食メディア（CEA）時限研究専門委員会

＊12

5

年間にわたる第 3 種研究会運営委員会としての調査

活動を経て，よりオープンな活動を通じてコミュニティ

を拡大することにした．そこで，一般公開型の第 2 種研

究会を開催できる時限研究専門委員会に改組するととも

に，対象分野を料理から食全般に拡大した．これ以降は，

時折単独研究会や合宿を開催しつつも，通常は信学会内

外のより大きな研究会へ協賛し，いわば軒先を借りる形

で研究会を開催し，多様な分野との接点を模索してきた．

以下，その活動についてまとめる．

§1 歴代委員長

●

初代：佐野睦夫（大阪工業大学）［2011 ～ 12 年度］

●

₂

代：山肩洋子（京都大学）［2013 ～ 14 年度］

●

₃

代：井手一郎（名古屋大学）［2015 ～ 16 年度］

§2 活動実績

CM-05 2008/ 3/23 北九州学術研究都市 産学連携センター （福岡） 信学会 HCG シンポ 2008 企画（パネル討論） CM-06 2008/ 5/28 筑波大学 筑波校舎（ 城） 単独研究会（招待講演，研究紹介，見学（中内研）） CM-07 2008/ 6/13 幕張メッセ展示場（千葉） デジタルコンテンツシンポジウム 2008 企画（研究発表） CM-08 2008/ 9/26 京都大学 吉田校舎（京都） 単独研究会（招待講演，研究紹介，見学（中村研）） CM-09 2008/11/21 大阪ガス（株） 生活誕生館 DILIPA（大 阪） 単独研究会（招待講演，研究紹介，見学） CM-10 2009/ 3/24 島根大学 松江校舎（島根） 信学会 HCG シンポ 2009 企画（研究活動紹介，パネル 討論） CM-11 2009/ 5/18 名古屋大学 東山校舎・名城大学 天白校 舎（愛知） 単独研究会（招待講演，見学（村瀬・井手研，柳田研） CM-12 2009/ 7/13 東京大学 本郷校舎（東京） 単独研究会（招待講演，見学（相澤研）） CM-13 2009/11/13 常翔学園 大阪センター（大阪） 信 学 会 MVE 研 協 賛（ 研 究 発 表， 見 学（ 大 阪 ガ ス NEXT21）） CM-14 2009/12/10 札幌コンベンションセンター（北海道） 信学会 HCG シンポ 2009 企画（デモ） CM-15 2010/ 3/12 ～ 2010/ 3/13 （株）東芝 東芝科学館（神奈川） 信学会 MVE 研協賛（研究発表，見学） CM-16 2010/ 5/14 ～ 2010/ 5/15 京都産業大学 神山校舎（京都） 信学会 MVE 研協賛（研究発表，見学（実験住宅Ξホーム）） CM-17 2010/ 7/15 味の素（株） 川崎事業所（神奈川） 単独研究会（見学） CM-18 2010/12/15～ 2010/12/17 フェニックスシーガイアリゾート（宮崎） 信学会 HCG シンポ 2010 協賛（研究発表） CM-19 2011/ 3/ 7 ～ 2011/ 3/ 8 やすらぎ伊王島（長崎） 信学会 MVE 研協賛（研究発表） ― 2011/ 7/ 1 信学論和文（A）特集号 発行 ＊12 http://www.ccm.media.kyoto-u.ac.jp/CEA/ CEA-01 2011/ 5/25 京都府立大学 下鴨校舎（京都） 単独研究会（研究紹介，見学（食事学研）） CEA-02 2011/10/19 大日本印刷（株） 大阪事業所（大阪） 単独研究会（研究紹介，見学） CEA-03 2011/12/17～ 2011/12/18 石廊館（静岡） 合宿（研究紹介，ブレインストーミング，CEA2011 報 告会） CEA-04 2012/ 3/12 ～ 2012/ 3/13 富山大学 五福校舎（富山） 信学会 MVE/IE 研協賛（研究発表） CEA-05 2012/ 6/ 5 ～ 2012/ 6/ 6 国立情報学研究所（東京） 信学会 DE 研協賛（招待講演，研究発表） CEA-06 2012/10/ 4 ～ 2012/10/ 5 幕張メッセ（千葉） 信学会 PRMU 研協賛（招待講演，研究発表） CEA-07 2012/12/10～ 2012/12/12 くまもと森都心プラザ（熊本） 信学会 HCG シンポ 2012 企画（招待講演） CEA-08 2013/ 3/11 ～ 2013/ 3/12 福岡工業大学（福岡） 信学会 MVE 研協賛（研究発表） CEA-09 2013/ 8/17 五稜郭タワー（北海道） はこだて国際科学祭企画サイエンスダイアログ（サイ エンス・サポート函館と共催） CEA-10 2013/ 8/18 ～ 2013/ 8/20 公立はこだて未来大学・函館市女性センター（北海道） 合宿（演習，調理実習，研究紹介） CEA-11 2013/ 9/13 国立情報学研究所（東京） 信学会 DE 研協賛（招待講演，研究発表） CEA-12 2013/12/18～ 2013/12/20 松山市総合コミュニティセンター（愛媛） 信学会 HCG シンポ 2013 企画（招待講演，パネル討論） CEA-13 2014/ 3/ 6 ～ 2014/ 3/ 7 別府国際コンベンションセンター（大分） 信学会 MVE 研協賛（招待講演，研究発表） CEA-14 2014/ 6/12 ～ 2014/ 6/13 福岡工業大学 セミナーハウス（大分） 日本 VR 学会 SBR 研協賛（パネル討論，研究発表） CEA-15 2014/ 8/23 ～ 2014/ 8/24 （京都）京都大学 吉田校舎・ゲストハウス天界 合宿（招待講演，演習，調理実習，研究紹介） CEA-16 2014/ 9/10 ～ 2014/ 9/11 国立情報学研究所（東京） 信学会 DE 研協賛（招待講演，研究発表） CEA-17 2014/12/17～ 2014/12/18 海峡メッセ下関（山口） 信学会 HCG シンポ 2014 企画（研究発表） CEA-18 2015/ 3/ 3 ～ 2015/ 3/ 4 成蹊大学（東京） 信学会 MVE 研協賛（研究発表） CEA-19 2015/ 6/11 ～ 2015/ 6/12 黒川温泉自治会事務所 べっちん館（熊本） 日本 VR 学会 SBR 研協賛（研究発表）

3･3 食メディア（CEA）特別研究専門委員会

2017

年の信学会の研究会規程変更に伴い，組織形態

が特別研究専門委員会に変わったが，基本的な活動方針

は時限研究専門委員会時代と変わっていない．

§1 歴代委員長

●

_{初代：井手一郎（名古屋大学）［2017 ～ 18 年度］}

§2 活動実績

3･4 国際ワークショップ CEA シリーズ

食メディアに関する研究は，国内では盛り上がりつつ

あったものの，当初国際的な場ではなかなか受容されに

くい状況にあった．そこで，自ら国際的な研究コミュニ

ティを形成すべく，2009 年以来毎年，大きな国際会議

に併設して国際ワークショップ CEA を開催してきた．

CEA 2009

ACM Multimedia 2009 Workshop on Multimedia for Cooking and Eating Activities

2009/10/23 中国，北京

General chair：佐野睦夫（大阪工業大学） Oral：7 件

CEA 2010

The 2nd Workshop on Multimedia for Cooking and Eating Activities in conjunction with ISM2010 2010/12/14 臺灣，臺中

General chair：佐野睦夫（大阪工業大学） Oral：6 件，Poster：5 件

CEA 2011

The 3rd Workshop on Multimedia for Cooking and Eating Activities in conjunction with ISM2011 2011/12/ 6 San Jose, CA, USA

General chair：佐野睦夫（大阪工業大学） Oral＋ Poster：4 件，Poster：4 件

CEA 2012

The 4th Workshop on Multimedia for Cooking and Eating Activities in conjunction with ACMMM2012 2012/11/ 2 日本，奈良 General chair：佐野睦夫（大阪工業大学） Oral：3 件，Poster：8 件，招待講演：1 件 CEA-34 2017/12/22～ 2017/12/23 国立情報学研究所（東京） 信学会 DE 研協賛（招待講演，研究発表） CEA-35 2018/ 3/ 8 ～ 2018/ 3/9 沖縄産業支援センター（沖縄） 信学会 MVE 研協賛（招待講演，研究発表） ― 2018/ 3/29 （オンライン） JSAI CUP 2018：2018 年度人工知能学会データ解析コ ンペ後援 ― 2018/ 6/ 5 城山ホテル鹿児島（鹿児島） JSAI CUP 2018：2018 年度人工知能学会データ解析コ ンペ報告会後援 CEA-36 2018/ 6/ 7 ～ 2018/ 6/ 8 国民宿舎ボルベリアダグリ（鹿児島） 日本 VR 学会 SBR 研協賛（研究発表） CEA-37 2018/ 9/ 6 ～ 2018/ 9/ 7 大阪工業大学 梅田校舎（大阪） 信学会 MVE 研協賛（招待講演，研究発表） CEA-38 2018/11/ 2 つくばイノベーションプラザ（ 城） 信学会 HCS 研協賛（研究発表） ― 2018/11/28 NII IDRユーザフォーラム協賛 CEA-39 2018/11/30 東京大学本郷校舎（東京） 講演会協賛（招待講演） CEA-30 2017/ 6/22 ～ 2017/ 6/23 国民宿舎ホテル高千穂（宮崎） 日本 VR 学会 SBR 研協賛（研究発表） CEA-31 2017/ 9/12 ～ 2017/ 9/14 東京大学 本郷校舎（東京） FIT 2017企画（パネル討論） CEA-32 2017/ 9/21 ～ 2017/ 9/22 千葉大学 西千葉校舎（千葉） 信学会 MVE 研協賛（招待講演，研究発表） ― 2017/12/ 4 国立情報学研究所（東京） NII IDRユーザフォーラム協賛 CEA-33 2017/12/21～ 2017/12/22 大橋会館（東京） 合宿（研究紹介） CEA-20 2015/ 9/15 ～ 2015/ 9/17 愛媛大学 城北校舎（愛媛） FIT2017企画（パネル討論） CEA-21 2015/ 9/24 ～ 2015/ 9/25 神奈川工科大学 横浜事務所（神奈川） 信学会 DE 研協賛（招待講演，研究発表） CEA-22 2015/ 9/26 クックパッド（株）（東京） 単独研究会（招待講演，研究発表，見学） CEA-23 2015/11/ 9 ～ 2015/11/10 アクトシティ浜松研修交流センター・ホテル山喜（静岡） 合宿（データ・ツール紹介，グループ討論） CEA-24 2015/12/16～ 2015/12/18 富山国際会議場（富山） 信学会 HCG シンポ 2015 企画（招待講演，パネル討論， 研究発表） CEA-25 2016/ 3/ 7 ～ 2016/ 3/ 8 名桜大学（沖縄） 信学会 MVE 研協賛（研究発表） CEA-26 2016/ 6/ 2 ～ 2016/ 6/ 3 伊勢屋旅館（長崎） 日本 VR 学会 SBR 研協賛（研究発表） CEA-27 2016/ 9/28 ～ 2016/ 9/29 名古屋大学 東山校舎（愛知） 合宿（招待講演，演習，データ・ツール紹介） ― 2016/11/30 国立情報学研究所（東京） NII IDRユーザフォーラム協賛 CEA-28 2016/12/ 1 国立情報学研究所（東京） 信学会 DE 研協賛（招待講演，研究発表） CEA-29 2017/ 1/19 ～ 2017/ 1/20 京都大学 吉田校舎（京都）

信学会 MVE ／ PRMU ／情処 CVIM 研協賛（研究発表） ―

2017/ 3/31 （オンライン）

人工知能技術戦略会議・内閣府・文部科学省主催 第 1 回 AI チャレンジコンテスト後援

3･5 国外コミュニティの形成状況

近年立ち上がりつつある，国外コミュニティの形成状

況についても簡単に紹介したい．

2008

～ 17 年にかけて毎年，事例ベース推論の分

野において，同分野の国際会議である ICCBR および

ECCBR

に併設して，Computer Cooking Contest（CCC）

が開催されてきた．主に若手研究者の活性化を目指し

て企画されたもので，年によって若干課題は変わるもの

の，基本的には与えられた条件に合致するように，既存

の料理レシピ（＝事例）で中の食材とその調理方法を書

き換えるシステム を競うコンテストである．また，同

じコミュニティのメンバにより，人工知能分野の国際

会議である IJCAI および ECAI に併設して，2012 年お

よび 2013 年に Workshop on Cooking with Computers

（CwC）が開催された．

一方，これらとは独立して，健康医学に興味をもつ画

像処理の研究者らにより，いくつかの国際会議に併設し

て，2015 年以来 International Workshop on Multimedia

Assisted Dietary Management（MADiMa）が開催さ

れている．昨年はコミュニティ間の交流を深めること

を目指して，3･4 節で紹介した CEA ワークショップ

と合同で，IJCAI 併設ワークショップとして開催された．

また，インタラクションコミュニティにおいて，同

分野の国際会議である ICMI に併設して，2016 年以

来 Workshop on Multi-sensory Approaches to

Human-food Interaction（MHFI）が開催されている．

さらに，データベースコミュニティにおいて，昨年より，

同分野の国際会議である ICDE に併設して，Workshop

on Data Engineering Meets Intelligent Food and

Cooking Recipe（DECOR）が開催され始めた．

このように，情報系のさまざまなコミュニティで食メ

ディアに関連した企画が開催されるようになったが，その

多くで，国内コミュニティから何らかの形で個人的・組

織的に協力をし，国際コミュニティと連携を図っている．

さらに，ACM の Future of Computing Academy（ACM-

FCA）における活動のなかで，将来計算機科学分野で取

り組むべき課題の一つとして，食が取り上げられ，昨年，

「Future on Computing & Food」というイベントが開催

されている．

4．お

 わ り に

2

章で紹介した料理レシピサイトを含め大手サイトに

は，今日では数百万件もの料理レシピが掲載され，日々

数百万件ものアクセスがあるようなサービスにまで成長

し，我々の食生活の一端を担うようになった．そのうち

クックパッドや楽天レシピに掲載されている料理レシピ

の一部は，国立情報学研究所情報学研究データリポジト

リ（NII IDR）

＊13

_{を通じて学術研究用途に限定したデー}

タ公開が行われており [大山 16]，それらに含まれる画

像情報およびテキスト情報のマイニングや機械学習に関

する研究も盛んになっている．

また，食メディアに関する関心の高まりを受け，いく

つかの大規模な料理画像データセットも公開されるよう

になった．主なものとして，米国 Carnegie Mellon 大学

と Intel 社による PFID [Chen 09]，我が国の電気通信

大学の UEC 100 [Matsuda 11] および UEC

Food-256 [Kawano 14]，イタリア Catania 大学の

UNICT-FD889 [Farinella 14]，スイス連邦工科大学 Zurich 校

の ETZH Food-101 [Bossard 14]， 香 港 城 市 大 学 の

VireoFood-172 [Chen 16]

などがある

＊14

_{．このように大}

規模な食メディアコンテンツを活用して，近年，IBM

社による料理レシピ自動生成システム「Chef Watson」

[IBM 15, Ross 13]

や，Google 社による料理画像からの

CEA 2013

The 5th Workshop on Multimedia for Cooking and Eating Activities in conjunction with ACMMM2013 2013/10/21 Barcelona, Catalunya, Spain General chair：相澤清晴（東京大学）

Long oral＋ Poster：3 件，Short oral ＋ Poster：10 件， 招待講演：1 件

CEA 2014

Workshop on Smart Technology for Cooking and Eating Activities in conjunction with UbiComp2014

2014/ 9/14 Seattle, WA, USA General chair：相澤清晴（東京大学） Oral：6 件，Poster：11 件

CEA 2015

The 7th Workshop on Multimedia for Cooking and Eating Activities in conjunction with ICME2015 2015/ 7/ 3 Torino, Piemonte, Italy General chair：相澤清晴（東京大学） Long oral：3 件，Short oral：4 件

CEA 2016

The 8th Workshop on Multimedia for Cooking and Eating Activities in conjunction with ICME2016 2016/ 7/15 Seattle, WA, USA

General chair：相澤清晴（東京大学） Oral＋ Poster：3 件，Poster：3 件

CEA 2017

The 9th Workshop on Multimedia for Cooking and Eating Activities in conjunction with IJCAI2017 2017/ 8/20 Melbourne, VIC, Australia General chair：井手一郎（名古屋大学）

Oral＋ Poster：4 件，Poster （Long paper）：3 件， Poster （Short paper）：3 件

CEA 2018

The 10th Workshop on Multimedia for Cooking and Eating Activities in conjunction with IJCAI2018 collocated with the 4th International Workshop on Multimedia Assisted Dietary Management （MADiMa2018）

2018/ 7/15 Stockholm, Sweden General chair：井手一郎（名古屋大学）

Long oral＋ Poster：2 件，Short oral ＋ Poster：4 件， Poster：3 件

＊13 https://www.nii.ac.jp/dsc/idr/

＊14 これらの情報資源に関する情報は，原島により本誌上でまと められた記事 [原島 18] を参照されたい．

カロリー推定システム「Im2Calories」[Myers 15] など

も提案されている．

また，このような大規模データを処理する機械学習技

術の発展に伴い，食メディアコンテンツを対象としたコ

ンテストも国内外で開催されるようになった．国内では，

2014

年に国立情報学研究所が開催した NTCIR-11 にお

いて，料理レシピ検索タスクが設定された [Yasukawa

14]．また，クックパッド（株）の協力を得て，2017 年

に内閣府の人工知能技術戦略会議が料理領域検出および

料理分類のコンテスト [AITSC 17] を，2018 年には本

会が JSAI Cup 2018 として食材認識のコンテスト [鹿島

18]

を開催している．国外では，画像認識・コンピュー

タビジョンのトップ会議の併設ワークショップで料理分

類のコンテスト [Sikka 18] が開催されている．

本会でも，昨年開催された第 32 回全国大会で「AI で

切り開く未来社会：食・食システムを通じて社会課題を

解決する」と題するセッション [野中 18] を企画したよ

うに，料理情報の知的処理への関心が高まっている．

今後当該分野のさらなる発展を考える際に，1 章で紹

介した Sutherland 夫妻の場合や武藤らの場合のように，

黎明期の研究は学際的な協力により実現した点に注目し

たい．50 年が経ち，著者らもその重要性を意識しなが

らも，なかなか家政学分野との交流が進んでいないのが

現状である．食材と道具が充実してきた今日，改めて原

点に立ち戻って，工学と家政学の技術者・研究者がとも

に台所に立ち，美味しい料理をつくれないだろうか．

謝 辞

本論文の執筆に際し，今となっては入手困難な論文

を快くご提供下さった名城大学の佐川雄二教授に感謝す

る．

◇ 参 考 文 献 ◇

[AITSC 17] 人工知能技術戦略会議，内閣府，文部科学省：第 1回 AI チ ャ レ ン ジ コ ン テ ス ト，https://signate.jp/ competitions/31（2017） [相澤 11] 相澤清晴，井手一郎 ほか：［特集］食とコンピューティ ング，情報処理，Vol. 52, No. 11, pp. 1368-1408（2011） [Bossard 14] Bossard, L., Guillaumin, M., Gool, L. V. and

Food-101: Mining discriminative components with random forests, Computer Vision - ECCV 2014, Lecture Notes in Computer Science, Vol. 8694, pp. 446-461（2014）

[CEA 17] 電子情報通信学会食メディア特別研究専門委員会：食の 情報処理～これまでの 10 年，これからの 10 年～，第 16 回情 報科学技術フォーラム , No. A-1（2017）

[Chen 09] Chen, M., Dhingra, K., Wu, W., Yang, L., Sukthankar, R. and Yang, J.: PFID: Pittsburgh fast-food image dataset, Proc. 16th IEEE Conf. on Image Processing, pp. 282-292（2009） [Chen 16] Chen, J.-J. and Ngo, C.-W.: Deep-based ingredient

recognition for cooking recipe retrieval, Proc. 24th ACM Multimedia Conf., pp. 32-41（2016）

[Cordier 79] Cordier, M.-O.: Commande d’un robot en language naturel dans un domaine nécessitant des connaissances pragmatiques: Les recettes de cuisine（in French）, Doctoral thesis, Université Paris-Sud（1979）

[Cordier 82] Cordier, M.-O. and Moghrabi, C.: An experiment towards more efficient automatic translation, Proc. 5th European Conf. on Artificial Intelligence, pp. 228-231（1982） [Dale 90] Dale, R.: Generating recipes: An Overview of

EPICURE, Dale, R., Mellish, C. and Zock, M., eds., Current Research in Natural Language Generation, pp. 229-255, Academic Press（1990）

[Farinella 14] Farinella, G. M., Allegra, D. and Stanco, F.: A benchmark dataset to study the representation of food images, Computer Vision - ECCV 2014 Workshops, Lecture Notes in Computer Science, Vol. 8927, pp. 584-599（2015）

[濱田 03] 濱田玲子：索引付けのための映像とテキスト教材の対応 付けシステム，東京大学学位論文，甲 17987（2003）

[Hamada 04] Hamada, R., Miura, K., Ide, I., Satoh, S., Sakai, S. and Tanaka, H.: Multimedia integration for cooking video indexing, Advances in Multimedia Information Processing - PCM 2004, Lecture Notes in Computer Science, Vol. 3332, pp. 650-657（2004）

[濱田 06] 濱田玲子，井手一郎，佐藤真一，坂井修一：マルチメディ ア調理支援ソフトウェア「HappyCooking」，第 2 回デジタルコ ンテンツシンポジウム，No. 1-2, pp. 1-4（2006）

[Hammond 86] Hammond, K. J.: CHEF: A model of case-based planning, Proc. 5th National Conf. on Artificial Intelligence, pp. 267-271（1986）

[原島 18] 原島 純：［私のブックマーク］料理情報処理，人工知能， Vol. 33, No. 1, pp. 98-101（2018）

[IBM 15] IBM Corporation and Institute of Culinary Education, Inc.: Cognitive cooking with Chef Watson, Sourcebooks（2015） [井手 09] 井手一郎，北村圭吾，山崎俊彦，相澤清晴，青山秀紀， 尾関基行，中村裕一，佐野睦夫，宮脇健三郎：料理メディア～ 台所におけるディジタルコンテンツの処理と利用，映像情報メ ディア学会誌，Vol. 63, No. 2, pp. 156-160（2009） [井手 17] 井手一郎，柳井啓司，山肩洋子：食メディアに関する研 究最先端（［特集］衣・食・住に入り込む先端メディア技術）， 映像情報メディア学会誌，Vol. 71, No. 6, pp. 768-772（2017） [Infield 68] Infield, G.: A computer in the basement?, Popular

Mechanics, Vol. 129, No. 4, pp. 77-79, 209, 229（1968） [鹿島 18] 鹿島久嗣，馬場雪乃，齊藤 秀，浜野紘一，青井紀之，

高田朋貴：JSAI Cup 2018：2018 年度人工知能学会データ解 析コンペティション，https://www.ai-gakkai.or.jp/ jsai2018/jsai-cup_info（2018）

[Kawano 14] Kawano, Y. and Yanai, K.: Automatic expansion of a food image dataset leveraging existing categories with domain adaptation, Computer Vision - ECCV 2014 Workshops, Lecture Notes in Computer Science, Vol. 8927, pp. 3-17（2015） [Matsuda 11] Matsuda, Y., Hoashi, H. and Yanai, K.: Recognition

of multiple-food images by detecting candidate regions, Proc. 2012 IEEE Int. Conf. on Multimedia and Expo, pp. 25-30 （2012）

[武藤 70] 武藤八恵子，須賀雅夫，松元文子：コンピューターに よる献立システムの試案，調理科学，Vol. 3, No. 3, pp. 140-145 （1970）

[Myers 15] Myers, A., Johnston, N., Rathod, V., Korattikara, A., Gorban, A., Silberman, N., Guadarrama, S., Papandreou, G., Huang, J. and Murphy, K.: Im2Calories: Towards an automated mobile vision food diary, Proc. 2015 IEEE Conf. on Computer Vision, pp. 1233-1241（2015）

[NM 69] Marcus: Kitchen computer, The Neiman-Marcus Christmas Book 1969, pp. 84-85（1969）

[野中 18] 野中朋美，藤井信忠：AI で切り開く未来社会：食・食シ ステムを通じて社会課題を解決する，2018 年度人工知能学会全 国大会（第 32 回），No. KS-6（2018）

[大山 16] 大山敬三，大須賀智子：情報学研究資源としてのデータ セットの共同利用，人工知能，Vol. 31, No. 2, pp. 254-261（2016） [Ross 13] Ross, V.: Creating Recipes with Artificial Intelligence,

IEEE Spectrum（2013）

[Sagawa 91] Sagawa, Y., Ohnishi, N. and Sugie, N.: Techniques to recover user’s utterance failure in a plan-driven dialogue system, Proc. Natural Language Processing Pacific-Rim Symposium, pp. 131-138（1991）

料理行動を科学する─，信学誌，Vol. 93, No. 1, pp. 29-54（2010） [Sikka 18] Sikka, K., Kaur, P., Wang, W., Divakaran, A. and

Belongie, S.: iFood 2018 Challenge, 5th Workshop on Fine-Grained Visual Categorization in conjunction with CVPR 2018, _{https://www.kaggle.com/c/ifood2018/（2018）} [滝 06] 滝 聖子：料理ロボットシステムの開発に関する研究，岡山

大学学位論文，甲 3139（2006）

[Tomayko 94] Tomayko, J. E.: Electronic computer for home operation（ECHO）: The first home computer, IEEE Annals of the History of Computing, Vol. 16, No. 3, pp. 59-61（1994） [鳥越 91] 鳥越正敏：料理メニュー推薦システム，日本醸造協会誌，

Vol.86, No. 10, pp. 736-744（1991）

[Wilkins 81] Wilkins, D. E. and Robinson, A. E.: An interactive planning system, SRI International Technical Note, No. 245 （1981）

[Yamakata 06] Yamakata, Y.: Image recognition of an object designated by user’s wording, 京都大学学位論文，甲 12626 （2006） [山肩 07] 山肩洋子，角所 考，美濃導彦：調理コンテンツの自動作 成のためのレシピテキストと調理観測映像の対応付け，信学論 （D），Vol. J90-D, No. 10，pp. 2817-2829（2007） [山肩 11] 山肩洋子，角所 考，美濃導彦：呼称により指示された中 間食材を同定するための画像認識モデルおよび呼称解釈法の提 案，信学論（A），Vol. J94-A, No. 7, pp. 519-531（2011）

[山肩 13] 山肩洋子：情報分野における食メディア研究（解説：生 活支援），画像ラボ，Vol.24, No. 7, pp. 1-8（2013）

[Yasukawa 14] Yasukawa, M., Diaz, F., Druck, G. and Tsukada, N.: Overview of the NTCIR-11 cooking recipe search task, Proc. 11th NTCIR Conf., pp. 483-496（2014）

2018

年 10 月 16 日 受理

著　者　紹　介

井手 一郎（正会員） 2000年東京大学大学院工学系研究科博士課程修了． 同年，国立情報学研究所助手，2004 年名古屋大学大 学院情報科学研究科助教授．2007 年同研究科准教 授．2017 年同大学情報学研究科准教授，現在に至る． この間，2004 ～ 07 年国立情報学研究所客員助教授． 2007～ 10 年，同研究所客員准教授．この間，2010 ～ 11 年，Amsterdam 大学上級訪問研究員．博士 （工学）． 山肩 洋子（正会員）は，前掲（Vol. 34, No. 1, p. 23）参照．