1．は
じ め に
この十数年，レシピをコンテンツとするサービス（以 下，レシピサービス）は増加する一方である．2000 年 代には Web サービスとしてのレシピサービスが，2010 年代にはスマートフォンアプリとしてのレシピサービス が次々に登場した．今後は，さらに，スマートスピーカ アプリとしてのレシピサービスが登場していくものと思 われる． レシピサービスの増加とともに，レシピを対象とした 情報処理（以下，レシピ情報処理）の研究も増加している． これは，電子化されたレシピが取得しやすくなったため である． 以下はレシピ情報処理の研究タスクの一例である．● レシピの解析 [Jermsurawong 15, Kiddon 15, Maeta
15]
● レシピの検索 [Forbes 11, Salvador 17, Yasukawa 14] ● レシピの翻訳 [Nakazawa 17, Sato 16]
● レシピの生成 [Kiddon 16, Mori 14a, Ushiku 17] ● レシピの質問応答 [Yagcioglu 18]
● 料理写真の分類 [Bossard 14, Chen 16, Myers 15]
Workshop on Multimedia for Cooking and Eating Activities（CEA）や Workshop on Multimedia Assisted Dietary Management（MADiMa）などのレシピ情報処 理に関連するワークショップも登場しており，これらの 研究はますます増加していくものと思われる． しかし，実際のレシピサービスで情報処理がどのよう に利用されているかは自明でない．別の言い方をすれば， レシピサービスの開発者が情報処理で解決している（も しくは，解決しようとしている）タスクはあまり知られ ていない．これらのタスクはサービスに直結しており， 開発者だけが発想できるユニークなものも多い．しかし， サービスの開発者がそれらのタスク（および，その解決 策）を発信する機会は少なく，レシピ情報処理の研究者 がそれらを把握する機会も少ない． そこで，本稿では，クックパッド＊1で情報処理がどの ように利用されているかを紹介する．クックパッドは日 本最大のレシピサービスであり，その開発者はさまざま なタスクを情報処理で解決している．以降の章では，まず， クックパッドについて概説する．その後，クックパッド で自然言語処理と画像処理がどのように利用されている かを紹介する．最後に，レシピ情報処理の研究を活性化 するためのクックパッドの取組みについて解説する．
2．ク ッ ク パ ッ ド
クックパッドは日本最大のレシピサービスであり， ユーザがレシピを投稿・検索できるプラットフォームで ある（図 1）．サービスを開始したのは 1998 年で，今年 （2018 年）で 20 周年となった．この 20 年で 300 万品＊ 2 以上のレシピが投稿され，その数は今も増加している．レシピサービスと情報処理
Recipe Service and Information Processing
原島 純
クックパッド株式会社Jun Harashima Cookpad Inc.
[email protected], http://jun-harashima.net/
Keywords:
recipe service, natural language processing, image processing, open science. 「料理情報の知的処理」＊1 https://cookpad.com/
＊2 2018 年 11 月時点での数字．以降の数字も同様． 図 1 クックパッドのトップページ
また，月間 5 400 万人（日次 500 万人）の利用ログが日々 蓄積されている． クックパッドは日本だけでなく海外にも展開してい る．海外展開は 2014 年にスタートし，この 4 年で 23 言語 69 か国にまで拡大した．現在，海外のレシピ数（日 本以外のレシピ数）は約 160 万品である．また，月間の ユーザ数（日本以外のユーザ数）は約 3 800 万人である． スペイン語圏やインドネシア語圏のユーザが多く，とも に約 1 000 万人である． 図 2 はクックパッドのレシピの一例である．レシピの 主な構成要素は，図中の点線で囲んだ五つである． ● タイトル ● 完成写真 ● 概要 ● 材料 ● 手順 レシピサービスごとに多少の差異はあるが，これらの 要素はほぼ共通している．
3．クックパッドと
言語処理
図 2 で示したように，レシピは自然言語と画像から構 成されるデータである．このようなデータに基づくサー ビスでは，当然，自然言語処理や画像処理が必要となる． 本章では，まず，クックパッドで自然言語処理がどのよ うに利用されているかを紹介する． 3･1 レ シ ピ の 分 類 クックパッドが提供する機能の一つに「MY フォルダ」 がある．これは，お気に入りのレシピをブックマークで きる機能である．ヘビーユーザの中には何百品（ときに は，何千品）ものレシピをブックマークする人もいる． しかし，ブックマークされたレシピが増加すると，そ の中からレシピを探すのが難しくなる．別の言い方をす れば，何百品ものレシピの中から，今日つくりたいレシ ピを探すのは面倒である．この問題はヘビーユーザほど 深刻であり，どうにかして解決すべきものであった． そこで，クックパッドでは自然言語処理でレシピを分 類している．具体的には，レシピを bag-of-words（BOW） で表現した後，Support Vector Machine（SVM）でい くつかのカテゴリーに分類している．カテゴリーは「肉 料理」や「魚料理」などで，10 種類がある．ユーザは， 分類されたレシピの中から，今日つくりたいレシピをす ばやく見つけることができる． 3･2 材料名の正規化 クックパッドでは一部のレシピにカロリーや塩分など の栄養価を付与している．これらは，レシピの材料に基 づいて，管理栄養士が日々計算しているものである．1 週間分の献立を提案する「プレミアム献立」やレシピ検 索結果の絞り込みに利用されている． 栄養価を付与する際に問題となるのが材料の名前（以 下，材料名）のバリエーションである．レシピの材料欄 は自由記述であり，文字数以外に制限はない．そのため， 同じ材料でもさまざまなバリエーションがある．例えば， クックパッドにおける「しょうゆ」には 100 種類以上の バリエーション（e.g.,「しょう油」，「醤油」，「おしょうゆ」） がある． そこで，クックパッドでは Encoder-Decoder モデル で材料名を正規化している [Harashima 18]．レシピ中 の材料名（e.g., しょう油）を Encoder に入力し，正規 化後の材料名（e.g., しょうゆ）を Decoder から出力する． 管理栄養士が正規化した材料名でモデルを学習し，管理 栄養士が正規化していない材料名にこのモデルを適用し ている． 3･3 非 手 順 の 検 出 クックパッドはスマートスピーカにもサービスを展開 しており，その機能の一つに手順の読上げがある．調理 中，ユーザは手順を何度も確認する．しかし，調理中は 手が汚れており，PC やスマートフォンには触れたくな い．スマートスピーカによる手順の読上げはこの問題を 解決する手段の一つである． しかし，手順の中には，読み上げる必要がないテキス トも混在している．材料欄と同様，手順欄も自由記述で あり，文字数以外に制限はない．そのため，調理のプロ セスではないテキスト（以下，非手順）が入力されるこ とがある．これは，例えば，「〇〇社のレシピ本に掲載 されました」といったテキストである．手順を読み上げ る際，このようなテキストは省略できる． 図 2 クックパッドのレシピページそこで，クックパッドでは，自然言語処理で手順と非 手順を識別している．具体的には，手順を BOW で表現 した後，ロジスティック回帰で手順か非手順に分類して いる．現在の正解率は，手順と非手順を半分ずつ用意し たテストセットで約 92％である．このタスクは他のさ まざまなタスクの基礎となるもので，今後も継続的に改 善していく予定である． 3･4 意 見 の 分 類 クックパッドのほぼすべてのページには図 3 のような フォームがある．このフォームは，クックパッドのサー ビスに対するユーザの意見を収集するためのものであ る．サービスを改善するうえで，これらの意見は非常に 重要である． しかし，一つ一つの意見をチェックし，関係するサー ビスにひも付けるのは簡単ではない．1 日に投稿される 意見は少なくない．また，クックパッドのサービスも少 なくない．意見のチェックやサービスへのひも付けはス タッフが人手で作業しており，これにはかなりの時間が 必要であった． そこで，クックパッドでは，ユーザからの意見を SVMで分類している．カテゴリー数は 81 個で，そのそ れぞれについて二値分類器（そのカテゴリーに関係する か，しないか）を構築している．訓練データには，これ まで人手で分類してきた意見を使用している．現状の F 値は 85％ほどであるが，それでもスタッフの作業を半 減できた． 3･5 その他のタスク 上で紹介したタスクはすでにサービスインしたもので ある．本章の最後に，これからサービスインする予定の 二つのタスクを紹介する．一つは形態素解析のドメイン 適応で，もう一つは手順の固有表現認識である． レシピのテキストは砕けており，その形態素解析（単 語分割と品詞タグ付け，見出し語化）は難しい．例えば， 単語分割の F 値は 95％ 程度である [Mori 14c]．形態素 解析は多くのタスクの基礎であり，その改善は非常に重 要である．クックパッドではレシピの解析済みコーパス を構築しており，これに形態素解析器を適応させる予定 である． 一方，手順中の固有表現を認識するのも重要なタス クである．ここでの固有表現は材料や調理器具などであ る．このタスクの state-of-the-art は Sasada らの手法 [Sasada 15]で，その F 値は 90％ 程度である．クックパッ ドでは料理オントロジー [Nanba 14] などの言語資源で 認識器を改善し [平松 18]，これをサービスインするこ とを検討している．
4．クックパッドと
画像処理
前章では，クックパッドで自然言語処理がどのように 利用されているかを紹介した．一方，クックパッドでは 画像処理も利用している．本章では，画像処理がどのよ うに利用されているかを紹介する． 4･1 料理写真の検出 我々のスマートフォンの中にはたくさんの料理の写真 （以下，料理写真）がある．近年，スマートフォンで料 理を撮影する人は珍しくない．多くの人が自分の料理や レストランの料理をスマートフォンで撮影している．こ れは，思い出を記録したり，Facebook や Twitter，イン スタグラムなどの SNS に投稿するためである． 一方，スマートフォンの中の料理写真を検索したり， 整理するのは面倒である．スマートフォンの中には料理 以外の写真（以下，非料理写真）もたくさんある．これ らは，例えば，人物や動物，植物，建物，景色などの写 真である．これらの中から「あの日の料理写真」を検索 したり，整理するのは簡単ではない． そこで，クックパッドは「料理きろく（図 4）」とい う機能をリリースしている．これは，ユーザのスマート フォンの中の料理写真を整理するものである．内部では 図 3 意見の投稿フォーム 図 4 料理きろくInception-v3（の一部を改良したモデル）を使用してお り，スマートフォンの中の各写真を料理写真か非料理写 真に分類している [Kikuta 17]．現在のモデルの精度は 98％で，再現率は 96％である．料理きろくでは料理写 真をカレンダー形式で整理しており，ユーザは「あの日 の料理写真」を容易に検索できる． 4･2 非料理写真の検出 クックパッドのレシピの中には「みんなのつくりまし たフォトレポート」（以下，つくれぽ）が付与されたも のがある．これはレシピの利用者からレシピの作者への 感謝のフィードバックである．つくれぽは料理写真とコ メントから構成される．レシピの中には，1 000 件以上 のつくれぽが付与されているものもある． しかし，ごくまれに，つくれぽの写真として非料理写 真が投稿されることがある．これらは，例えば，人物（家 族）や動物（ペット）の写真である．日々，膨大な数の つくれぽが投稿されている．そのため，そのすべてをス タッフがチェックするのは難しい． そこで，クックパッドでは，投稿された写真の中から 非料理写真を機械学習で検出している．これには，料理 きろくと同じモデルが利用できる．モデルが非料理写真 と判定した写真だけをスタッフがチェックすることで， 非料理写真を効率的に検出している． 4･3 料理写真の分類 料理写真の分類は非常にポピュラーな研究タスクで ある．このタスクで最も引用されている論文の一つは [Bossard 14]である．この研究の功績は，料理写真が分 類されたデータセットを公開したことである．このデー タセットのおかげで，料理写真の分類は多くの人が手軽 に研究できるタスクとなった． 料理写真の分類はクックパッドでもポピュラーなタス クである．料理きろくで検出された写真にはさまざまな 料理のものがある．例えば，肉じゃがの写真もあれば， オムライスの写真もある．そして，料理きろくのユーザ から「料理写真を種類ごとに分けてほしい」という意見 があるのは自然なことである． クックパッドでは料理きろく内で料理写真を 50 種類 に分類している．料理写真の検出と同じく，モデルは Inception-v3である．もちろん，訓練用のデータや最終 層の構造は異なる．また，分類精度を高めるため，種類 間の類似度を考慮し，二値分類をカスケード的に適用し ている [Arino 18]． 4･4 見栄えする写真の抽出 ユーザ投稿型のサービス（ここでは，写真を投稿する サービス）において，写真の見栄えは非常に重要である． ユーザが写真を投稿するときは，自分が撮影した複数の 写真の中から見栄えする写真を選択する．ユーザが写真 を閲覧するときも，サービスに表示された複数の写真の 中から見栄えする写真に注目する． クックパッドでは一部の機能で写真の見栄えを考慮し ている．例えば，プッシュ通知で送付するレシピを選定 する際は，レシピを特徴付ける複数の情報を考慮してい る．その中で，実験的にではあるが，写真の見栄えも考 慮している．なお，見栄えする写真は MobileNet で抽 出している． ただし，写真の見栄えを定義するのは非常に難しい． 写真の見栄えを決定するのが明るさなのか，解像度なの か，色使いなのか，構図なのか，それら以外の要因なの かは自明でない．この疑問の答えは各機能を改善する過 程で明らかになるものであり，これを明らかにすること がタスクの中心的な課題となる． 4･5 その他のタスク 画像処理についても，サービスインを検討している二 つのタスクを紹介する．一つは食材の認識で，もう一つ は料理写真の超解像である． 食材の認識は，調理前の食材の認識と，調理中の食材 の認識 [Hashimoto 17] に分類できる．なお，形状のバ リエーションが大きいため，後者のほうが難しいタスク である．前者は，例えば，食材の写真からレシピを推薦 するのに利用できる．後者は，例えば，調理の動画から キャプションを生成するのに利用できる．クックパッド では独自のデータセットでこれらを研究中である． 料理写真の超解像も有望な研究タスクである．クック パッドは 1998 年に開始したサービスである．そのため， 初期に投稿された写真の中には解像度が低いものも少な くない．そこで，クックパッドでは，SRGAN による超 解像 [Nagano 18] を一部のサービスでテストしている．
5. クックパッドとオープンサイエンス
本稿の最後に，クックパッドによるオープンサイエン スの一例を紹介する．これらの多くはサービスの実際の データを利用したものである．また，その目的は，レシ ピ情報処理の研究を活性化させることである． 5･1 研究用データセットの公開 2015年，クックパッドは大学や公的研究機関の研究 者にレシピのテキストのデータセット（以下，クックパッ ドデータセット）を公開した [Harashima 16]．このデー タセットは国立情報学研究所から取得可能＊3で，2018 年 11 月の時点で国内の約 150 研究室が利用している． クックパッドデータセットには，主に，2014 年 9 月ま ＊3 https://www.nii.ac.jp/dsc/idr/cookpad/cookpad. htmlでにクックパッドに投稿された約 172 万品のレシピの テキストが収録されている．類似するデータセットはい くつか存在する [Hashimoto 14, Mori 14b, Tasse 08] が，
2018年 11 月の時点でクックパッドデータセットが世界 最大である． また，2017 年には，クックパッドデータセットと対 になる画像のデータセット（以下，クックパッドイメー ジデータセット）も公開している [Harashima 17]．こ のデータセットには，クックパッドデータセットのレ シピの画像が収録されている．こちらも類似するデー タセットはいくつか存在する [Bossard 14, Kawano14, Matsuda 12, Salvador 17]が，2018 年 11 月の時点でクッ クパッドイメージデータセットが世界最大である． 5･2 AI チャレンジコンテスト 2017年，クックパッドは第 1 回 AI チャレンジコンテ スト＊4に協賛し，サービスのデータを提供した．このコ ンテストは，人工知能技術戦略会議と内閣府，文部科学 省が主催したものである．その趣意は，人工知能技術を 活用できる人材の発掘と育成であった． このコンテストでは，料理領域検出部門と料理分類部 門の二つを開催した．前者は，料理写真内の料理領域を 検出するものである．参加者には，bounding box の情 報を付与した 25 000 枚の料理写真を提供した．後者は， 料理写真を 25 種類の料理に分類するものである．こち らは，料理の種類を付与した 10 000 枚の料理写真を提 供した． コンテストには日本全国から大勢が参加し，競争もハ イレベルなものであった．料理領域検出部門には 37 人 が参加し，優勝者の手法は YOLOv2 を利用したもので あった．一方，料理分類部門には 136 人が参加し，優 勝者の手法は 31 個のモデルをアンサンブルしたもので あった．結果はコンテストのサイトで閲覧可能である． 5･3 JSAI Cup 2018年には，人工知能学会が主催するデータ解析コ ンペティション（通称，JSAI Cup）＊5に協賛している． JSAI Cupは人工知能学会全国大会に合わせて開催され， 2018年は 2 回目の開催であった．全国大会の半年ほど 前に課題が公開され，全国大会で結果が報告される．クッ クパッドは，AI チャレンジコンテストと同じく，課題 の設計やデータの提供の部分で協力した． コンペティションの課題は，材料の写真をその種類に 分類するものであった．この課題では 55 種類の材料の 15 932枚の写真が使用された．これらは，クックパッド が独自に収集したものである．また，AI チャレンジコ ンテストと違って，この課題ではモデルのアンサンブル を禁止するルールなどが設定された．これは，課題の難 易度を上げるためである． AI チャレンジコンテストと同じく，JSAI Cup にも 日本全国から大勢が参加し，競争もハイレベルなもので あった．コンペティションには全部で 121 人が参加し， 優勝者の手法は半教師あり学習とデータ拡張を駆使した ものであった．結果はコンテストのサイトで閲覧可能で ある． 5･4 WAT
Workshop on Asian Translation（WAT）＊6は，その
名のとおり，アジアの言語に関する機械翻訳のワーク ショップである．2014 年に 1 回目が開催され，今年（2018 年）は 5 回目の開催である．言語としては日本語や中国 語，韓国語などを，ドメインとしては論文や特許，ニュー スなどを対象としている． クックパッドは 2017 年の WAT からレシピ対訳のデー タセットを提供している [Nakazawa 17]．対訳は日英 で，日本語ネイティブが英語に翻訳した後，英語ネイティ ブが結果を修正したものである．データセットには全部 で約 16 000 品のレシピの対訳が収録されている．現状， 残念ながら，このタスクの参加者は多くない．例えば， 2017年の参加者は 1 チームのみである．AI チャレンジ コンテストや JSAI Cup と比較すると，これはかなり少 ない．一方，これは，レシピ翻訳がブルーオーシャンの タスクであるとも解釈できる．これから参加者が増加す ることを期待したい．
6．お
わ り に
本稿では，クックパッドで情報処理がどのように利用 されているかを紹介した．クックパッドは日本最大のレ シピサービスであり，300 万品以上のレシピが投稿され， 月間 5 400 万人のユーザに利用されている．その内部で は，レシピの分類や材料名の正規化，非手順の検出，意 見の分類などに自然言語処理が利用されている．また， 料理写真の検出や非料理写真の検出，料理写真の分類， 見栄えする写真の抽出などに画像処理が利用されてい る．さらに，レシピ情報処理の研究を活性化させるため， クックパッドはオープンサイエンスにも注力している． 1章で言及したように，レシピサービスの開発者がこ れらを発信する機会や，レシピ情報処理の研究者がこれ らを把握する機会は少ない．本稿で発信した内容が，読 者の研究の何かしらのヒントになれば幸いである． ＊6 http://lotus.kuee.kyoto-u.ac.jp/WAT/ ＊4 https://signate.jp/competitions/31 ＊5 https://www.ai-gakkai.or.jp/jsai2018/jsai-cup_ info◇ 参 考 文 献 ◇
[Arino 18] Arino, K. and Kikuta, Y.: ClassSim: Similarity between classes defined by misclassification ratios of trained classifiers, arXiv:1802.01267（2018）
[Bossard 14] Bossard, L., Guillaumin, M. and Gool, L. V.: Food- 101 - Mining discriminative components with random forests,
Proc. 13th European Conf. on Computer Vision（ECCV 2014）, pp. 446-461（2014）
[Chen 16] Chen, J. and Ngo, C.-W.: Deep-based ingredient recognition for cooking recipe retrieval, Proc. 2016 ACM on
Multimedia Conference（ACMMM 2016）, pp. 32-41（2016） [Forbes 11] Forbes, P. and Zhu, M.: Content-boosted matrix
factorization for recommender systems: Experiments with recipe recommendation, Proc. 5th ACM Conf. on Recommender
Systems（RecSys 2011）, pp. 261-264（2011）
[Harashima 16] Harashima, J., Ariga, M., Murata, K. and Ioki, M.: A large-scale recipe and meal data collection as infrastructure for food research, Proc. 10th Int. Conf. on
Language Resources and Evaluation（LREC 2016）, pp. 2455-2459（2016）
[Harashima 17] Harashima, J., Someya, Y. and Kikuta, Y.: Cookpad image dataset: An image collection as infrastructure for food research, Proc. 40th Int. ACM SIGIR Conf. on Research
and Development in Information Retrieval（SIGIR 2017）, pp. 1229-1232（2017）
[Harashima 18] Harashima, J. and Yamada, Y.: Two-step validation in character-based ingredient normalization,
Proc. 10th Workshop on Multimedia for Cooking and Eating Activities（CEA 2018）, pp. 29-32（2018）
[Hashimoto 14] Hashimoto, A., Sasada, T., Yamakata, Y., Mori, S. and Minoh, M.: KUSK Dataset: Toward a direct understanding of recipe text and human cooking activity, Proc.
Workshop on Smart Technology for Cooking Eating Activities
（CEA 2014）, pp. 583-588（2014）
[Hashimoto 17] Hashimoto, A., Fujino, T., Harashima, J., Iiyama, M. and Minoh, M.: Learning food appearance by a supervision with recipe text, Proc. 9th Workshop on Multimedia for
Cooking and Eating Activities（CEA 2017）, pp. 39-44（2017） [平松 18] 平松 淳，若林 啓，原島 純：文字分散表現に基づく単語 分類情報を用いたレシピ固有表現抽出，情処学研報，第 237 回 自然言語処理研究発表会（2018）
[Jermsurawong 15] Jermsurawong, J. and Habash, N.: Predicting the structure of cooking recipes, Proc. 2015 Conf. on Empirical
Methods in Natural Language Processing（EMNLP 2015）, pp. 781-786（2015）
[Kawano 14] Kawano, Y. and Yanai, K.: Automatic expansion of a food image dataset leveraging existing categories with domain adaptation, Proc. 13th ECCV Workshop on Transferring and
Adapting Source Knowledge in Computer Vision（TASK-CV
2014）, pp. 3-17（2014）
[Kiddon 15] Kiddon, C., Ponnuraj, G. T., Zettlemoyer, L. and Choi, Y.: Mise en place: Unsupervised interpretation of instructional recipes, Proc. 2015 Conf. on Empirical Methods in Natural
Language Processing（EMNLP 2015）, pp. 982-992（2015） [Kiddon 16] Kiddon, C., Zettlemoyer, L. and Choi, Y.: Globally
coherent text generation with neural checklist models, Proc.
2016 Conf. on Empirical Methods in Natural Language Processing（EMNLP 2016）, pp. 329-339（2016）
[Kikuta 17] Kikuta, Y., Someya, Y. and Rybicki, L.: Approaches to food/Non-food image classification using deep learning in cookpad, Proc. 9th Workshop on Multimedia for Cooking and
Eating Activities（CEA 2017）, pp. 35-38（2017）
[Maeta 15] Maeta, H., Sasada, T. and Mori, S.: A framework for procedural text understanding, Proc. 14th Int. Conf. on Parsing
Technologies（IWPT 2015）, pp. 50-60（2015）
[Matsuda 12] Matsuda, Y., Hoashi, H. and Yanai, K.: Recognition of multiple-food images by detecting candidate regions, Proc.
2012 IEEE Int. Conf. on Multimedia and Expo（ICME 2012）, pp. 25-30（2012）
[Mori 14a] Mori, S., Maeta, H., Sasada, T., Yoshino, K., Hashi-moto, A., Funatomi, T. and Yamakata, Y.: FlowGraph2Text: Automatic sentence skeleton compilation for procedural text generation, Proc. 8th Int. Natural Language Generation
Conference（INLG 2014）, pp. 118-122（2014）
[Mori 14b] Mori, S., Maeta, H., Yamakata, Y. and Sasada, T.: Flow graph corpus from recipe texts, Proc. 9th Int. Conf. on
Language Resources and Evaluation（LREC 2014）, pp. 2370-2377（2014）
[Mori 14c] Mori, S. and Neubig, G.: Language resource addition: Dictionary or corpus?, Proc. 9th Int. Conf. on Language
Resources and Evaluation（LREC 2014）, pp. 1631-1636（2014） [Myers 15] Myers, A., Johnston, N., Rathod, V., Korattikara, A. and Gorban, A.: Im2Calories: Towards an automated mobile vision food diary, Proc. 2015 IEEE Int. Conf. on Computer
Vision（ICCV 2015）, pp. 1233-1241（2015）
[Nagano 18] Nagano, Y. and Kikuta, Y.: SRGAN for super-resolving low-resolution food images, Proc. 10th Workshop on
Multimedia for Cooking and Eating Activities（CEA 2018）, pp. 33-37（2018）
[Nakazawa 17] Nakazawa, T., Higashiyama, S., Ding, C., Mino, H., Goto, I., Kazawa, H., Oda, Y. and Kurohashi, G. N. S.: Overview of the 4th Workshop on Asian Translation, Proc. 4th
Workshop on Asian Translation（WAT 2017）, pp. 1-54（2017） [Nanba 14] Nanba, H., Doi, Y., Tsujita, M., Takezawa, T. and
Sumiya, K.: Construction of a cooking ontology from cooking recipes and patents, Proc. 6th Workshop on Smart Technology
for Cooking and Eating Activities（CEA 2014）, pp. 507- 516 （2014）
[Salvador 17] Salvador, A., Hynes, N., Aytar, Y., Marin, J., Ofli, F., Weber, I. and Torralba, A.: Learning cross-modal embeddings for cooking recipes and food images, Proc. 2017 IEEE Conf. on
Computer Vision and Pattern Recognition（CVPR 2017）（2017） [Sasada 15] Sasada, T., Mori, S., Kawahara, T. and Yamakata, Y.: Named entity recognizer trainable from partially annotated data, Proc. 14th Conf. of the Pacific Association for
Computational Linguistics（PACLING 2015）, pp. 10-17（2015） [Sato 16] Sato, T., Harashima, J. and Komachi, M.:
Japanese-English machine translation of recipe texts, Proc. 3rd
Workshop on Asian Translation（WAT 2017）, pp. 58-67（2016） [Tasse 08] Tasse, D. and Smith, N. A.: SOUR CREAM: Toward semantic processing of recipes, Technical Report, Carnegie Mellon University（2008）
[Ushiku 17] Ushiku, A., Hashimoto, H., Hashimoto, A. and Mori, S.: Procedural text generation from an execution video, Proc.
8th Int. Joint Conf. on Natural Language Processing（IJCNLP
2017）, pp. 326-335（2017）
[Yagcioglu 18] Yagcioglu, S., Erdem, A., Erdem, E. and Ikizler- Cinbis, N.: RecipeQA: A challenge dataset for multimodal comprehension of cooking recipes, Proc. 2018 Conf. on
Empirical Methods in Natural Language Processing（EMNLP
2018）（2018）
[Yasukawa 14] Yasukawa, M., Diaz, F., Druck, G. and Tsukada, N.: Overview of the NTCIR-11 cooking recipe search task,
Proc. 11th NTCIR Conference（NTCIR-11）, pp. 483-496（2014）
2018年 10 月 31 日 受理
