写真撮影・編集行動に基づいた写真への関心度推定手法と評価

写真撮影・編集行動に基づいた写真への

関心度推定手法と評価

A Method for Estimating User Interest to Photos based on

Behavior of Taking and Editing Photos and its Evaluation

柴本恵理子

1

_{Kittirojrattana Chalisa}

2

_{Koopipat Chawan}

2

_{Hansuebsai Aran}

2

_鷹野孝典

3

Eriko Shibamoto

1

_{, Kittirojrattana Chalisa}

2

_{, Koopipat Chawan}

2

_{, Hansuebsai Aran}

2

_{, and}

Kosuke Takano

3

1

_{神奈川工科大学 工学研究科 情報工学専攻}

1

_{Graduate School of Engineering, Kanagawa Institute of Technology}

Course of Information and Computer Sciences

2

_{チュラロンコン大学 理学部 画像・印刷工学科}

2

_{Department of Imaging & Printing Technology, Faculty of Science,}

Chulalongkorn University

3

_{神奈川工科大学 情報学部 情報工学科}

3

_{Department of Information and Computer Sciences,}

Kanagawa Institute of Technology

Abstract: This study proposes a method for estimating user’s interest to photos based on user’s behaviors of taking and editing photo. In the field of recommendation system, an implicit way of capturing user’s preference is very important for making the recommendation result more suitable to individual users. In this study, we assume that users would spend a lot of time to take and edit their photo when they have interest to an object that they are shooting. Furthermore, if the users use a favorite camera position and angle when they take a photo, and if the users choose a favorite color style for the beautification of photos, those behaviors would be more certain evidences that the users have strong feeling to the photos. By analyzing such user’s behaviors of taking and editing photos, our method implicitly extracts user’s interest to photos for the subsequent recommendation process. In this study, we confirm the feasibility of our proposed method by several experiments using our prototype.

1 はじめに

スマートフォンなどのモバイル端末に搭載されて いるデジタルカメラの高性能化に伴い，個々人の思 い出や体験を写真で撮影・記録し，Social Networking Service (SNS) などを通じて他者と共有する機会が 増えている．写真は情報量に富んでおり，また言葉 に表せない内容についても直感的に伝えることがで きるため，考え，意図，感情などを共有するのに適 している場合がある．例えば，旅行での体験を写真 で共有することにより[9]，人々を感動させたり，同 じ場所に行きたい気持ちにさせることができると考 えられる． 一方，情報推薦システムは，日常生活の中で新た な知識や経験を見つけるために必要不可欠なものと なっている．例えば，Amazon.com [15]のような商用 サイトや Spotify[16]のような音楽ストリーミングサ ービスなど，多くのサービスにおいて推薦機能が組 み込まれている．このようなサービスにおいて適切 な情報を推薦するために，ユーザの情報嗜好を抽出 することが重要である． 前述したように，写真は 個々人の考え，意図，感情を共有するために利用さ れる機会が増えており，写真からユーザの情報嗜好 を暗黙的に抽出することが可能であると考えられる． ユーザから情報嗜好を暗黙的に抽出することにより， ユーザの情報嗜好に関するプロファイルを自動的に 人工知能学会研究会資料 SIG-KBS-B901-07

構築し，協調フィルタリングなどの推薦アルゴリズ ムに適用することが可能となる． しかし，ユーザの嗜好を抽出するために，写真の オブジェクトを分析しても，ユーザが写真内のオブ ジェクトに興味を持っているかどうかを正しく判断 することは困難である．例えば，図 1の写真では， この写真を撮ったユーザはこのデザートを好きかど うかは判定できない．しかし，写真を撮ることには， 他の人と共有するなどの目的がある場合が多いため， ユーザの写真に対する関心度を予測することは可能 であると考えられる． 本研究では，このようなユーザの写真に対する関 心度を予測することに焦点を当て，ユーザが撮影し た写真集合を対象として，ユーザの写真の撮影と編 集に関する行動を分析することにより，ユーザの写 真に対する関心度を推定する手法を提案する．実験 により，提案方式の実現可能性を検証する． 図 1 写真の例

2 関連研究

推薦手法において，協調フィルタリング[10][11]は， 推薦対象のユーザと同じ嗜好を持つ他のユーザの嗜 好に基づいて，未知のアイテムに対するユーザの嗜 好を予測するアルゴリズムの 1 つであり，e コマー スやコンテンツストリーミングサービスといった 様々な分野において，アイテム，音楽，映画などの 推薦機能に適用されている[12]．しかし，協調フィル タリングなど多くの推薦アルゴリズムでは，ユーザ が「いいね」ボタンを押すなど明示的に関心を示さ ない限り，ユーザの情報嗜好を抽出し，適切な推薦 をすることができない．このような場合においても， もしWeb 記事を閲読する，定期的に購買する，ポジ ティブなコメントを付与するなどというユーザの行 動から，暗黙的にユーザの情報嗜好を抽出すること ができれば，より効率的にユーザの情報嗜好を収集 し，推薦精度を改善することができると考えられる． 写真を活用した情報推薦について，様々な手法が 提案されている[1][4]．文献[1]で，Yu らはユーザ同 士の交友を深められるように，写真共有web サイト においてユーザがアップロードした画像を自動で友 人に推薦するための方法を提案している．文献[4]で は，写真の外観に基づく友人推薦システムが提案さ れている．このシステムでは，友人を推薦するため に，色や構造，質感などの写真の特徴に基づいて， 外観嗜好モデルが作成される． また，いくつかの写真共有web サイトでは，数個 のキーワードを用いて，写真をタグ付けする機能が あり，これらの写真タグからユーザの情報嗜好の抽 出が可能であると考えられる[2][5][7]．文献[2]では， ユーザの関心を推定するために，コメント，経過時 間，情報推薦，情報共有といった諸々のユーザ活動 を統合して利用する手法が提案されている．文献[5] では，Toubiana らは，写真に写っている人の情報嗜 好をタグ付けするために，ユーザがカメラに写真の タグ付けをする手法(Photo-TaPE)を提案している． [7]では，Nwana らが，実際の調査により，ユーザが 画像にタグをつける順番は，ユーザが画像に付与し たタグよりも優先順位に相関することを示した． ここで，ユーザが撮影した写真集合から，ユーザ の写真に対する情報嗜好を抽出するには，まずユー ザの写真に対する関心度を推定することが重要であ る．例えば，とりあえず記録として撮影した写真と， 家族と共有したい大切な写真では，それぞれの写真 に対する思い入れが明らかに異なると予測される． この場合，前者よりも後者の写真の方が，思い入れ が強いと判断できるため，この写真を重点的に分析 し，情報嗜好を抽出した方が，より有効な情報推薦 に適用できると考えられる． 本研究では，撮影する被写体に関心がある場合， ユーザは写真を撮影して，編集するまでに多くの時 間を費やすと仮定する．この仮定のもと，ユーザが 撮影した写真に対する関心度を推定するために，特 に下記の要素を暗黙的に収集，分析する． 1. 写真撮影時間：ユーザが被写体に関心をもっ ている場合，ユーザは写真を撮影するのに時 間をかけると考えられる 2. 好みのカメラの角度：例えば，「花」の写真を 撮影するのが好きなユーザは，花を撮影する ためのユーザ自身の好きなアングルがあると 考えられる． 3. 好みのカラースタイル：ユーザは自分の写真 を編集する際に，好きなカラースタイルを持 つと考えられる．

3 提案手法

ユーザが写真に対して関心を持っている場合，ユ ーザは写真の撮影や編集に多くの時間を費やすと考

えられる．本研究では，このような写真撮影・編集 行動に基づいた写真への関心度推定手法を提案する． (図 2) 以下の節で，提案手法の詳細を述べる． 図 2 提案手法の概要図

3.1 写真のカテゴリ分類

ユーザuiが撮影した写真データ集合をPi = {p1, p2, p3, …, pn}とする．各写真 pjは，画像分類アルゴリズ ムを用いて，k 個のカテゴリ c1, c2, c3, …, ckに分類さ れる．まず，各写真pjのカテゴリスコアs(c l)を算出 する． pj → ( pj, s(c1), s(c2), …, s(ck) ) (1) 本研究では画像分類アルゴリズムとして，深層学 習の畳み込みニューラルネットワーク (CNN) を使 用する．写真pjは，カテゴリスコアが最大smax(cl)と なるカテゴリclに分類される pj → ( pj, cl, smax(cl) ) (2)

3.2 撮影時間の計測

写真の撮影時間Tcameraは，ユーザがカメラを起動 した時刻Tstartからシャッターを押した時刻Tshutterま での時間で計測する．

Tcamera = Tshutter - Tstart (3)

3.3 好みのカメラ角度抽出

図 3 に示すように、カメラ角度を 9 つの角度 (0, 30, 45, 60, 90, 120, 135, 150, 180)，および 3 種類のカ メラの向きで定義する．ユーザu の嗜好するカメラ アングルを下記ステップで抽出する． Step-1: ユーザ u の写真撮影時刻 t における，カメラ 角度A (α𝑡, β𝑡, γ𝑡)をジャイロセンサで取得する． Step-2: カメラの向きを図 3 のタイプ 1 からタイプ 3 の中から選択する． Step-3: カメラ角度 A を 9 つの角度のうち近い角度 に対応づける． Step-4: 対 応 付 け ら れ た 各 角 度 の 頻 度 F(type, ai) (type=1, 2, 3, i ∈ 0, 30, 45, 60, 90, 120, 135, 150, 180)を 算出する． Step-5: 最頻度の角度，もしくは上位 k 個の角度をユ ーザu の好みのカメラ角度として抽出する． タイプ 1: 縦向き タイプ 2: 横向き 1 タイプ 3: 横向き 2 図 3 カメラ角度と向きの定義

3.4 好みのカラースタイルの抽出

ユーザが写真に適用するカラースタイルの頻度を 数えることで，ユーザの好みのカラースタイルを抽 出する．ユーザは写真の撮影に，明度，彩度，コン トラストなどの色や照明のプロパティを調整するこ とで写真の色合いを整える．本研究では，このよう なカラースタイルに関する嗜好性を抽出するために， 事前に定義されたプリセットPS を用いる． PS = {ps1, ps2, ps3, …, psn} (4) カラープリセット psiは色調および照明に関する プロパティ値ejを持つ (表 1)．各プロパティ値の範 囲はプロパティ毎に定義される．また、プロパティ 値を用いて，カラープリセットpsiは次のように定義 できる． psi = {e1, e2, e3, …, en} (5) 本手法では，下記のステップで色調および照明の 嗜好のプリセットを検出することにより，カラース タイルの嗜好性を抽出する． Step-1: ユーザ u は撮影した写真の見栄えを良くす るために，カラープリセットpsiを選択する． Step-2: ユーザ u が選択したプリセット psiの頻度を カウントする Step-3: 最頻度もしくは上位 k 個のプリセットをユー ザu の好みのプリセットとして抽出する． (A)写真撮影行動分析 (B)写真編集行動分析 (E)写真に対する関心度推定 Step-3 ユーザ _{写真撮影頻度} カラースタイルの 使用頻度 写真撮影継続時間 カメラ角度 ユーザ Step-1 情報推薦アルゴリズムに適用 Step-2 180o 0o 90o 135o 30o45 o 60o 120o 150o 180 o 0o 90o 135o 30o45 o 60o 120o 150o 180o 0o 90o 135o 30o45 o 60o 120o 150o 180o 0o 90o 135o 30o 45o 60o 120o 150o

表 1 色調及び照明の種類

色調 / 照明の要素

1 Hue 6 Contrast 2 Saturation 7 Shadow

3 Color luminance 8 Highlight

4 Exposure 9 Black/white 5 Brightness … …

3.5 写真に対する関心度の算出

提案方式では，下記の式(6)のように，対象とする 写真pjについてカテゴリスコアScategory，アングルス コアSangle，カラースタイルスコアScolorを算出し，加 算することにより，写真pjに対するユーザu の関心 度スコアSfeelingを算出する．

SFeeling (u, pi) = w1 × Sobject (u, pi) + w2 × Sangle (u, pi) +

(1 - w1 - w2) × Scolor (u, pi) (6) ここで，3.1 節で述べたようにカテゴリスコア Scategoryは，写真pjの被写体のカテゴリc に対する関 心度を計算するためのスコアである．下記のように， カテゴリスコアScategoryは，ユーザが撮影した全写真 集合において，写真カテゴリc の頻度 Freqcategory，写

真の撮影時間Tcamera，写真pjの編集の頻度Freqeditを

用いて算出する．

Sobject (u, pi) = Freqobject (o, Pu) × Tcamera (u, pi)

× Freqedit(u, pi) (7)

アングルスコアSangleは，3.3 節で述べた写真 pjの

カメラ角度A に対する嗜好を算出するためのスコア である．角度スコアSangleは，ユーザが撮影した全て

の写真について，ユーザu が使用したカメラ角度 A の頻度Freqangleとして定義する．

Sangle (u, pi) = Freqangle (A, Pu) (8)

カラースタイルスコア Scolorは，3.4 節で述べた写

真 pjのカラースタイル ps に対する嗜好を算出する

ためのスコアである．カラースタイルスコアScolorは，

ユーザが撮影した全ての写真について，ユーザu が 使用したps の頻度 Freqcolorとして計算する．

Scolor (u, pi) = Freqangle (ps, Pu) (9)

4 実験

提案手法の実現可能性を確認するために5 つの実 験を行った．

4.1 実験 1

[実験概要] 実験 1 では，写真カテゴリの認識結果の 精度を評価する．写真カテゴリとして，建物，グル メ，ドリンク，人，植物の5 つを対象とした．各カ テゴリの写真枚数はそれぞれ20 枚，合計で 100 枚， 用意した．写真は，7 人の被験者が，プロトタイプと して実装したカメラ機能を用いて撮影した．図 4 に 写真の一例を示す．写真カテゴリの認識にはCNN を 利用した．GoogLeNet[14]を用いた転移学習を行い， 学習用，テスト用に各70 枚，30 枚使用した． ドリンク 建物 グルメ 植物 人

User G User B User C User A User B

User D User D User A User B User A

図 4 写真の例 [実験結果] 表 2に認識結果の精度を示す．表 2より， 建物，ドリンク，植物の3 つのカテゴリでの認識精 度が100%，グルメと人の 2 つのカテゴリで 83.33% となった．また，認識精度の平均は93.33%となった． これらの結果より，CNN による写真カテゴリ認識の 精度が十分にあることが確認できた． 表 2 各カテゴリの認識精度 カテゴリ 精度 ドリンク 100% 建物 100% グルメ 83.33% 植物 100% 人 83.33% 平均 93.33%

4.2 実験 2

[実験概要] 実験 2 では，提案手法によりユーザの好 みのカテゴリが抽出できることを確認する．実験 1 と同じ写真データを用いて実験を行う．ここで，7 人 の被験者をユーザA～G とする．実験 2 では，写真 撮影時間を考慮する手法 (提案手法) と，ユーザが 撮影した写真カテゴリの頻度のみを数える手法によ る結果を比較する． [実験結果] ユーザ A，B の結果を表 3，表 4に示す． 表 3の結果において，ユーザが撮影した写真カテゴ リの頻度のみに着目した場合，ユーザA は人やグル メに関心があると推定される．一方，提案手法では， 植物の写真を撮影する平均時間が最も長いため，ユ

ーザA が植物の写真に興味を持っている可能性が高 いと判断できる．この結果は，ユーザA が，植物が 好きで，良い写真を撮りたいというユーザの想いと 合致している．同様に，表 4より，ユーザB は建物 の写真を多く撮影しているが，実際には，グルメに 関心をもっており，グルメの写真を撮る際に多くの 時間を費やしていることがわかる．ユーザB へのイ ンタビューから，ユーザB はグルメに関心があるこ とが確認できており，提案手法の方がより実際のユ ーザB の関心に合致した嗜好性を抽出できていると 言える．また，ユーザC，ユーザ D，ユーザ E，ユー ザF，ユーザ G の結果についても同様の考察が得ら れた．これらの結果より，提案手法がユーザの写真 カテゴリに関する興味をより適切に抽出できること が確認できた． 表 3 カテゴリ頻度と撮影時間 (ユーザ A) カテゴリ 頻度 撮影時間(s) 平均時間 (s) 植物 4 194 48.50 グルメ 6 155 25.83 ドリンク 5 104 20.80 人 8 247 30.88 建物 0 - - 表 4 カテゴリ頻度と撮影時間 (ユーザ B) カテゴリ 頻度 撮影時間(s) 平均時間 (s) 植物 5 149 29.80 グルメ 6 261 43.50 ドリンク 5 86 17.20 人 2 58 29.00 建物 8 317 39.63

4.3 実験 3

[実験概要] 実験 3 では，提案手法により，写真に適 用されているカラースタイルに関するユーザの嗜好 を抽出できることを確認する．実験 1 および実験 2 で使用した写真を用いる．表 5 に示すように，編集 に利用するカラースタイルとして 12 のプリセット sepia（ps1），gaussian（ps2），June1（ps3），Dark grey

（ps4），Goldenrod（ps5），Smoke（ps6），Foodie（ps7），

Antique White（ps8），Sandy（ps9），Freshy（ps10），All

Gray（ps11），Colorless（ps12）を用意した．これらの

プリセットは，ガウシアン(e1)，コントラスト(e2)，グ

レースケール(e3)，セピア(e4)，反転(e5)，色相(e6)，明

度(e7)，彩度(e8)の値を要素とする．実験では，各ユー ザが写真に適用したカラースタイルの頻度数に基づ いて，好みのカラースタイルが抽出可能であるかを 確認する． [実験結果] 表 6～表 9 にカラースタイルを変更し たユーザA，B，C，G の結果を示す．表 6～表 9 よ り，ユーザA，B は使用頻度数から，それぞれ「Freshy」， 「June 1」のカラースタイルを好むと判断できる．ま た同様に，ユーザC は「Foodie」，ユーザ G は「June 1」と「Freshy」のカラースタイルを好むと判断でき る．このように各ユーザは好みのカラースタイルを 持っていると考えることができる． これらの結果より，ユーザが自分で撮影した写真 の見映えを良くするために写真のカラースタイルを 変更する際，ユーザが好んで使用するカラースタイ ルが存在し，提案手法によりそのようなカラースタ イルに関するユーザの嗜好性を抽出可能であること が確認できた． 表 5 カラープリセット一覧 PS e1 e2 e3 e4 e5 e6 e7 e8 ps1 0 0 0 100 0 0 100 100 ps2 5 0 0 0 0 0 100 100 ps3 0 27 0 0 0 0 90 107 ps4 0 15 26 3 0 0 73 112 ps5 0 16 11 17 0 0 124 82 ps6 0 44 0 0 0 0 118 67 ps7 0 29 0 0 0 0 100 114 ps8 0 17 27 39 0 0 100 83 ps9 0 25 0 0 5 0 139 100 ps10 0 13 0 5 0 0 103 93 ps11 0 0 100 0 0 0 100 100 ps12 0 0 0 0 0 0 100 0 表 6 カラースタイルの使用頻度 (ユーザ A) 植物 グルメ ドリンク 人 建物 計 Sepia 1 1 June1 1 1 Smoke 0 Sandy 0 Goldenrod 0 Freshy 1 2 1 1 5 Foodie 1 1 Dark grey 0 Colorless 1 1 Antique white 1 1 All gray 1 1 2 表 7 カラースタイルの使用頻度 (ユーザ B) 植物 グルメ ドリンク 人 建物 計 Sepia 0 June1 1 2 1 4 8 Smoke 0 Sandy 0 Goldenrod 0 Freshy 3 1 1 5 Foodie 0 Dark grey 2 2 4 Colorless 0 Antique white 0 All gray 1 1

表 8 カラースタイルの使用頻度 (ユーザ C) 植物 グルメ ドリンク 人 建物 計 Sepia 0 June1 0 Smoke 1 1 Sandy 1 1 Goldenrod 0 Freshy 0 Foodie 1 1 2 Dark grey 0 Colorless 0 Antique white 0 All gray 0 表 9 カラースタイルの使用頻度 (ユーザ G) 植物 グルメ ドリンク 人 建物 計 Sepia 0 June1 1 1 Smoke 0 Sandy 0 Goldenrod 0 Freshy 1 1 Foodie 0 Dark grey 0 Colorless 0 Antique white 0 All gray 0

4.4 実験 4

[実験概要] 実験 4 では，提案手法によりユーザのカ メラ角度に関する嗜好性を抽出できることを確認す る．実験 1～3 で使用した写真データを用いる．3.3 節で定義した9 つの角度のうち，図 5 に示すように， カメラの保持位置に対して垂直にあたる 30o_{, 90}o_, 135o_{, 180}o_{，および水平方向の保持位置である45}o_の 5 つの角度を使用した．写真撮影時に得られるジャ イロセンサデータは，これらの5 つの角度に分類さ れる．分類された角度の頻度に基づいて，ユーザが 嗜好するカメラ角度を判定する． 図 5 実験で使用するカメラ角度 [実験結果] 表 10 に，各ユーザのカメラ角度の使用 頻度を示す．この結果より，6 人のユーザが 90 度を 最も使用し，次いで30 度を使用したことがわかる． ユーザG は，135 度を最も使用し，他のユーザと異 なる結果になった．これらの結果は，ユーザが写真 を撮影する際に好みのカメラ角度を持っており，ま たその角度を今後も頻繁に使用する可能性が高いこ とを示していると考えられる．以上の結果より，提 案手法により，カメラ角度の使用頻度に基づいて， ユーザのカメラ角度に関する嗜好性を抽出できるこ とを確認できた． 表 10 各ユーザの好みのカメラアングル ユーザ 1 2 3 4 5 最も使用されたカメラ角度 A 2 7 12 1 0 90o B 2 8 11 0 2 90o C 0 2 1 0 0 30o D 1 3 9 1 7 90o E 0 6 7 2 0 30o F 2 3 0 0 0 30o G 4 0 1 0 2 135o

4.5 実験 5

[実験概要] 実験 5 では，提案手法により，写真に対 するユーザの関心度を抽出できることを確認する． 実験1～3 で使用した写真を用いる．実験では，(1)提 案手法，(2)頻度のみの手法，および(3)頻度と継続時 間の積をとった手法での結果を比較する．頻度のみ の手法では，ユーザが撮影した全写真集合について， 写真カテゴリの頻度数に基づいてスコアを計算する． 頻度と継続時間の積を取った手法では，写真カテゴ リの頻度数に加えて写真の撮影継続時間も考慮して スコアを計算する．各手法で算出されたスコアに従 って写真をランキングした結果に基づいて，各手法 において写真に対するユーザの関心度が抽出できる かを考察する． [実験結果] 表 11～表 17に，ユーザA～G の写真に 対する関心度のランキング結果を示す．表において， 記号C1～C5はそれぞれ，人，建物，グルメ，植物， ドリンクの各カテゴリを表している．また，図 6 は 表 11でランキングされた写真を示している．ここで は，表 11に示されるユーザ A の結果について考察 する．表 11の結果より，ユーザA は人(C1)とグルメ (C3)の写真撮影に関心が高いと判断できる．しかし， グルメ(C3)を上位にランキングできたのは，提案手法 のみで，他の手法では上位にランキングすることが できなかった．ここで，ユーザA へのインタビュー 結果から，グルメ(C3)カテゴリである写真 ID：65 の 写真は，ユーザ自身が作成したカップが撮影されて おり，ユーザA は実際にこの写真に対して強い関心 を持っていることが確認できている．これらの結果 180o 0o 90o 135o 30o 180o 0o 90o 45o 1 2 3 4 5

より，写真の頻度のみの手法や頻度と継続時間の積 を用いた手法ではユーザの嗜好性を十分に推定でき ない場合があるが，提案手法を用いることでユーザ の写真に対する関心度を適切に推定できることが確 認できた． 表 11 写真への関心度のランキング結果 (ユーザ A) 順 位 提案手法 頻度のみ 頻度×継続時間

pid C S pid C S pid C S

1 81 C1 2.058 82 C1 8 82 C1 1.452 2 82 C1 1.912 132 C1 8 149 C1 1.292 3 147 C1 1.802 140 C1 8 147 C1 1.237 4 65 C3 1.768 147 C1 8 136 C1 1.205 pid 65 81 82 132 C C3 C1 C1 C1 pid 136 140 147 149 C C1 C1 C1 C1 図 6 表 11 の写真例 表 12 写真への関心度のランキング結果 (ユーザ B) 順位 提案手法 頻度のみ 頻度×継続時間

pid C S pid C S pid C S

1 57 C2 1.778 53 C2 8 59 C2 1.483 2 53 C2 1.656 57 C2 8 57 C2 1.430 3 159 C2 1.648 59 C2 8 159 C2 1.300 4 69 C3 1.591 159 C2 8 187 C2 1.292 表 13 写真への関心度のランキング結果 (ユーザ C) 順位 提案手法 頻度のみ 頻度×継続時間

pid C S pid C S pid C S

1 44 C1 0.994 44 C1 5 176 C4 0.628 2 176 C4 0.933 148 C1 5 44 C1 0.603 3 148 C1 0.869 163 C1 5 160 C2 0.529 4 163 C4 0.843 176 C4 5 200 C2 0.503 表 14 写真への関心度のランキング結果 (ユーザ D) 順位 提案手法 頻度のみ 頻度×継続時間

pid C S pid C S pid C S

1 146 C1 1.743 145 C1 5 157 C1 0.863 2 157 C1 1.723 146 C1 5 146 C1 0.832 3 145 C1 1.661 157 C1 5 145 C1 0.779 4 198 C2 1.523 168 C1 5 164 C4 0.646 表 15 写真への関心度のランキング結果 (ユーザ E) 順位 提案手法 頻度のみ 頻度×継続時間

pid C S pid C S pid C S

1 199 C2 0.6951 174 C2 5 179 C2 0.651 2 179 C2 0.6947 179 C2 5 199 C2 0.521 3 174 C2 0.674 195 C2 5 174 C2 0.501 4 186 C2 0.597 199 C2 5 195 C2 0.501 表 16 写真への関心度のランキング結果 (ユーザ F) 順位 提案手法 頻度のみ 頻度×継続時間

pid C S pid C S pid C S

1 118 C5 2.515 104 C5 2 104 C5 0.273

2 104 C5 2.424 118 C5 2 118 C5 0.241

3 86 C3 2.264 86 C3 1 86 C3 0.078

表 17 写真への関心度のランキング結果 (ユーザ G)

順位 提案手法 頻度のみ 頻度×継続時間

pid C S pid C S pid C S

1 99 C5 4.135 90 C3 3 99 C5 0.768 2 107 C5 2.600 91 C5 3 107 C5 0.435 3 91 C5 2.025 99 C5 3 91 C5 0.353 4 90 C3 1.904 107 C5 2 90 C3 0.327

5 まとめと今後の課題

本研究では，ユーザの写真の撮影および編集行動 に基づいて写真に対する関心度を分析する方法を提 案した．本手法では，撮影している被写体に関心を 持っている場合，ユーザは，写真を撮影し編集する ために多くの時間を費やすと考えられる．そのため， そのようなユーザの写真撮影および編集行動は，ユ ーザの写真に対する関心度を抽出するための有効な 要素であると捉えることができる．実験結果より， 提案手法が写真に対するユーザの関心度を抽出する ための実現可能性を確認した． 今後の課題として，大規模の写真データを用いて， 推定精度に関する定量的評価を実施し，提案方式の 有効性を検証していく予定である．

謝辞

本研究にサポートを頂いた神奈川工科大学鷹野研 究室の築地勇人氏，笠井貴之氏，上村航平氏に深く 感謝申し上げます．

参考文献

[１] Jie Yu, Dhiraj Joshi, Jiebo Luo.: Connecting people in photo-sharing sites by photo content and user annotations, Proceedings of 2009 IEEE International Conference on Multimedia and Expo (2009)

[２] Chayma Amri, Mariem Bambia, Rim Faiz.: Behavior-Based Approach for User Interests Prediction, Proceeding

of 2017 IEEE/ACS 14th International Conference on Computer Systems and Applications (AICCSA), (2017) [３] Suler, J.R.: Camera angles, Photographic Psychology,

Image and Psyche, Conceptual photography, Mindfulness in photography, Image therapeutics, Inside the psyche, Negative space, All are invited articles appearing in the 4th edition of Richard Zakia’s Perception and Imaging, Focal Press (Elsevier), Oxford (2013)

[４] https://snapshot.canon-asia.com/article/en/camera-basics-14-position-and-angle.

[５] Zhipeng Wu,Shuqiang, Jiang, Qingming, Huang.: Friend Recommendation According to Appearances on Photos, Proceedings of the 17th ACM International Conference on Multimedia(MM '09), pp.987-988 (2009)

[６] Vincent Toubiana, Vincent Verdot, Benoit Christophe, Mathieu, Boussard.: Photo-TaPE: User Privacy Preferences in Photo Tagging, Proceedings of the 21st International Conference on World Wide Web (WWW '12 Companion), pp.617-618 (2012)

[７] Masato Kashara, Shu Li, Kosuke Takano, Kin Fun Li.: Implementation and Evaluation of a Spatial Metadata Join Method Based on Camera-Viewing Area, Proceedings of 18th International Conference on Network-Based Information Systems, pp.226-231 (2015) [８] Amandianeze O. Nwana, Tsuhan Chen.: Towards

Understanding User Preferences from User Tagging Behavior for Personalization, (2015)

[９] Keqiang Wang, Yuanyuan Jin, Haofen Wang, Hongwei Peng, Xiaoling Wang.: Personalized Time-Aware Tag Recommendation, Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18), pp.459-466 (2018)

[１０] Kosuke Takano, Saengaroon Hussaya, Im-oep Nanyakorn, Eriko Shibamoto, Xing Chen.: Photo Sharing Service for Recommending Sightseeing Places,

Proceedingsof EJC 2017, pp.409-419 (2017)

[１１] D. Goldberg, D. Nichols, B. M. Oki, and D. Terry.: “Using collaborative filtering to weave an information tapestry, Communications of the ACM, vol. 35, no. 12, pp. 61–70 (1992)

[１２] P. Resnick, N. Iacovou, M. Suchak, P. Bergstrom, and J. Riedl, GroupLens.: an open architecture for collaborative filtering of netnews, Proceedings of ACM CSCW ’94, pp. 175–186, ACM (1994)

[１３] F. Ricci, L. Rokach, B. Shapira, and P. B. Kantor, eds.: Recommender Systems, Handbook. Springer (2010)

[１４] BVLC GoogLeNet Model, https://github.com/BVLC/caffe/tree/master/models/bvlc_ googlenet [１５] Amazon.com,https://www.amazon.com/ , 2019/07/12 [１６] Spotify, https://www.spotify.com/jp/ ,2019/07/12