今後の課題

画像を自動選択する手法において，本論文では提案手法の流れと，その各処理の詳細 について述べたが，これらの組み合わせの満足度を向上させるために，楽曲と画像の特 徴量をどのように採取するかについて引き続き検討していきたい．また，MISTの一覧 表示の背景に白い色を用いているため，使用するアイコン画像のうち白が多く使われて いる画像は使用したときに小さく感じられることがある．今後はアイコンを縁取ること を検討し，その縁を特徴量に含めないようにするかについても検討したい．楽曲の意味 的特徴についても，今後は楽曲の構成として，メロディ，伴奏，対旋律にわけた上で，

それらの意味的特徴を抽出していきたい．

一覧表示の方法について，現時点では同一階層内の楽曲の表示位置は無作為であるた め，表示結果に統一性が見られないことがある．今後は同じアイコン画像を選択した楽 曲の配置を近づけるなど，一覧表示の統一性にも重点を置きたい．

また，実験に使用した楽曲コンテンツと画像コンテンツは筆者が用意したため，被験 者にとってなじみのない楽曲や，画像に不満があるなどの結果が出た．今後は被験者自 身の持参した楽曲や画像での実験が出来るよう，被験者実験の環境にも力をいれ，被験 者数を増員していきたい．

本実験で用いた可視化システムは，既存手法である「平安京ビュー」にアイコン画像 を貼り付け，ダブルクリック時に楽曲ファイルを再生する，という単純な拡張システム である．このシステムをどのように拡張することで，ユーザにとって使いやすいGUI を構築できるか，といった点についても議論を進めていきたい．

ところで，本論文の提案手法では，楽曲に印象の近い画像を選択したが，論理的に は，本システムで画像に印象の近い楽曲を選択することも可能である．これにより，写 真閲覧時などに同時に楽曲を提示することで，普段とは違った楽しみ方の提案に繋がる と考えられる．今後は提案手法とは逆の手順による実装も検討していきたい．

A _：業績

国際会議

[A: Oda07a] M. Oda and T. Itoh: ”MIST: A Music Icon Selection Technique Using Neural Network”, NICOGRAPH International 2007 (2007).

記事

[A: Saw06] 澤野弘明,小田瑞穂,ビジュアル情報処理研究会学生研究合宿2006の開催報

告, 画像電子学会誌, Vol. 35, No. 6, pp. 914-919, 2006.

国内会議

[A: Oda06a] 小田瑞穂, 伊藤貴之, 印象の近い音楽と画像の組み合わせを自動選出する

手法,情報処理学会第68回全国大会, 2N-2, 2006.

[A: Oda06b] 小田瑞穂, 伊藤貴之, MIST: 音楽に印象の合うアイコンを自動選択する一

手法,第22回NICOGRAPH論文コンテスト(2006).

[A: Oda07b] 小田瑞穂, 伊藤貴之, MIST: 音楽アイコン自動選択の一手法, WISS2007 (2007).

[A: Oda07c] 小田瑞穂, 澤野弘明, 人脈作りを重要視したVIP2006の開催報告, 情報処 理学会 グラフィクスとCAD研究会, 2007-CG-126, pp.55–60(2007-2).

合宿発表

[A: Oda05] 小田瑞穂, 印象の近い音楽と画像の組み合わせを自動選出する手法, ビジュ

アル情報処理研究合宿2005

[A: Oda06c] 小田瑞穂, 音楽に印象の合うアイコンを自動生成する一手法, ビジュアル 情報処理研究会学生研究合宿2006

[A: Oda07d] 小田瑞穂, MIST: 音楽アイコン自動選択の一手法, VIP2007

B _{：参考文献}

[B: Ike01] 池添剛,梶川嘉延, 野村康雄, 音楽感性空間を用いた感性語による音楽データ

ベース検索システム, 情報処理学会論文誌, Vol. 42, No. 12, pp. 3201-3202 (2001).

[B: Ito06] T. Itoh, H. Takakura, A. Sawada and K. Koyamada: ”Hierarchical Visualization of Network Intrusion Detection Data in the IP Address Space”, IEEE Computer Graphics and Applications, Vol. 26, No. 2, pp. 40-47 (2006).

[B: Set05] V. Setlur, C. Albrecht-Buehler, A. A. Gooch, S. Rossoff, and B. Gooch:

”Semanticons: Visual Metaphors as File Icons”, Computer Graphics Forum (ERUROGRAPHICS 2005) Vol. 24, Num. 3, pp647-656 (2005).

[B: Kolh06] P. Kolhoff, J. Preub and J. Loviscach: ”Music Icons: Procedural Glyphs for Audio Files”, IEEE SIBGRAPI’06, pp. 289-296 (2006).

[B: Got04] 後藤孝行,後藤真孝, Musicream: 楽曲を流してくっつけて並べることのでき る新たな音楽再生インタフェース,日本ソフトウェア科学会 第12回インタラクティ ブシステムとソフトウェアに関するワークショップ(WISS 2004), pp.53-58 (2004).

[B: Kaw05] 川野邊誠,亀田昌志,楽曲から受ける印象の時系列変化を考慮した楽曲から

配色へのメディア変換,芸術科学会論文誌, Vol. 5, No. 4, pp. 95-105 (2005).

[B: Tak07] 高橋もも, 小林一郎, イメージに合った楽曲推薦手法の提案, 情報処理学会

第69回全国大会, 3N-3 (2007).

[B: Sat00] A. Sato, J. Ogawa and H. Kitakami: ”An Impression Based Retrieval System of Music Collection”, Knowledge Based Intelligent Engineering Systems and Allied Technologies, Vol. 2, pp. 856-859 (2000).

[B: Kum06] 熊本忠彦，太田公子, 印象に基づく楽曲検索システムの設計・構築・公開,

人工知能学会論文誌，Vol.21，No.3，pp.310-318 (2006).

[B: Sug04] T. Sugihara, K. Morimoto and T. Kurokawa: ”An Improved Kansei-based Music Retrieval System with a New Distance in a Kansei Space”, 13th IEEE International Workshop on Robot and Human Interactive Communication, pp.

141-146 (2004).

[B: Feng03] Y. Feng, Y. Zhejiang and Y. Pan: ”Popular Music Retrieval by Detecting Mood”, 26th annual international ACM SIGIR coference on Research and development in information retrieval, pp. 375-376 (2003).

[B: Vign05] F. Vignoli and S. Pauws: ”A Music Retrieval System Based on User Driven Similarity and Its Evaluation”, 6th International Conference on Music Information Retrieval, pp. 272-279 (2005).

[B: Oya07] 大山喜冴,伊藤貴之, DIVA：画像の印象に合わせた音楽自動アレンジの一手

法の提案, 芸術科学会論文誌, Vol. 6, No. 3, pp. 126-135 (2007).

[B: Kog99] 古賀広昭, 下塩義文, 小山善文, 画像に合った音楽の選定技術， 映像情報メ

ディア学会技術報告, Vol. 23, No. 59, pp. 25-32 (1999).

[B: Kit03] 北島吾郎, 土居元紀, 画像と音楽の分類と相互検索, 第47回システム制御情

報学会研究発表講演会講演論文集, pp. 157-158 (2003).

[B: Kit04] 北島吾郎, 土居元紀, 相互検索のための画像と音楽の印象語を介した関連付

け手法, 第20回ファジィシステムシンポジウム講演論文概要集, 3E3-3 (2004).

[B: Nak06] T. Nakanishi and T. Kitagawa: ”An Implementation Method of a Heterogeneous Associative Media Data Search for Music Data and Image Data”, 24th IASTED International Conference on Database and Applications, pp. 143-152 (2006).

[B: An00] 安居院猛, 長尾智晴, C言語による画像処理入門, ISBN4-7856-3124-4 C3055 (2000).

[B: Gom07] 五味愛,伊藤貴之, Jia Li, CAT:大量画像の一覧可視化と詳細度制御の一手 法, 画像電子学会Visual Computing / 情報処理学会グラフィクスと CAD 合同シ ンポジウム, pp. 1-6 (2007).

[B: Kem07] 建部明香, 伊藤貴之, 3次元CGアニメーションデータの分類結果の可視化 の一手法, 第35回可視化情報シンポジウム (2007).

[B: Ots03] 大塚玲朗，梶川嘉延，野村康雄，PCMデータに対応した感性語による音

楽データベース検索システムに関する研究，第14回データ工学ワークショップ

（DEWS2002），8-P-5 (2003-03).

[B: Nak05] 中澤篤志, 白鳥貴亮, 池内克史，観察に基づく音楽およびモーションキャプ

チャデータからの舞踊動作生成手法，画像認識と理解シンポジウム2005, pp.1137-1144, 2005.

[B: Nis07] 西山正紘, 北原鉄朗, 駒谷和範, 尾形哲也, 奥乃博, マルチメディアコンテン

ツにおける音楽と映像の調和に関する分析, 情報処理学会第69回全国大会, 2N-6, Mar. 2007.

[B: MIR] http://users.jyu.fi/ lartillo/mirtoolbox/

[B: VIP] http://itolab.is.ocha.ac.jp/vip2007/

付録

プログラムの説明

特徴抽出

画像

プログラムはC言語である．縦横48画素に小さくしたBMPファイル形式の画像を 用意する．これのファイル名をact.c内に記入する．出力は，画素数最多の色および最 鮮色のRGB値とYCbCr値である．

楽曲

プログラムはMATLAB言語である．音場感に基づく特徴はtone.mファイルに，音 楽的意味に基づく特徴はmean.mファイルにソースを示す．実行は拡張子付きファイル 名と時間を入力する．ただしここでの時間の単位は秒とする．

ニューラルネットワーク

学習用の誤差逆伝播法のプログラムは BPlearn.c に，階層型神経回路網計算は

NNrecog.cに該当する．まず，学習用プログラムに学習用ファイルfoo.lrnファイルを読

ませる．出力は結合荷重データのfoo.nnファイルである．回路網計算には，結合荷重 データと，未知の楽曲および画像コンテンツの特徴値をfoo.datファイルとして入力す る．出力は感性語の数値をfoo.txtファイルとして出力する．

なお，学習用ファイルfoo.lrnと追加コンテンツファイルfoo.datの冒頭には，入力層 ユニット数+1，中間層ユニット数+1，出力ユニット数，教師信号データ総数を入力す る．本論文に沿わせると上記の項目は，特徴量の変数+1，中間層ユニット数+1，感性 語数，楽曲および画像のサンプルコンテンツ数である．学習用ファイルには，各特徴値 とその感性語を，追加コンテンツファイルには各特徴値を羅列する．