サウンドと映像によるメディアパフォーマンスのた
めのシステム開発とその表現
著者
平野 砂峰旅
学位名
博士（工学）
学位授与機関
関西学院大学
学位授与番号
34504甲第481号
URL
http://hdl.handle.net/10236/12621
関西学院大学大学院 理工学研究科
2013
年
4
月
博士論文
サウンドと映像によるメディアパフォーマンス
のためのシステム開発とその表現
平野砂峰旅
（情報科学専攻）
3
概要
本論文は，映像，サウンド，パフォーマンスが融合したメディアパフォーマンスを実現するため， ２つのメディアパフォーマンスシステム“Phenakistoscope Player”と“MoPH”を開発し，コン サート，デモンストレーション演奏，ワークショップを行い，その評価を通して，メディアパフォー マンスシステムのデザインとそのシステムによって可能になる表現について論じるものである． 芸術表現としてのパフォーマンスには，ダンス，音楽，演劇など様々な形態の表現がある．その ひとつに，電子メディアとパフォーマンスが融合したメディアパフォーマンスがある．メディアパ フォーマンスには，ダンスや演劇による身体表現をベースに電子メディアが融合した表現と，電子 メディア自体を観客の前でリアルタイムに操作し演奏する表現に分類することができる．本論文で は，後者のメディア自体を演奏する表現に焦点をあてて論じる．映像やサウンドを演奏するために は，コンピュータ，映像機器，音響機器によるシステムを構築し，そのシステムを演奏する必要が ある．システムの演奏は，観客から見れば単にコンピュータや装置のつまみを操作しているだけで あり，映像やサウンドの変化と演奏者が行っている操作の関係がわからないということが指摘され ている．こうした状況のもとでは，「ギターの速弾きの演奏を見て感動する．」ようなことは起こり えず，演奏の魅力が失なわれてしまうことが問題になっている．この問題の解決には，演奏とサウ ンド，映像との関係を，観客にわかるように見せることが必要である．そのために，演奏を見せる ためのインタフェースデザインが重要だと考えられる．そこで，ターンテーブル（レコードプレー ヤ）をインタフェースに用いた“Phenakistoscope Player”とマルチタッチインタフェースを用い た“MoPH”の２つのシステムを開発し，こうした問題の解決に取り組んだ． メディアパフォーマンスシステムにおけるデザインの要件を明らかにするために，世界的に評価 の高い４つのメディアパフォーマンス作品を分析した．その結果，「メディアパフォーマンスが理 解されるためのシステムと作品のデザイン」，「観客に見せるためのインタフェースデザイン」，そ して「操作がわかりやすいインタフェース」が，その要件として浮かび上がった．これらの要件を 踏まえて，従来楽器のターンテーブルを実世界指向インタフェースとして用いて，観客に操作の意 味がわかりやすいシステムを目指した“Phenakistoscope Player”と，直感的なインタフェースと してマルチタッチインタフェースで演奏者の操作がわかりやすく，物理シミュレーションによって システムの動作を観客に見せようとした“MoPH”を開発した． 「メディアパフォーマンスが理解されるためのシステムと作品のデザイン」については，ハード ウエア，ソフトウエア，インタフェース，作品，全てのデザインにかかわるメディアパフォーマン スシステムの問題と認識して“Phenakistoscope Player”，“MoPH”のシステムを開発し，作品の 制作と演奏を行った．そして，コンサート及びデモンストレーション演奏の観客の反応とインタ ビューによって評価を行い，両システムにおいて，「演奏とサウンド，映像の関係が観客に理解さ れる」という要件を満たしていることを確認した． “Phenakistoscope Player”では，そのインタフェースにターンテーブルを用い，その上に驚き盤4 を置き，ターンテーブルを演奏することで，驚き盤が映像として提示される仕組みを考案し，ター ンテーブルの演奏とリンクした驚き盤の映像を観客に見せることで「観客に見せるためのインタ フェースデザイン」の解決を試みた．コンサートの観客やワークショップの参加者にインタビュー し，効果が得られたことが確認できた． “MoPH”では，直感的で操作しやすいマルチタッチインタフェースを用い「操作がわかりやす いインタフェース」の解決を試みた．一般ユーザと音楽家にアンケートを実施した結果，いずれも ５分程度の短時間で使い方を理解し，わかりやすいインタフェースであることがわかった．また， 「観客に見せるためのインタフェースデザイン」について，マルチタッチインタフェースでの操作 と物理シミュレーションによる発音状況を観客に見せるという形でのシステム実装を行い，デモン ストレーション演奏と観客のインタビューより，効果があったことがわかった． コンサート，ワークショップそして試奏におけるシステムの利用実績から，パフォーマンスシス テムだけではなくコンテンツの構成や演奏表現も含めて考察した．メディアパフォーマンスシステ ムを楽器として，そして映像表現を楽譜として捉え，演奏，映像，サウンドの関係について考察し， 映像表現が観客に見せるためでなく，創作する際のツールとして有用であるという論を展開した． パフォーマンスシステムは，簡単に使用できるとともに熟練によって多彩な表現ができるようにな る必要があることを，アコースティック楽器の例を挙げながら論じた．また，メディアパフォーマ ンスの作品を構成するにあたり，演奏と映像，サウンドそれぞれの構成だけではなく，それらの関 係性がどの程度，観客に理解されるかを時間的に変化させて構成する必要性について述べた．メ ディアパフォーマンスとメディアインスタレーションの相違点を考察し，いずれの場合でも，簡単 に操作（演奏）できるとともに，ずっと使っていたいと感じさせるデザインの重要性について論じ るとともに，本システムのメディアインスタレーションへの応用を検討した．また，最新の多点入 力インタフェースを本システムに採用することによる，新たな表現の可能性について検討した．最 後に，今後の取り組むべき課題について述べた．
5
目 次
概要 3 第 1 章 序論 7 1.1 メディアパフォーマンス . . . . 7 1.1.1 電子メディア以前のパフォーマンス . . . . 8 1.1.2 音楽とメディアパフォーマンス . . . . 9 1.1.3 メディアパフォーマンス制作の技術的背景 . . . . 11 1.2 研究の目的 . . . . 12 1.3 論文の構成 . . . . 13 第 2 章 メディアパフォーマンスシステムに求められる要件 15 2.1 メディアパフォーマンス作品の検討 . . . . 15 2.1.1 メディアパフォーマンス作品の概要 . . . . 15 2.1.2 演奏・サウンド・映像の関係 . . . . 18 2.2 演奏インタフェースの課題 . . . . 21 2.3 メディアパフォーマンスシステムデザインの方向性 . . . . 21 第 3 章 Phenakistoscope Player の開発 25 3.1 システムの狙い . . . . 25 3.2 驚き盤の原理と関連研究 . . . . 26 3.3 デザインコンセプト . . . . 27 3.4 システム構成 . . . . 28 3.4.1 システムの概要 . . . . 28 3.4.2 ソフトウエア . . . . 30 3.4.3 操作仕様 . . . . 31 3.5 実施例と考察 . . . . 33 3.5.1 作品 SightSound -Phenakistoscope- の概要 . . . . 33 3.5.2 コンサートとしての実施例 . . . . 34 3.5.3 ワークショップ等での実施例 . . . . 36 3.5.4 実世界指向インタフェースとしての P.S.player . . . . 37 3.5.5 今後の課題 . . . . 38 3.6 まとめ . . . . 386 第 4 章 MoPH の開発 39 4.1 システムの狙い . . . . 39 4.2 関連研究 . . . . 40 4.3 デザインコンセプト . . . . 41 4.4 システム構成 . . . . 42 4.4.1 システムの概要 . . . . 42 4.4.2 ソフトウエア構成 . . . . 42 4.5 ソフトウエア . . . . 43 4.5.1 操作仕様 . . . . 43 4.5.2 サウンドマッピング . . . . 46 4.6 使用事例と考察 . . . . 47 4.6.1 一般ユーザの使用体験 . . . . 48 4.6.2 デモ演奏を通じた検証 . . . . 48 4.6.3 音楽家による試奏 . . . . 49 4.6.4 著者による試奏 . . . . 50 4.6.5 今後の課題 . . . . 51 4.7 まとめ . . . . 51 第 5 章 考察 53 5.1 メディアパフォーマンス作品制作と演奏の視点からのデザイン . . . . 53 5.1.1 映像とサウンドの対応関係 . . . . 55 5.1.2 楽譜としての映像と演奏の記述 . . . . 55 5.1.3 演奏の習熟が可能なシステム . . . . 57 5.1.4 演奏行為の提示と作品構成 . . . . 58 5.2 メディアインスタレーションへの応用 . . . . 61 5.2.1 メディアインスタレーションのインタフェース . . . . 61 5.2.2 作品としてのメディアインスタレーションシステム . . . . 62 5.3 展望と今後の課題 . . . . 63 5.3.1 新インタフェース技術の検討 . . . . 63 5.3.2 今後の課題 . . . . 64 第 6 章 まとめ 67 謝辞 69 参考文献 69 業績リスト 77
7
第
1
章 序論
身体表現をライブで見せる芸術表現としてのパフォーマンスには，ダンス，音楽，演劇など様々 な形態の表現がある．ビデオ，CG，電子音響といった電子メディアの登場とともに，これらがパ フォーマンスに活用されるようになってきた．例えば，コンサートの背景として映像が用いられる のは，日常的になりつつある．こうした電子メディアの利用は，従来のパフォーマンスを構成す る要素の一部分を電子メディアで置き換えただけであり，電子メディア自体が必要不可欠な要素 とはなっていない．電子メディアの発達に伴い，1980 年頃からパフォーマンスと電子メディアが 融合した芸術表現であるメディアパフォーマンスが上演されるようになった．2000 年頃からコン ピュータの処理能力向上により，市販の PC を用いたメディアパフォーマンスの制作が可能とな り，メディアパフォーマンスが上演される機会が増加し，その表現の幅も拡大した． 本論文では，演奏によってサウンドや映像を生成あるいは制御するメディアパフォーマンスを 上演するシステムを開発，そしてそのシステムを用いたワークショップ，コンサート，デモンスト レーション演奏の実施について述べる．ワークショップに参加したユーザへのアンケートとコン サート及びデモンストレーション演奏の観客へのインタビューを実施し，そこで得られた知見をも とに，メディアパフォーマンスシステムと作品のデザインについて論じる． 以下，本章では，本論文で扱うメディアパフォーマンスについて述べ，次にメディアパフォーマ ンスシステム開発の技術の背景について述べる．そして本研究の目的を説明する．また，本論文の 構成について述べる．1.1
メディアパフォーマンス
メディアパフォーマンスとは，字義どおり，メディアの中でも特にビデオ，CG，コンピュータ 音楽などの電子メディアを活用したパフォーマンス表現である．しかし，電子メディア，パフォー マンスという語彙はいずれも幅広い内容を含んでいて，その組み合わせによる表現は多種多様で ある．メディアパフォーマンスをパフォーマンス表現と考えると，音楽，演劇，ダンスというパ フォーマンス表現に電子メディアによる表現が加わったととらえることができる．電子メディアを 積極的に使用した芸術表現であるメディアアートの立場からは，メディアパフォーマンスはメディ アアートに含まれる表現形式の一つとしてみることができる．美術館やアートギャラリーで展示さ れるメディアインスタレーション，コンピュータネットワークを用いたネットワークアート，コン ピュータを用いた観客参加型のインタラクティブアートと多様な表現があるメディアアートの中 で，パフォーマンス作品として上演されるのがメディアパフォーマンスである．そして，メディア パフォーマンスにおける電子メディアとして，映像とサウンドが多く使用されている．これは，映 像とサウンドがいずれも，時間芸術の表現であり，パフォーマンス表現もまた時間芸術であるため8 第 1 章 序論 だと考えられる．また，サウンドと映像を扱う映画，テレビといったメディアが広く一般に普及し ていて，それらを制作するための電子機器やソフトウエア等の制作環境を容易に入手できることも 理由として挙げられる．ここまでに述べたメディアパフォーマンスとメディア，パフォーマンス， メディアアートの関係を図 1.1 に示す．
メディア
パフォーマンス
演劇 音楽 [パフォーマンス] ダンス 上演 展示 上映 サウンド 映像 [メディア]＋
[メディアアート] 図 1.1: メディアパフォーマンスとメディア，パフォーマンス，メディアアートとの関係 映像とサウンドを用いたメディアパフォーマンスを実現するためのシステムには，楽器，音響機 器，映像機器と，それらを操作するためのコントローラが必要となる．1980 年代までは，多数の 音響機器，映像機器を組み合わせて演奏システムを実現していたが，コンピュータの小型化，高性 能化により，音響機器，映像機器が次第にコンピュータとそのソフトウエアに置き換わっていっ た．それにつれて，システムを制御するコントローラは，専用のハードウエアから汎用のセンサ， そして市販のコンピュータインタフェースへと変化していった．最近では，コントローラとして， ゲーム用インタフェースやスマートフォン等も利用されるようになった． メディアパフォーマンスは様々な要素を内包する表現である．そこで，メディアパフォーマン スの背景に関して以下の観点から述べる．はじめに，電子メディア以前の光，フィルム，アニメー ションを用いたパフォーマンス表現とメディアアートについて述べ，次にステージや音楽演奏の延 長線上にある表現について述べ，最後にメディアパフォーマンスシステムの技術的側面について述 べる．1.1.1
電子メディア以前のパフォーマンス
現在のメディアパフォーマンスの原点は，メディアパフォーマンスという言葉も概念もなかった 18 世紀に，映像装置を用いて映像や光をリアルタイムに操作するショーで，現在の映像パフォー マンスに相当する表現であると考えられる．ここでは，電子メディア以前の映像パフォーマンスの 歴史について説明する．1.1. メディアパフォーマンス 9 映像パフォーマンスの歴史は，映画やビデオといった映像メディアが発明される以前に遡る．光 を操作する初期の装置として，18 世紀前半に製作された視覚的ハープシコード (clavecinoculaire) が挙げられる．これは，1 オクターブに相当する 12 の鍵盤があり，それぞれの鍵盤を押すことに よって異なる色の色紙を通した蝋燭の光が小窓から見える仕組みで，鍵盤に特定の色が割り当てら れており，音楽の演奏のように鍵盤を操作することで色光を制御する装置であった．その後，鍵 盤で色光を制御する装置はカラーオルガンと呼ばれ，20 世紀前半まで様々な形態のものが製作さ れた [44]．カラーオルガンは音楽とともに演奏されることも多く，スクリャービンの交響曲第５番 “プロメテウス”では，楽譜の中にカラーオルガンのパートが記されていた． カラーオルガンとは異なり，幻灯機等の光源を動かす光の演出も存在した．18 世紀末フランスに おける複数の幻灯機を用いた幽霊ショーであるファンタスマゴリーは，複数の幻灯機を移動させる ことによる画像の移動，重ね合わせ，切り替えなどを用いた初期の映像パフォーマンスと言える． アニメーションを鑑賞する装置として，驚き盤（Phenakistoscope：第 3 章 2 節で詳述）が発明 され，その後，驚き盤を改良したゾートロープが発明された．19 世紀にヨーロッパ，アメリカで 流行したこれらの装置は，観客が自ら上映速度を変化させることができるため，原始的なインタ ラクティブ映像装置とみなすことができる．こうした映像装置は，1980 年代以降，新しいテクノ ロジーを利用した映像装置によるメディアアートの作品に引き継がれて行く．1985 年の岩井によ る“時間層 ll”がその代表例である [37]．“時間層 ll”では，ストロボライトやテレビモニタの点滅 によって，回転する円盤上のオブジェが動いて見える．また 1997 年の Gregory Barsamian による “Juggler[41]”では，円盤のかわりに立体物を空間的に配置し，これを高速で回転させるとともに， ストロボライトを使うことで立体のアニメーションを実現している． 映像装置の中には，映像と同時に音を提示できるものもあった．例えば，昭和初期にベビートー キー [47] という日本オリジナルの動画と音を同時に楽しめる機器が考案されている．これは，ゾー トロープを蓄音機に乗せたもので，蓄音機のターンテーブルの回転によりレコード盤とともにゾー トロープを回転させていた．しかし，こうした映像機器による上演は，リュミエール兄弟の発明に よる映画にとって変わられる．映画の発明によって，映像はインタラクティブメディアから，再生 されるメディアへと変化していった．しかし，映像としては再生されるメディアになっても，映画 が発明された初期の頃は，音楽の生演奏と共に上映されることが多かった．また，サイレントの商 業映画の場合も，映画フィルムとともに楽譜が準備され，劇場では音楽の演奏を伴って上映されて いた．その後，1925 年にフィルムに音が記録できるトーキー映画が発明されてからは，映画から 音のパフォーマンスの要素はなくなり，音楽の生演奏を伴う上映はなくなっていった．
1.1.2
音楽とメディアパフォーマンス
前節で述べた“プロメテウス”に限らず，音楽と共に色や光を演奏する様々な試みがなされてき た．そして，1950 年後半から，芸術の分野でサウンドと映像パフォーマンスが融合したメディア パフォーマンスの原型といえる作品が見られるようになった．作曲家 Henry Jacobs と映画作家の Jordan Belson による“ボルテックス・コンサート”がその初期のもののひとつである．“ボルテッ クス・コンサート”は 1957 年から 1960 年にかけてサンフランシスコのモリソン・プラネタリウム で開催された音楽と映像と光の総合パフォーマンスで，プラネタリウム内部で行われた，70 台の スライドプロジェクタ，映画，ストロボスコープ，電子音楽を駆使した 50 分の作品であった．日10 第 1 章 序論 本では，1970 年の大阪万博で，鉄鋼館をはじめとした多くのパビリオンでマルチプロジェクショ ンや映像と音響の融合した表現が試みられた．この頃までは，映像は電子メディアでなく，フィル ムや光のパフォーマンスであったので，厳密にはメディアパフォーマンスと呼べないが，その表 現された様子はメディアパフォーマンスと遜色のないものであった．オーストリアのリンツでは 1979 年からメディアアートの国際展覧会である Ars Electronica が始まり，1981 年にはドナウ川 を舞台にした，冨田勲らによる電子音楽とレーザ光線，映像が同期した大規模なコンサートが開 催された．1985 年，筑波万博のジャンボトロンを用いた RADICAL TV1と坂本龍一による“TV war”は，CVI(次節参照）やサンプリングシンセサイザを使用し，ライブでのビジュアルエフェク トやライブサンプリングなど現在のメディアパフォーマンスと大差ない形式を持つ，当時の日本で は最先端かつ最大規模のメディアパフォーマンスであった． 次に，商業音楽のコンサートにおける映像パフォーマンスについて述べる．映像パフォーマンス は，1960 年後半頃から，ビジュアルアーティストの Mark Boil によって，Soft Machine や Jimi Hendrix といったロックミュージシャンのコンサートで用いられ始めた．彼の映像パフォーマンス は，フィルムプロジェクションが中心で，カラフルな化学反応や昆虫，植物を撮影した素材を拡大 して投影していた．この時期の映像パフォーマンスは，音楽のリズムに合わせて映像を加工したり という表現には至らなかった．
1970 年代後半，Kraftwerk や Jean-Michel Jarre など電子楽器を多くとりいれた音楽のコンサー トで，レーザ光線とカラフルなビジュアルの映像パフォーマンスが行われるようになった．1990 年以降，コンサートにおける大型映像の投影が増加するとともに，映像パフォーマンスは一般的に なっていった．映像素材には，コンサートに出演するミュージシャンのプロモーション映像や演奏 中の映像を中心としたものが多く使われていた．2000 年頃から，コンサートの映像パフォーマン スを VJ2アーティストが担当するようになってきた．このことは，コンサートでの映像表現が演奏 される映像として認識されるようになってきたことを示している．そして最近では，Perfume や嵐 などのステージにおいて，リアルタイム CG や AR(Augmented Reality) の技術が映像パフォーマ ンスに導入され，ミュージシャンの動きにあわせて映像が合成されるなど，ミュージシャンの動き と映像パフォーマンスが融合した表現が見られるようになった． 上記のようなイベントやコンサートとは別に，1970 年代後半よりクラブシーンにおいても映像 パフォーマンスが行われてきた．当初はライトの演出であったり，あらかじめ用意していたイメー ジ映像を切り替えたりするといった単純な操作であった．1980 年代後半から，日本では，クラブ， ディスコ等に大型の映像投影装置が導入されはじめ，DJ による音楽にあわせた映像パフォーマン スが見られるようになった．そして，1990 年代後半には，クラブシーンの中で VJ アーティストの 存在が知られるようになった．当時の VJ パフォーマンスは，DJ の演奏する音楽のための映像表 現であり，その映像自体を観客に鑑賞してもらうよりも，映像によってクラブの空間を演出するこ とを求められていた．2000 年代に入ると，VJ パフォーマンスは，次第に一般に認知されるように なり，それと共に VJ パフォーマンス用の機器やソフトが発売されるようになった．2000 年代半 ば頃から，あらかじめ用意した映像素材を加工，合成するのではなく，コンピュータでリアルタイ 11985 年に結成された，CG アーティストの原田大三郎と庄野晴彦によるビデオパフォーマンスユニット．
2VJ(Visual Jockey)：1970 年代後半から，アメリカのニューヨークのクラブで使われ始めた言葉で，DJ(Disk Jockey)
が，複数のレコードをミックスして，クラブ，コンサートで，演奏するように，あらかじめ制作した映像やリアルタイム CG を組み合わせて，音楽や DJ に合わせた映像を作りだす表現，あるいは表現者の意味．本論文では，前者を VJ パフォーマ ンス，後者を VJ アーティストとして区別する．
1.1. メディアパフォーマンス 11 ムに生成された CG を使用する表現も見られるようになった．この頃から，VJ パフォーマンスで 使用するオリジナルのソフトウエアを開発する VJ アーティストも見られるようになってきた．現 在，VJ パフォーマンスが DJ パフォーマンスのための空間演出という立場から，DJ パフォーマン スと対等の表現に変わりつつある． ここまで見てきたことから，音楽における演出としての映像パフォーマンスは，次第に音楽と対 等の関係になり，現在では２つが融合したメディアパフォーマンスと呼べる表現に変わりつつある ことがわかる．
1.1.3
メディアパフォーマンス制作の技術的背景
1965 年に家庭用のビデオテープレコーダが発売されると，すぐさまナムジュン・パイクらによっ て，ビデオが映像パフォーマンスに使用されるようになった．しかし，1960 年代まで映像パフォー マンスには，主にフィルムや映写機が使用されていた．1970 年代には映像パフォーマンスのため の機器は一般に発売されておらず，Steina and Woody Vasulka は独自のビデオシンセサイザを開 発し，そしてビデオアーティストのナム・ジュン・パイクはエンジニアの阿部修也とともにビデオ シンセサイザやビデオエフェクタを開発し，それぞれが自らの作品制作に使用していた．しかし， そのように機材から開発して作品制作を行うアーティストは僅かであった．1980 年代になると映像パフォーマンスにも利用可能な製品が発売された．1983 年，オースト ラリアの Fairlight 社から，可搬型の DVE(Digital Video Effector) として CVI(Computer Video Instruments) が発売された．CVI の映像処理はアナログで行われ，その制御にはコンピュータが用 いられていた．CVI は，リアルタイム映像処理の特性が評価され，映像パフォーマンスにも用いら れた．また 1990 年に発売された Amiga コンピュータ用のビデオボード Video Toaster は，映像加 工，編集用のコンピュータシステムで，リアルタイムのデジタル画像合成，編集が可能なシステム を構築できたために，映像パフォーマンスにも利用された．1990 年代中頃から，SilliconGraphics 社の 3DCG に特化した Workstation が 100 万円前後で発売され，メディアパフォーマンスにも利 用されるようになってきた．この頃は，メディアパフォーマンスに適したソフトウエアはほとんど 市販されておらず，作品制作のための専用プログラムの開発が必要であった．しかし，メディアパ フォーマンスに適した開発環境は少なく，Pd(Pure Data)[60] とそのための 3DCG ライブラリで ある GEM[22] 以外は普及しなかった． 1990 年代後半ハードウエアでは，MIDI に対応した ROLAND 社のビデオミキサ V-5 が発売さ れ，シンセサイザやシーケンサなどの電子楽器から容易に制御することができ，メディアパフォー マンスにも利用されていた．ソフトウエアでは，STEIM3から映像パフォーマンス用の DVE ソフト ウエアとして Image/ine[35] 等も販売された．また，コンピュータの音楽再生ソフトに，Visualizer の機能が搭載されるようになった．この機能によって，再生される音楽のサウンドレベルやスペク トルによって抽象的なグラフィックスが変化していく映像を得ることができた． 2000 年代には，ハードディスク上に記録された映像素材をリアルタイムで合成，加工できる VJ パフォーマンス専用のソフトウエア MotionDive は，専用のコントローラとともに販売され，現 在でも多くの VJ アーティストに利用されている．また，DVD をターンテーブルのように演奏で 3オランダのアムステルダムにある，電子音響音楽のための新しい電子楽器やインタフェースの開発，研究，調査を行う 研究機関．
12 第 1 章 序論 きる DVJ4が発売された．2010 年以降，HD 映像による画質の高精細化が進む一方，ヤマハ社の Visual Performer[70] など，多くのスマートフォンやタブレット PC などのモバイル端末を用いた オーディオビジュアルパフォーマンス用のソフトウエアが発売されている． コンピュータは，ハードウエア性能の向上とともに，そのインタフェースの種類も増加してい る．マウス，キーボードといった従来のインタフェースに加えて，マルチタッチのパッドインタ フェース，ゲーム用の NINTENDO 社の Wii リモコンや Microsoft 社の Kinect なども，身体の動 きを捉えられることから，パフォーマンスに適したインタフェースとして注目されている．また， スマートフォンやタブレット型コンピュータも入出力インタフェースとして，あるいは電子楽器や 映像機器として，メディアパフォーマンスに利用され始めている． メディアアートやメディアパフォーマンスのソフトウエア開発環境も充実してきた．市販のコ ンピュータがメディアパフォーマンスに使用されるようになった 1990 年代には，Director という CD-ROM のオーサリングソフトウエアが開発に使われていた．その後 Web コンテンツ製作用の Flash も開発に利用されていた．2000 年代前半には，これまで音楽用途のグラフィックプログラミ ングソフトウエアとして発展してきた MAX/MSP に，グラフィックスライブラリの Jitter が加わ り，アーティストがメディアパフォーマンスのためのプログラムを直感的に行うことが可能になっ た．Java ベースのプログラミング環境 Processing[59] によって，プログラミングの初心者が，グ ラフィック，映像，サウンドやインタラクティブアートのプログラム作成を容易にできるように なった．最近では，C++ベースの開発環境である OpenFrameworks[55] により，さらに高速で動 作するソフトウエア開発が可能になっている． ここまで述べてきたように，メディアパフォーマンスにおいて，1990 年代後半以降，コンピュー タの処理能力の向上により，映像を音楽のように演奏することが技術的に可能となり，2000 年以 降，さらなるマシンパワーの向上と，ソフトウエア開発環境や専用のハードウエアの充実，そして インタフェースの多様化に伴い，映像とサウンドを同時に演奏するという表現手法が可能になっ た．さらなるコンピュータの低価格化と高性能化により，複数のアーティストと技術者そして高額 な映像機器や音響機器を必要とするプロジェクトベースでしか制作できなかったメディアパフォー マンスは，コンピュータによる個人ベースでの制作が可能な表現に変化してきた．
1.2
研究の目的
メディアパフォーマンスには多様な表現形式があり，既存の映像機器，音響機器を組み合わせた もの，独自の装置やソフトウエアを用いたもの等，表現に応じたハードウエアとソフトウエアを用 いた様々なシステムが考案されてきた．そうした中，音楽と映像の組み合わせによるパフォーマン スは映像装置や映画の黎明期から始まり，コンサート映像，クラブシーンなど多くの場面でみられ るようになっていった．そして，近年のコンサートにおける音楽演奏とコンサート映像の融合によ り，メディアパフォーマンスと呼べる表現が見られるようになった．メディアパフォーマンスシ ステムは，多数の映像機器，音響機器を用いた大掛かりなシステムから，近年の電子技術の進歩に より，コンピュータを核にした映像とサウンドを再生，生成，合成する形態に変わりつつある．映 像機器，音響機器，コンピュータを使用するシステムでは，その操作とサウンド，映像の関係がわ 4DVD に記録されたサウンドと映像をターンテーブルのように自由に再生できる装置. もともとパイオニア社の商品名 であるが，現在は一般に VJ パフォーマンス用の DVD プレーヤを意味する語として使われている．1.3. 論文の構成 13 かりにくいため，演奏者（操作者）の動作の意味が観客にわからず，パフォーマンスの魅力が失わ れる． 従来のコンピュータで用いられてきたキーボード，マウス以外のより直感的に使用できるインタ フェースも普及しつつある．コンピュータの利用によりシステムがコンパクトになるとともに，コ ンピュータソフトウエアの開発によって多様な表現が実現できるシステムが開発されるようになっ た．直感的なインタフェースの利用により，演奏者の操作（演奏）の意図と演奏によって産み出さ れるサウンドと映像の効果が，観客にわかりやすいようなシステムの開発を目指す． これまでのメディアパフォーマンスは，VJ パフォーマンスと DJ パフォーマンスのように映像 とサウンドを個別に作成し，それらを組み合わせる形態が主流であった．その原因として，映像と サウンドという異なるメディアであるため，それぞれが個別に制作されていること，そして，映像 とサウンドを同時に演奏するシステムが少ないことが挙げられる．そこで，本研究では，サウンド と映像の両方を同時に演奏できるようなシステムを提案する．そして，音楽家が楽器を演奏するよ うに，サウンドと映像を直感的に演奏できる楽器のようなシステムを目指す． システムのユーザは，メディアアーティスト，音楽家，パフォーマとし，実際の作品制作に使用 できるシステムを目標に開発を行う．システムが使用される環境としては，楽器を演奏する場合と 同様に，劇場や舞台で演奏者がメディアパフォーマンスシステムを演奏し，それを観客が鑑賞する 形式を設定する．サウンドの演奏と映像の演奏の関係だけでなく，演奏されたサウンドと映像のイ ンタラクションを含んだシステムを目標としたパフォーマンス（演奏），インタラクティブなサウ ンドと映像表現が統合されたシステムの開発を通して，メディアパフォーマンスシステムのデザイ ンについて論じ，そのシステムを使用した作品制作にも言及する．こうした議論を通じて，メディ アパフォーマンスの演奏，サウンド，映像の関係性を明らかにし，本論文が，発展中のメディアパ フォーマンスシステムをデザインするときの指針となることを目標とする．
1.3
論文の構成
本論文は本章も含めて 6 章からなる． 第 2 章では，メディアパフォーマンス作品を分析し，本研究で開発するメディアパフォーマンス システムデザインの方向性について述べる． 第 3 章では，実世界指向インタフェースとしてターンテーブルを用いた，Phenakisto Player の 開発とその作品制作について述べる．また，コンサートとワークショップにおける，Phenakisto Player のインタフェースと映像，サウンドの表現に関する考察を行い，最後にまとめを述べる． 第 4 章では，マルチタッチインタフェースと物理シミュレーションを利用した MoPH の開発と その一般ユーザおよび音楽家による試奏による評価について述べる．またデモ演奏における，観客 によるメディアパフォーマンスの理解について検討し，最後にまとめを述べる． 第 5 章では，3 章，４章を総括してパフォーマンスシステムのデザインと作品制作について考察 する．また，メディアパフォーマンスシステムからメディアインスタレーションへの応用について 述べる．そして，最新のインタフェースを本システムに用いた場合の可能性について検討し，今後 の課題について述べる．第 6 章は，本論文全体のまとめとする．15
第
2
章 メディアパフォーマンスシステムに求
められる要件
メディアパフォーマンスとメディアパフォーマンスシステムの関係は，音楽演奏と楽器の関係に 例えられる．ピアノ曲をギターで演奏するのは困難であり，またピアノとギターは異なる演奏動作 を必要とする．楽器と楽曲と演奏は密接な関係を持つように，メディアパフォーマンスもシステム と作品と演奏には密接な関係があり，システムが異なると，作品の制作，パフォーマンス（演奏） が大きく変化する．メディアパフォーマンスシステムのデザインに求められる要件を検討するに あたり，既存のシステムだけを検討するのでは，そのシステムの機能が演奏表現や作品にどのよう な効果をもたらしているわかりにくい．そこで，評価の高いメディアパフォーマンス作品を検討す ることによってどのような表現が優れているかを見いだし，その表現を実現するシステムに必要な 要件を明らかにする．特に，演奏によってサウンドと映像がどう変化しているかに留意して検討す る．また，演奏がどのようにしてシステムに入力されサウンドと映像に変化を与えているのかと いった点にも着目していく．2.1
メディアパフォーマンス作品の検討
サウンドと映像を同時に演奏している国際的に評価の高いメディアパフォーマンス作品の事例 を挙げ，メディアパフォーマンスの表現に要求される事項を検討する．ここでは，以下の観点から 事例として４つの作品を選択した．第一に，様々なパフォーマンスシステムとその表現が検討でき るように，身体全体で表現する作品，従来の楽器を利用した作品，既存のメディアを組み合わせて 利用した作品，コンピュータや映像機器を操作する作品といった異なる種類のインタフェースある いは表現の作品を選択した．また，作品内容については，ストーリー展開のない抽象的な映像と抽 象的な（具体音や台詞を用いない）音を使用した作品とした．これは，メディアアートの作品にス トーリー展開のないものが多いこと，そして，ストーリー展開によって演奏，映像，サウンドの関 係が意味付けされてしまうことを防ぐためである．以下，ここで取り上げる作品の概要を述べる．2.1.1
メディアパフォーマンス作品の概要
(1) Apparationコンテンポラリーダンスと映像とサウンドを融合させた，Klaus Obermaier と Ars Electronica Futurelab の共同制作による作品“Apparation[5][6]”では，上映スクリーンの前で踊るダン サーの形と動きをカメラで捉え，その動きと輪郭をコンピュータで認識し，ダンサーの位置，
16 第 2 章 メディアパフォーマンスシステムに求められる要件 動き，そして体の輪郭にあわせた映像を投影している．たとえば，スクリーンの背景は縦縞 でダンサーの体の部分だけは横縞が投影され，ダンサーが移動すれば映像の横縞もダンサー について動き，光る横縞の衣服を着ているように見える．図 2.1 の左の写真がその一場面で ある．また，ダンサーの手の位置に応じて複数の光のロープの映像が表示され，そのロープ の映像の変化に合わせて音も変化することで，サウンドと映像の関係も直感的に理解できる ように工夫されている．図 2.1 の右の写真がその演奏の一場面である． 図 2.1: Apparationの演奏シーン[7]より引用
(2) MPIxIPM (Music Plays Images X Images Play Music)
坂本龍一と岩井俊夫による“MPIxIPM[63]”では，坂本の MIDI ピアノ1演奏によって光の矢 の CG 映像を生成し，ピアノの演奏情報を光の矢の映像に変換して，動く楽譜を作り出して いる．ピアノ演奏を音程，音の強さ，音の長さの情報を用いて美しい CG の光の矢として映 像化している．図 2.2 の左の写真がその演奏の一場面である．また，別のシーンでは，映像化 された光の四角形が別に用意されたもう一台の演奏者のいない MIDI ピアノの鍵盤に飛んで 行くような映像の演出を行い，光の四角形が当たったように見える無人の MIDI ピアノの鍵 盤が，コンピュータ制御で打鍵され発音する．そして，光の四角形は MIDI ピアノに衝突し バウンドしていくようにして飛去って行く．図 2.2 の右の写真がその演奏の一場面である． (3) The Manual Input Sessions
Golan Levin のメディアパフォーマンス作品“The Manual Input Sessions[23][24]”は，演奏 者の動く手のシルエットが投影されて巨大な映像となり，その映像によってサウンドを演奏す る作品である．“The Manual Input Sessions”で用いられるシステムは，演奏者が OHP(Over Head Projector) のガラス板上の手のシルエットをコンピュータがカメラを用いて読み取り， 手のシルエットの輪郭線によって作られた形を抽出する．コンピュータは，その抽出された 形を分析して電子音を合成し出力するとともに，手のシルエットの映像と手の映像を合成す る．図 2.3 に演奏の一場面を示す． 1MIDI データによって制御できる自動ピアノ．MIDI データによって、アコースティックピアノ内部のキーアクション に取り付けられたソレノイドを制御して演奏するため，アコースティックピアノとほぼ同じ音で演奏できる．
2.1. メディアパフォーマンス作品の検討 17
図 2.2: MPIxIPMの演奏シーン[37]77ページより引用
図 2.3: The Manual Input Sessions[23]より引用
(4) Test Pattern Show
池田亮司の作品“Test Pattern show[33]”の演奏は，巨大なスクリーン前で，池田がラップ トップコンピュータと音響機器，映像機器を操作することによって行われる．しかし，具体 的な操作（演奏）の内容は観客からは見ることができない．出力される映像とサウンドの変 化は正確に同期しており，その変化は明示的で映像とサウンドの同期は観客にもわかりやす い．また，モノクロの幾何学的で無機的な映像の質感と，グリッチノイズと呼ばれる電子音 がよくマッチしている．図 2.4 に，演奏の一場面を示す．
18 第 2 章 メディアパフォーマンスシステムに求められる要件 図 2.4: Test Pattern[34]より引用
2.1.2
演奏・サウンド・映像の関係
前項の４作品の例をもとに，メディアパフォーマンス作品の構成要素である，映像・サウンド・ 演奏（パフォーマンス）の関係について考察する．３つの要素の関係を観客が理解するのに考慮す べきことがらや，起こりうる問題について以下にまとめる． (1) 映像とサウンド 映画，テレビといった映像を再生するメディアでは，サウンドと映像の関係を上手に演出する ことで相乗効果が得られている．また，ビデオゲームでは，操作によって映像の変化と発音 が同時におきる状況が多く見られ，映像とサウンドの同期によって，その関係はゲームユー ザにとって理解しやすくなる．また，実世界では，物体が動いて衝突あるいは接触すること によって音が生じる．さらに，衝突する物体の形，大きさ，素材が違えば，それらの衝突音 や接触音も異なる．映画，ビデオ，ビデオゲームでは，こうした実世界の現象を利用してい るとも考えられる． (2) 演奏とサウンド アコースティック楽器の演奏において演奏者の動作は音を生成するためのものであり，発音 される音と動作の関係は，初めて見る観客からもほぼ自明のものとして理解される．一方，コ ンピュータをキーボードとマウスで操作することによって演奏するラップトップミュージッ クにおいて，音楽と演奏（コンピュータ操作）の関係は自明ではなくわかりにくいという問 題がある．また，センサ等を用いた従来の楽器と異なる形態の楽器においても，音楽と演奏 の関係が理解できないことがおこり得る．2.1. メディアパフォーマンス作品の検討 19 (3) 演奏と映像 VJ パフォーマンスをはじめとする映像パフォーマンスの場合を例に挙げると，ビデオデッ キ，ビデオミキサ，コンピュータなどの操作とそれによって表現される映像と演奏（機器操 作）の関係は，操作と投影される映像の内容や変化がわからないために理解が困難である． VJ パフォーマンスにおいて，ラップトップミュージックと同じようにコンピュータをキー ボードとマウスで操作することによる演奏形態が増えてきた．こうした，演奏形態には，が， ラップトップミュージックの場合と同様に，演奏行為と演奏される映像の関係がわかりにく くなる． 以下，上記の論点に立脚して４つの作品を検討する．まず，４つの作品に共通して言えるのは， 映像とサウンドの関係がわかりやすく，またとてもよくマッチしている点である．MPIxIPM で は，坂本によるピアノ曲の雰囲気と光の矢のビジュアルイメージが，“Apparation”，“The Manual Input Sessions”，“Test Pattern Show”では，抽象的な映像表現と電子音響の組み合わせがマッチ している．さらに，これらの作品の最初の部分は，映像の要素が少なくシンプルなサウンドになっ ていて，映像の変化とサウンドの変化の関係がわかりやすいように構成されている． “Apparation”では，演奏者（ダンサー）のダンスによってサウンドが演奏される．ダンスその ものが芸術表現であり，さらに，ダンサーの輪郭をシステムが認識し，その位置や形に合わせてダ ンサーに抽象的な映像が投影され，ダンサーと映像が一体と見えるように表現されている．ときに は，その抽象的な映像が，ダンサーのパートナーとして演技しているようにさえ見える．映像の変 化と音の関係については，音が大きくなれば映像の移動が大きくなったり，弦の振動をイメージさ せるロープの映像の動きが音の周波数が高くなるにつれて速くなったり，直感的に理解できるよう に工夫してデザインされている．こうした映像と演奏が融合した表現が，この作品の魅力である． そして，映像と演奏の関係を観客にわかりやすく提示することにもつながっている．
“MPIxIMP”では，インタフェースに MIDI ピアノを利用するとともに，物体としての MIDI ピアノと映像を組み合わせている点が特徴的である．ピアノ鍵盤の位置と音程の関係は周知である ので，演奏された音と CG による光の矢の関係は，観客にとって理解しやすい．さらに，CG 映像 による光の矢が物体としての MIDI ピアノを演奏するという表現は印象的である．また，光の矢の CG 映像は，演奏情報をグラフィックで表現していることから図形楽譜2の要素を持ち，五線譜で 表現できない和音演奏の際の微妙な時間のズレと音の長さの違いを美しく視覚化している．このよ うに，“MPIxIMP”は，ピアノという衆知のインタフェースを巧みに利用して，映像を演奏するこ とをわかりやすく示している好例である．
“The Manual Input Sessions”では，手のシルエットの形によって，映像を生成し，その映像 をサウンドオブジェクトとして形を考慮したサウンドが生成される．つまり，手のシルエットが演 奏のインタフェースとしてうまく機能するようにデザインされている．特に，シルエットの大きさ や形の変化に対応するサウンドの変化が，観客にわかりやすいようにデザインされている．このこ とは，手の映像とサウンドの関係をうまく表現していると言える．また，演奏動作によって直接演 奏するだけでなく，サウンドオブジェクトの発音はプログラムによって制御され，現在の手のシル エットと同時に過去に生成されたサウンドオブジェクト（シルエット）の音を発音することがで 21940 年代以降の図形・図案化された楽譜で，不確定性が介在する音楽，楽音以外の音を主とする電子音楽等で多く用 いられる．図形楽譜は，グラフィックと発音が直接対応づけられているタイプと，図形全体の印象を演奏家が感じ取って演 奏家の独自の解釈で演奏を行うタイプに別れる．本論文では，前者のタイプを図形楽譜として用いる．
20 第 2 章 メディアパフォーマンスシステムに求められる要件 き，複数のサウンドが演奏可能である．この発音のときには，手の映像も変化し，サウンドと映像 の関係が容易に理解できた．
“Test Pattern Show”では，映像機器，音響機器，コンピュータをどのように操作しているの か，その様子が観客からは見えない．そのために，映像とサウンドは素晴らしく観客の歓声が聞こ えるにもかかわらず，観客には演奏者の演奏動作がサウンドや映像にどのような変化を与えたのか わからない．歓声やどよめきといった観客の反応が，演奏に影響を与えているので，演奏者の存在 意義はある．しかし，演奏テクニックによって観客を魅了するライブパフォーマンスとしての魅力 を失っている． これまで検討してきた４つの作品の演奏，映像，サウンドの関係を示したのが図 2.5 である．図 の矢印は，それぞれの要素が影響（あるいは操作）していることを示す．“Test Pattern Show”の 白抜きの矢印は，観客からはその操作がわからないことを表している．
図 2.5: メディアパフォーマンスにおける，演奏，サウンド，映像の関係
これまでに述べてきた４つの作品を通して，メディアパフォーマンスシステムとして演奏，映像， サウンドの関係性が観客に理解されるように，システムの工夫と作品の映像やサウンドが合わさっ て実現されていることがわかる．“Apparation”のダンスと映像の融合した表現，“MPIxIPM”のピ アノと光の矢の関係，“The Manual Input Sessions”の手のシルエットとサウンドの関係，そして “Test Pattern Show”の映像とサウンドの関係，これらの関係が観客に理解できることによって，
単独の要素では見いだすことができない効果が生まれて作品を魅力的にしている．“Test Pattern Show”は，映像とサウンドの変化するタイミングが一致しており，映像とサウンドの関係が観客 に理解されている．しかし，演奏者の演奏行為を観客は見ることができず，演奏と映像，演奏とサ ウンドの関係は観客に理解できないため，演奏動作による観客の反応が得られていない．
2.2. 演奏インタフェースの課題 21 映像とサウンドの関係は，主に作品に使用される映像やサウンドによる部分が多い．一方，演 奏と映像，演奏とサウンドの関係が理解されるためには，インタフェースのデザインが重要とな る．身体をインタフェースとした“Apparation”，ピアノという楽器によって映像を演奏している “MPIxIPM”，OHP を光源として手のシルエットをサウンドの演奏だけではなく映像表現として も利用した“The Manual Input Sessions”と，それぞれ演奏と映像，演奏とサウンドの関係がわ かりやすいインタフェースデザインがなされている．
2.2
演奏インタフェースの課題
この節では，メディアパフォーマンスにおける演奏インタフェースの課題について検討する． 演奏インタフェースは，コンピュータの入力装置としてだけでなく，演奏者のシステムに対する 操作（演奏）を提示する役割を担っている．パフォーミングアートは，演奏行為自体も重要な視覚 表現であり，演奏者（パフォーマ）の操作とその果たす役割の見せ方自体が重要なデザインの対象 となる．例えば，ヤマハ社の TENORION[73] のインタフェースであるプッシュボタンの LED 照 明は，演奏者の操作性を向上させるとともに，観客に演奏行為を提示している好例である．演奏イ ンタフェースは，映像やサウンドを演奏するインタフェースであると同時に観客に演奏を提示する ためのインタフェースである．そのために，パフォーマンスのインタフェースには，観客に演奏を どのように提示するかという視点が必要になる．また，福地は，エンターテインメントアプリケー ションにおいて，観客に「魅せる」インタフェースの重要性を指摘している [19]． 次に，演奏者の立場からメディアパフォーマンスシステムのインタフェースを考える．演奏イン タフェースでは，コンピュータを操作するための要件である操作のわかりやすさと操作のしやす さだけでなく，操作の即時性が求められている．例えば，音楽演奏においてあるフレーズを演奏 する必要があったときに，ファイルメニューをスクロールしてフレーズを選び，コンピュータに 呼び出してから再生していては，そのフレーズが必要な場面は過ぎてしまう．操作のわかりやす さのためのマウス操作による階層型のポップアップメニュー形式のインタフェースでは，即時性 が要求されるパフォーマンスのインタフェースとして適当ではない．操作の即時性が求められる インタフェースの設計技法として，Shneideman らの提唱する“direct manipulation[64]”がある． “direct manipulation”は，操作方法を利用者にわかりやすく提示するための設計技法のひとつで あるが，操作対象のすべてが表示画面に表示され直接操作できるので，操作の即時性が求められる インタフェースにも適している．2.3
メディアパフォーマンスシステムデザインの方向性
メディアパフォーマンスは，新しい表現の可能性を秘めている．しかしながら，新しい表現で あるためにメディアパフォーマンスが理解されるようなシステムと作品のデザインが必要である． また，メディアパフォーマンスに使用するインタフェースは，使いやすさ，わかりやすさ，操作の 様子を観客に見せるなどの特質を考慮して設計する必要がある． これまでの議論をもとに，本研究で開発する，メディアパフォーマンスシステムのデザインにつ いて検討する．メディアパフォーマンスシステムのデザインの方向性として，2 章１節,2 章２節の22 第 2 章 メディアパフォーマンスシステムに求められる要件 検討を以下にまとめる． (1) 演奏とサウンド・映像の関係性が観客にわかるシステム (2) 見せる（魅せる）システム (3) 直感的でわかりやすく, 即時性のあるインタフェース 観客に映像，サウンド，演奏の関係性を示すためには，観客の日常の体験や知識を関係性の理解に 活かすことが有効である．映像パフォーマンスは，周知されつつあるが，音のパフォーマンスであ る音楽ほど知られていない．そこで，映像機器のインタフェースより，既存の楽器をインタフェー スとして応用する方が有効であると考えられる．Cook は，新しいコンピュータミュージックコン トローラを設計する際の基本原理を掲げている [16]．その中で，“Existing instrument suggest new controllers(原理 12)．”，“Everyday objects suggest amusing controllers(原理 13)．”と述べ，新しい インタフェースであっても既存の楽器やコントローラに学ぶべきだと主張している．また，多くの 楽器の使用方法はわかりやすいことからも，従来の楽器の応用は妥当である．Cook は，“Copying an instrument is dumb, leveraging expert technique is smart（原理３）.”とし，楽器をそのまま コピーするのではなく，楽器の特徴を活かすことを考慮しなければならないと述べている．従来 の楽器を応用しない場合は，使い始めることが簡単であることから，直感的に操作できるインタ フェースが適していると考えられる．
これらのことを考慮して，本研究では，ターンテーブルを実世界指向インタフェースとして用い たシステム Phenakistoscope Player と，直感的なインタフェースとしてマルチタッチインタフェー スを用いた MoPH のふたつのシステムを提案する．“Phenakistoscope Player”では，パフォーマ ンスのわかりやすさの問題をインタフェースであるターンテーブルを観客に見せることで解決しよ うと試みる．MoPH では，複数の指を使用することによる表現力と物理シミュレーションによる サウンドと映像の関係性を観客が理解できることを目指している．さらに，これらのインタフェー スと演奏は，（１）の「演奏とサウンド・映像の関係性が観客にわかること」だけではなく，（２） の「見せる（魅せる）」ことを目指してデザインする必要がある． サウンド 演奏 インタフェース [システム] 映像 観客 図 2.6: メディアパフォーマンスシステムにおける，インタフェース，演奏，サウンド，映像の位置づけ
2.3. メディアパフォーマンスシステムデザインの方向性 23 この２つのシステムの演奏・映像・サウンドの関係を，図 2.5 にならって，インタフェースの要 素を加えて図示したのが図 2.6 である． この図では，演奏行為がインタフェースを介して映像，サウンドを演奏するとともに，演奏され た，映像とサウンドが相互に影響を与えていることを表している．本研究のシステム開発の出発点 として，メディアパフォーマンスシステムをメディアを演奏するための楽器（システム）として位 置づけ，サウンドあるいは映像から演奏へのサウンドへの矢印をなくし，演奏によってサウンドと 映像を生成，制御していることを明確にしている． 開発したメディアパフォーマンスシステムの評価は，以下の方法で行う．ひとつは，ユーザに試 奏をしてもらい，その様子を観察するとともにアンケートをとることでシステムの使いやすさと表 現の可能性を検証する．もうひとつは，コンサートでの演奏とデモンストレーション演奏を行い， 観客の反応を観察するとともにインタビューを行う．これによって，観客がシステムによる演奏， サウンド，映像の関係性が理解できるかを検証する．
25
第
3
章
Phenakistoscope Player
の開発
筆者は，1832 年に開発された映像装置“驚き盤”に着想を得て，実世界指向インタフェースとして レコードプレーヤターンテーブルをインターフェイスとして用いた映像とサウンドを同時に演奏する メディアパフォーマンスシステム Phenakistoscope Player を考案した．本章では，Phenakistoscope Player の原理と実装について述べる．次に，Phenakistoscope Player を使用したメディアパフォー マンス作品 SightSound -Phenakistoscope-とワークショップについて述べる．最後に，コンサート やワークショップでの使用状況にもとづき，システム上の課題とメディアパフォーマンス表現の可 能性について考察する．
3.1
システムの狙い
サウンドと映像を同時に演奏するシステムを実現するには，インタフェースを操作している状態 を映像として見せる方法と，演奏情報を CG などを用いて視覚化する方法が考えられる．本章で は，前者のシステムの実現を目指し，ターンテーブルでピクチャーレコード1を使用することによ り，サウンド（ターンテーブル演奏）と映像（ピクチャーレコード）が同時に演奏できるシステム を構想した．しかし，ピクチャーレコードは，レコード再生時にはレコードの回転のためにその図 柄を鑑賞することはできない．レコード再生時にもピクチャーレコードの図柄を鑑賞できるだけ でなくアニメーション映像も表現できるように，初期のアニメーション装置である驚き盤の原理を 用いることとした．そして，驚き盤の原理を利用したターンテーブルによるサウンドと映像を同時 に演奏できる新しいシステム Phenakistoscope Player（以下 P.S.player と略記）を考案するに至っ た．P.S.player では，ターンテーブル上に図形音符（3.4.1:システムの概要で詳述）を描いた円盤を 置き，DJ アーティストがレコード盤を回転させて演奏するのと同じように円盤を回転させること によって音および映像を出力する．カメラで撮影されてコンピュータに取り込まれた図形音符は， MIDI データに変換された後にシンセサイザを用いて実音化される．同時に，図形音符はその取り 込まれた画像自体にアニメーションとして見えるような処理が施され，プロジェクタを用いて映写 される． 「演奏動作（円盤の置き換えを含めたターンテーブルの操作）」と「サウンド」そして「映像」との 関係性の観客への提示という点に特徴を持つシステムとして P.S.player を構想した．DJ パフォー マンスで一般に認知されているターンテーブルを用いることより，観客は演奏動作と音の関係を類 推することが容易であると考えられる．さらに，ターンテーブルを演奏する動作によって，驚き盤 を用いた映像表現を実現することで，従来の映像パフォーマンスにおける映像機器操作のわかりに くさを解消している． 1レコードジャケットの写真やオリジナルのイラストなどが印刷されたレコード盤26 第 3 章 Phenakistoscope Player の開発 P.S.player は，「演奏動作（円盤の置き換えを含めたターンテーブルの操作）」と「サウンド」そ して「映像」との関係性を観客へ提示できるという点を特徴に持つシステムである．DJ パフォー マンスで一般に認知されているターンテーブルを用いることより，観客は演奏動作と音の関係を類 推することが容易であると考えられる．さらに，ターンテーブルを演奏する動作で，驚き盤を用い て映像を演奏すると同時に，観客に操作の様子を見せることによって従来の映像パフォーマンスに おける映像機器操作が観客にわかりにくいという問題の解決を目指す． 以下，本システムの起点となった驚き版の概要・歴史について述べ，次に P.S.player のシステ ムデザインについて説明する．さらに，コンサートやワークショップでの使用状況にもとづき， P.S.player を起点としたメディアパフォーマンスの可能性について議論する．
3.2
驚き盤の原理と関連研究
驚き盤は，1832 年に Joseph Plateau によって考案された映像装置である．円盤の周囲には放射 状の細長いスリット（切れ込み）が等間隔に入っている．そのスリットの間には，絵が一コマずつ 描かれている（図 3.1）．鑑賞者は，絵の描かれた側を鏡に向け，円盤を回転させながらスリットか ら鏡に映った絵を見る．そうすると，スリット間の絵が動いて見える． 図 3.1: 驚き盤の例[51]より引用 驚き盤の原理を，フリップブック（パラパラまんが）と関連づけて説明する．驚き盤の円盤のス リットの間の扇形の範囲がフリップブックの１ページに相当する．つまり，スリットが 10 個ある 驚き盤は，中心角 36 度の扇形の 10 ページのフリップブック 10 冊を組み合わせて構成されている3.3. デザインコンセプト 27 ととらえることができる．フリップブックでは１ページ毎に少しずつ変化していく絵を描くが，驚 き盤では隣り合うスリット間の一コマ毎に少しずつ変化する絵を描いていく．例えば，スリットの 位置から真正面に見えている絵が１コマ目であったとする．次に絵が見えるのは，円盤が 36 度回 転して隣のスリットが目の前に来たときである．そのときに真正面に見える絵は，隣の２コマ目の 絵になる．驚き盤を回転させることで真正面の位置の絵は次々と隣のコマの絵に変わっていくこと になり，フリップブックのように残像現象によって絵が動いて見える．円盤を構成しているフリッ プブック 10 冊を同時にめくっていく場合は，全く同じ絵が 10 個動いているように見えるが，驚き 盤の場合は，一コマずつずれて動いている 10 個の絵が見えることになる． ターンテーブルは音楽の再生装置として発明され発展してきたが，DJ の出現とともに楽器とし ても扱われるようになってきた [68]．そうした状況の中でコンピュータを積極的に利用すること により，従来のターンテーブルにサンプリング等の機能を付け加えた新しい楽器としてのターン テーブルに関する研究も見受けられるようになった [53]．しかしながら，この研究は楽器としての ターンテーブルの機能拡張に関するもので，映像装置としての利用については考慮されていない． Lew,M. らは，映像編集のインタフェースとしてターンテーブルを利用したシステム（video drum） を実装している [50]．ここで述べられている video drum は映像を演奏するためのインタフェース であり，音楽演奏の機能が実装されていない点が本研究とは異なっている．ターンテーブルをイン タフェースに使用した音楽演奏システムである Kise,S. の“spinCycle: a Color-Tracking Turntable Sequencer[46]”は，回転するターンテーブル上に 2 または 3inch の赤，黄，青と異なる色のついた 複数の半透明な板を配置し，これをカメラで撮影して画像の色を解析し，その色に対応したサウ ンドを発音する，サウンドと色の関係の表現に主眼をおいたシステムである．spinCycle のカメラ は，ターンテーブルの一部分のみを撮影することで，ターンテーブルの回転によって異なる色の半 透明の板が撮影され，色の変化を観客に提示している．一方，P.S.Player は，驚き盤を応用するこ とにより，円盤全体のグラフィックデザインを素材にした色と形のアニメーションによる映像を提 示するシステムであり，色の変化を提示する spinCycle と異なっている． 1 章でとり挙げた“ベビートーキー”や岩井による“時間層 lll[37]”など音を伴う装置もあるが， これらは演奏装置ではなく，サウンドの再生装置である．P.S.player は，ここまで例にあげた作品 や研究と異なり，映像とサウンドの両方を同時に演奏できるシステムを目指している．
![図 2.2: MPIxIPM の演奏シーン [37]77 ページより引用](https://thumb-ap.123doks.com/thumbv2/123deta/8222050.1281150/18.892.120.723.187.484/図22MPIxIPMの演奏シーン3777ページより引用.webp)
![図 5.2: Designing the spectators’s view[67] の図より引用](https://thumb-ap.123doks.com/thumbv2/123deta/8222050.1281150/60.892.149.703.376.667/図52Designingthespectatorssview67の図より引用.webp)
