演奏家と聴衆の脳波はシンクロするか？脳波、AI とクラシック音楽について掘り下げる 2018 年４月 15 日 人工知能サービスの開発もしている総合コンサルティング会社アクセンチュアが、４月のとある 週末、社員と関係者向けに一風変わったイベントを開催した。これは 2017 年の「音楽を題 材に脳波の解釈を行う試み」の続編としてクラッシック演奏会とトークセッションで構成され、 都内に新しくオープンしたアクセンチュア・イノベーション・ハブ・東京を会場に行われた。 アクセンチュア・イノベーション・ハブ・東京共同統括の保科学世氏が会全体のオーガナイズを 行い、開催にあたってはアクセンチュア芸術部のメンバーが運営サポートをし、脳波ログ取得 と視覚化については SOOTH 株式会社（株式会社 AOI Pro.体験設計部のメンバー）が 技術提供と運営サポートを担った。トークセッションではアクセンチュア インタラクティブの佐藤 守氏が司会を務めた。 脳波について説明する保科氏 ■音楽は究極の非言語コミュニケーション 人とコミュニケーションをとる人工知能の開発が進む中で、自然言語、表情、ジェスチャーにつ いては、機械が理解できるようになってきているが、究極の非言語コミュニケーションの一つと も言える音楽を人工知能が理解するのはまだまだこれからの領域、と保科氏は語った。 特にクラシック音楽は、数百年前の作曲家たちがその当時の状況、自分の想い、さまざまな ことを伝えようとして曲を生み出した。その後、歴代の演奏家たちが書き残された楽譜をもと に自分なりの解釈を積み重ねて現在に至っており、ある意味、時間をも超えた究極の非言 語コミュニケーションだと言える。
そんな文脈に沿って演奏家同士のコミュニケーション、また演奏家と聴衆のコミュニケーション に着目し、その指標としてそれぞれの脳波を同時に視覚化して解析してみる。同時にこのよ うな形でコミュニケーションをデータ化することで、人との非言語コミュニケーションを人工知能 に組み込む手段を検討する機会になれば、と保科氏が今回のイベントの意図を語った。 ■四人の演奏家が登場 昨年もこの試みに賛同していただいた 世界的な指揮者・ヴィオリストであり、 Music Dialogue 芸術監督を務めている大山平一郎氏が演奏面を監修し、枝並氏、大塚氏、 金子氏のカルテットを構成。昨年の企画を踏まえて特徴的で曲想が異なる演目が選定され た。今回は特に、観客の脳波も計ることを考慮にいれたプログラムとし、さらに脳波についての 検証アイディアも寄せられた。 左から：大山平一郎（ヴィオラ）、枝並千花（ヴァイオリン）、大塚百合菜（ヴァイオリ ン）、金子鈴太郎（チェロ） 企画協力 一般社団法人 Music Dialogue ●演奏曲 １）ハイドン作曲《弦楽四重奏曲第 77 番ハ長調 皇帝》より第２楽章 ２）ショスタコーヴィチ作曲《弦楽四重奏曲第 8 番ハ短調 作品 110》より 第 4・第 5 楽章（解説なし） ３）ショスターコヴィチ作曲《弦楽四重奏曲第 8 番ハ短調 作品 110》より 第 4・第 5 楽章（解説あり） ４）ウェーベルン作曲《弦楽四重奏のための 5 つの断章 作品 5》より第２・第３楽章 ５）ウェーベルン作曲《弦楽四重奏のための緩徐楽章》 ■今回は、複数人の脳波を同時取得し、聴衆の脳波も取る 昨年の試みと大きく違うのは、３人同時に脳波を取得してコミュニケーション状況を可視化 したこと。 合奏している演奏家３人の脳波を取得し、「リラックスや集中状態と関わりが深いα波」「興 奮や緊張状態と関わりが深いβ波」を中心に「Δ（デルタ）」「Θ（シータ）」「γ（ガンマ）」 を加えた５波の状態をレーダーチャートで視覚化。「α波、β波がそれぞれ設定したしきい値 を超えた場合」と、「α波とβ波が同時にしきい値を超えた場合」にサインが出るようになってい た。 演奏会が進むに従い、演奏家と聴衆の中から選ばれた人の脳波を同時に取得したり、聴 衆のうちクラシック音楽への見識の深い人と、ほとんど無い人を選んで反応を比べる試みも行 われた。
また、大山氏からの提案で、何の説明もなく演奏を聴いた場合と、曲の説明を行った後で演 奏を聴いた場合の違いも確かめることとなった。 演奏中の様子 ■トークセッション・演奏会の振り返りと脳波の解説 （１曲目は、演奏家３人の脳波を取得） 佐藤氏： 脳波を測定されてどうだったか？ 大塚氏： 考えが周りに知られているのではという恐怖感、プレッシャーがあった・・・。 金子氏： 弾いていると集中するが、ふと出番のない時に脳波を見ると、波が小さくな っていた。いい密度で練習できているかどうかが分かれば、効率が上がって よいと思う。 保科氏： １曲目は解説者泣かせだった。リハーサルと本番が全く違った。リハーサル では大山氏の脳波に巨匠感が出ており、と言うのは指揮者的な役割の 部分で集中し、ご自身のパートでは瞑想状態になっていた。しかしながら 本番では個人ごと、パートごとの特徴が薄れてしまった。本番という空気 感もやはり大きく脳波に影響を与えているようだ。 （２曲目と３曲目は演奏家を代表して大塚氏、クラシックコンサートの運営に携わるなどク ラシック音楽に慣れ親しんでいる鈴木氏を「プロ客」として。アクセンチュア芸術部から島田氏 を「エントリー客」として脳波を取得） 佐藤氏： ２曲目と３曲目の試み、解説有り無しでの違いはあったか？
保科氏： この曲は深い経緯があるものの、解説有り無しでの差が出るか内心ドキド キしていたが、明確な違いが反応に出た。特に「エントリー客」の島田氏は 顕著で、解説後は集中力と感受性を発揮していた。 島田氏： 「自分へのレクイエム」という印象が影響したかもしれない。 保科氏： 曲のタイプにも依存すると思うが、曲の意味の理解が大切であることが見 て取れた。 大山氏： 余計なことをしたと思っている。作曲家からすれば自分の気持ちが素直に 表現され、受け取ってもらえるのが本望かと。多くの作曲家はその曲を書 いた理由を、曲完成後には隠滅してしまうことが多い。それは音楽は心と 心で交し合える言葉、という音楽家の哲学なのだ。逆に言えば、解説無 しでそこまでの反応を誘い出せなかった奏者に責任があることは否めない。 (苦笑) 佐藤氏： 人によって感じ方のレベルが違うという絵画における結果があり、何の情報 も無いと感じ方が限られるが、背景や文脈を知ることによって正しく作者の 心境に迫れる。絵画と音楽の共通性は、興味深い。 解説の有り無しが与えた影響は？ （４曲目は、「エントリー客」を山口氏にチェンジ。） 保科氏： 山口氏は、考えるより感じる人、というように見えたがいかが？
山口氏： 普段は左脳人間だが、土日に茶道と太極拳を 20 年以上やっており、無 念無想で雑念を断つようにしているからかと。 保科氏： 選曲が良かった。展開が読みにくい曲なので、不安や疑問が浮かぶはず だと考えたが、山口氏からは「初めての出会い」を感じた。 一方で鈴木氏はゆったりと受け止めていた。演奏者側の大塚氏は、２曲 目よりも気持ちよく演奏していたように脳波からは見えた。 大塚氏： わりと集中していたつもりだ。 （５曲目は、演奏家側を大塚氏から枝並氏にチェンジ。） 大塚氏： 気に入ってしまった曲なので、感情も込めやすかった。愛や思いやりを感じ て弾いたので気持ちよく弾けた。 保科氏： 山口氏の反応はリラックス。鈴木氏は集中しつつも最後は感情的に盛り 上がっていたように見受けられた。枝並氏は、特に終盤にかけて気持ちよく 弾いているように見受けられた。 枝並氏： 音量をセーブしながら深い音を出したいので、出だしの感情の乗せ方がと ても難しい。 保科氏： 枝並氏は特に後半は瞑想に入っていた。実は、全曲を通してこの曲が一 番、全員の脳波の同期が取れていた。 大山氏： そうであろうと予測して選曲しました。 保科氏： 鈴木氏は曲を先取りしているようにも見受けられた。 鈴木氏： この曲も含めて以前から大山先生の演奏を聴いていたので、曲に浸りな がら聴けた。 演奏家と聴衆のシンクロは起きたか
■機械が演奏することについて 佐藤氏： AI は人間の仕事を奪うのか、人間と協調するのかという話がある。鑑賞 者の反応で作曲したり、アドリブを覚えさせたり、昨今、新しい演奏のあり 方が話題になっている。それらも踏まえて演奏者のご意見が欲しい。 金子氏： 絶対に失敗しないことや、感情に連動した弾き方をインプットして再現す ることはできると思う。しかし突然の思いつきや、ホールの響き、天気、湿 度、何を食べたかということに影響されて、人間は意識的あるいは無意識 に演奏を変える。これは不可能だと思う。 大塚氏： 人間にはかなわないと思いつつ、人間に近づけばそれを見てみたい。でも 人間以上の感情は出て欲しくないと思っている。 枝並氏： 音楽が心の奥に突き刺さるような演奏、理屈なく涙が出る、漠然としてい て言葉が見つからない部分に刺さるような演奏を目指している。それは人 間にしかできないと思う。でも機械が演奏することによって、今まで聴いたこ との無い人が生演奏を聴きたくなるような効果があるなら、それには期待し たい。 大山氏： いま AI が目指しているのは、私がどう弾くかを分析し、入力してそれに反 応できる形だと思う。しかし、私がこの曲を誰と一緒に弾きたいかという理 由は、相手の音楽性の反応への期待なのだ。AI がそこまでの情を、自分 自身で解釈し、表現して、他演奏者と関わっていけるだろうか。「情報」に 「情」が掛け合わされて作られるユガミ、ヒズミを期待している。 保科氏： 演奏者同士の関わり、観客との間合い、会場の雰囲気。極論を言って しまえばミステイクも含めて不確実な部分にもその魅力があると思う。 特に芸術では、不確実性、感情的なユラギ含め AI が学ばなければ、AI は人間には近づけないのでは。そしてもしユラギを再現できたとしても、 聴き手が「これは AI が演奏している」と思った瞬間、人間の受け取り方が 違ってくると思う。 人が何かを人に伝える、AI が何かを人に伝える、その２つはそもそも意味 合いが違うので、人間が演奏する意味は確実にある。そういうことを考えに 入れずに AI を開発するのは間違いだと思う。何を機械がやるべきで、何 を人間がやるべきか。人間がやっていることを全て無理やり機械に置き換 えようとは思っていない。
AI と演奏についても会話が進んだ ■人間だからこそ「覚悟」で演奏が変わることも 保科氏： 例えば死を意識するとパフォーマンスが変わるという話も聞いたりするが、 人生の転機で演奏が変わったという体験があれば、お伺いしたい。 枝並氏： ４歳から楽器を始めたが、実は手を傷めて弾けない時期があったのだが、 「この先弾けなくなる」と思うと心から弾きたいことに気づいた。自分に必要 なものだと意識した時、演奏や伝わり方が変わったと、観客から言われる ようになった。 金子氏： 14 年前、大山先生と出会ったのが一番の転機です。(会場に笑いを誘 う) 大山氏： 私の歳だと「あと何回この曲を演奏できるか」と純粋に思う。ここ 2 年ぐらい その気持ちが強い。残された時間、悔いのない演奏をしたいという切実な 気持ちがある。 保科氏： AI が人間により近づくには、今の話で出てきたような人生の転機、そして そこでどのような変化が人間に起こったのかをも AI は学習していく必要が あるだろう。 ■脳波を取る意味について 佐藤氏： 音は記録できる。動きも映像で記録できる。さらに感情までをも記録した いと考え、どこまで理解できるかは分からないが、記録してみることにした。 ちゃんと解析すればもっと色々分かる。クラシックには次世代に音楽を伝え
ていくというミッションがあるが、演奏者から見て脳波を記録していくことをど う思うか。 金子氏： いかに時間を節約するか、トレーニングの効率アップに役立てたい。もし作 曲者の想いが弟子に伝わり、他人に伝わって継承される時に、その弾き 方の参考に脳波が加わるとしたら凄い。感情の込め方がもっとコントロール できるのであれば、大山先生のように弾けるようになるかも。 保科氏： 脳波だけでは難しいと思うが、脳波は一つの手がかりだと思う。 色々な分野で脳波を取っていて思うのは、「一流の人は脳の使い方がうま い。そのような人はどの分野でも成功できるのではないか」ということであり、 そう望んでいる。 脳波を色々な場面や手法で採取しながら、そんな解明を目指している。 SOOTH 株式会社が提供した、脳波センサーと複数人脳波の視覚化アプリ
