1
学習効率化のための複合化されたモダリティに関する研究
A Study on the Conjugated Modality for Optimized Learning
概要：人間本来のコミュニケーションに着目した「マルチモーダル」概念の応用は、機械においてヒトの情報処理を模倣しようとしたが、そ の定義は未だにできていない。ここには、モダリティが異なる情報の複合的な脳への入出力、モダリティの質が異なる情報の処理といった２ つの問題がある。脳の中にある外界の表象は、複合化された感覚モダリティを通した現象により構成されている。また、感覚の機能としての 側面は、機械等による人工的な模倣も可能である。すなわち、ヒトの感覚を考える上で問題となるのは現象としての側面ということになる。
複数の感覚モダリティを通して感じられる主観的体験としての「クオリア」は、ヒトの経験や知識の中に存在し、これが学習における重要な 要素になっている。共感覚の能力から、その根本的なメカニズムは根本的な感覚の性質にあると考え、現象的イメージを利用した学習の可能 性に注目した。本研究ではヒトの複合化された感覚のモダリティによる情報処理から、このプロセスを意識的に利用する学習効率化のための 学習モデルを提案する。
キーワード：現象としての感覚、クオリア、複合化されたモダリティ Keywords: sense as a phenomenon, quolia, conjugated modality
1. はじめに
第１章では、「マルチモーダル」と「クロスモーダル」
の２つの概念について、それらの概念が研究される分野の 例を挙げながら整理した。また、それらが目標とするヒト のモダリティは何なのか、その複雑性を考察するため、第 ２章では、知覚と行為のメカニズムについて言及した。ま た、脳はどのように感覚を用いて外界を知覚し、認知に至 るかを考察した。第３章では、刺激としての感覚器の情報 と主観的な感覚であるクオリアの関係を整理し、それらが 記憶の中にいかに存在しているかを述べている。また、複 合化された感覚による現象がモノの認知に深く関わってい ることから、第４章では、共感覚に焦点を当て、ヒトのマ ルチモーダルな感覚と活動の関連を考察する。第５章では
「複合化されたモダリティ」を定義し、また、それを踏ま えて、意識的なプロセスを踏む学習モデルを提案する。
2. 「マルチモーダルである」とは何か
機械、及びその操作が複雑化する中、人間本来のコミュ ニケーションに着目した「マルチモーダル」の概念による 問題の解決が期待された。しかし、その定義は未だ明確で なく、マルチモーダル研究の現状は、複数の感覚を同時に 利用することが主な目的となっていると言える。
一方、クロスモーダルの概念では他の感覚を喚起させる ことに重点が置かれ、「共感覚」研究であるとも言われる。
これらが本来目標としてきたのは、ヒトの情報処理の模 倣であり、その複合化された感覚のモダリティについて整 理する必要がある。ここに、モダリティが異なる情報の複 合的な脳（認知）への入出力、モダリティの質が異なる情 報の処理といった２つの問題があることを確認する。
3. ヒトの知覚活動と感覚のモダリティ
その情報処理のプロセスについて理解するため、ヒトの 感覚の仕組み、及び、知覚と行為の関係から考察する。
日常的に用いる「五感」という表現はアリストテレスの 分類によるもので、現在、学術的には約 20 もの感覚が存 在するとされている。感覚の優位性については古くから議 論があるが、体性感覚を中心に他の感覚が複合的に解釈さ れているとも言える。ノーマンが提唱した 7 段階モデル には、ヒトは自発的な行為によって、外界の情報を認知し ていることが示されている。また、メラヴィアンの実験や 腹話術効果はヒトが状況に応じて情報を用いていることを 示している。
次に、情報の選択が脳における処理のどの段階で起こる か、記憶のメカニズムと関連させながら考察した。ここか ら、脳の中には外界の表象（外界とは別の形式をとったそ の表現）があること、積極的な活動なしには、ヒトは空間 を理解したり、経験したりできないことがわかった。すな わち、我々が知る世界は知覚された姿であり、複合化され
1W090051-3 今泉 真生
IMAIZUMI Mao
指導教員 長 幾朗 教授 Prof. CHOH Ikuro
2
た現象としての感覚モダリティにより構成されていると言 うことができる。
4. 主観的感覚としての「クオリア」
感覚の機能としての側面は、外界の情報を取得するもの であり、これは機械等による人工的な模倣も可能である。
すなわち、情報を理解し自らのアウトプット状態を確認す るための、現象としての側面が、ヒトの感覚を考える上で 最も大きな問題ということになる。
このような様々な感覚が複合化された現象、主観的体験 はクオリアと呼ばれ、言語化不可・誤り不可・私秘的といっ た３つの性質を持つとされる。ヒトが外界から得た情報は、
最初は感覚記憶に、そして注意を伴うことで短期記憶に保 存されるが、長期記憶に移されるときにはクオリアの存在 を伴う。クオリアは表象の上にしか存在しない。
この存在を科学の領域において議論することが困難なの は、ヒトの心の問題を含むためであると言えるだろう。こ こで必要なのは、その存在を明らかにすることではなく、
内包したままに「複合化されたモダリティ」を利用する方 法を考えることだと言える。
5. 共感覚を通して考える「感覚とは何か」
感覚のモダリティーは基本的にお互いに異なっている が、時には違ったモダリティーが混ざり合うこともあり、
そのような現象は共感覚と呼ばれている。共感覚者が見せ る高い計算能力や芸術性には鮮明なクオリアの存在が前提 としてある。
しかし、その根本となるメカニズムは、誰もが共通して 持っているものではないだろうか。少なくとも、我々は似 たような体験を持っているはずだ。例えば、通様相性を持 つ共感覚的表現の使用。一つの言葉を複数の感覚に大して 用いるとき、そこには共通のイメージがあり、感情が伴う こともある。クオリアを内包する表現ということができる だろう。こうした現象的イメージの利用はヒトの能力を最
大限に生かす可能性を持っているともいえる。少なくとも これまで、この現象へのアプローチとしての研究や芸術が 多く行われてきたことは、関心の高さに相違ない。
6. 複合化されたモダリティの利用可能性
マルチモーダル及びその周辺概念を総合して、本研究で は「複合化されたモダリティ」と呼び、「複数の感覚が結 びついて生じる現象的性質のこと」であると定義する。
また、情報処理におけるヒトの複合的な感覚利用を踏ま え、「意識的反復学習モデル」と名づけた学習モデルを作 成した。これは、ヒト本来の感覚の性質に着目し、記憶の メカニズムの一連のプロセスを意識的に反復するものであ る。ここでは学習の効率化を目的とし、次のような効果を 想定した。
i. 知識を深め、多面的な思考を可能にする。
ii. 個人的な知識ネットワーク・データベースを構築する、。
iii. 能力化による、学習のスピードアップ、創造性の向上。
7. おわりに
意識的反復学習モデルは、もし「複合化されたモダリ ティ」が存在しなかったら成立しない学習のプロセスであ ると言うことができる。この学習を応用した、より具体的 な学習環境やシステム、及び、複合化されたモダリティの 現象そのものを喚起させるような方法に関しては、実験に よる効果検証と共に、今後の課題としたい。
また、自らの学習によって新しい感覚を手に入れたニー ル・ハービソンから、ヒトの複雑な感覚にも科学の介入が 可能であることを学ばなければいけない。
参考文献
1) D. A. ノーマン『誰のためのデザイン？』 野島 久雄訳 , 新曜社 , 1990 2) M. モーガン『アナログ・ブレイン』鈴木 光太郎訳 , 新曜社 , 2006
3) TED. 2012. "Neil Harbisson: I listen to color | Video on TED.com", <http://
www.ted.com/talks/neil_harbisson_i_listen_to_color.html>. (2012/10) 図版
1) 今泉 , 2013 （ノーマン『誰のためのデザイン？』新曜社 , 1990, p.77 参考）
2) 今泉 , 2013 図 1 ノーマン ユーザ行為の7段階モデル
図 2 意識的反復学習のプロセス イメージ
