1．は じ め に
人工知能技術が「我々の」社会に浸透するという事態 の一部には，我々の道徳実践にまで人工知能技術が入り 込んでくることが含まれるだろう．ここでいう道徳実践 とは，例えば誰かをケアしたり，誰かにひどい目に遭わ されたり，あるいは第三者的な立場からそうした状況を 評価したりといったことを含む，我々がお互いを相手に 日常的に行っている道徳に関わる振舞い全般を指す． 道徳実践を研究対象とする学問である倫理学は，新た な技術が社会に浸透してくる度に，その技術の開発や使 用が我々の道徳実践に与える影響を分析し，社会の側で の対応を検討してきた．その結果，臓器移植の倫理学， 遺伝子組換え技術の倫理学，ナノテクノロジーの倫理学， 宇宙開発の倫理学などが登場してきたのである． しかしながら人工知能技術には，これらとは違う特別 な技術ではないかと思わせるところがある．そのように 思われるのは，その技術が知能と判断を生み出そうとす るものだからだろう．この特徴のために，他の技術のよ うに道具や手段や事業として我々に用いられるだけでな く，ひょっとしたら，人工知能が自ら我々のうちの誰か に対して不正を行ったとしかいいようのない事態が起こ り得るのではないか．言い換えれば，従来我々人間の間 でだけ成立してきた道徳実践＊1にまで人工知能技術が入 り込んでくる状況が少なくとも想像可能ではある，とい う特殊性が存在する． このような指摘は目新しいものではない．例えば土屋 は 1980 年代の情報倫理学もしくはコンピュータ倫理学 にとっての課題を概観する中で次のように記している． 「……1970 年代以降の計算機の高速化，高度化の流れの 中で，次第に計算機が，人間的な大きさを持ちつつ人間 的な速度で知覚し，思考し，判断することが夢ではなく なり，かつ，機能を限定したロボットが生活の中に浸透 してくるようになると……その結果，そのような社会に おいて人工知能的な判断力がそもそも人格的なものであ るか否かということを論じることに意味が与えられるよ うになった」[土屋 03, p. 17]． 例えば，人工知能が下した判断によって危害が生じた 場合を考えてみよう．人間の判断の結果として危害が生 じた場合と同様にその判断を道徳的に非難したり，道徳 的責任を問うたりすることが可能だろうか．このような 問いが真剣な問いとみなされるようになったというので ある．我々は何人死者が出ようとも台風を（文字どおり には）道徳的に非難したりしない．道徳実践において人 間が占めてきた地位，すなわち，その振舞いに対して道 徳的非難が帰されるような地位が，台風のような自然の 原因によって占められることはない．だが，人工知能技 術についてはその可能性が検討されたのである． しかしながら土屋によれば，結局のところ「……こ の問題は，確かに興味深い問題ではあるが，人工知能が 工業製品である以上は，その振る舞いがいかに知的であ ろうとも，その工業製品を我々の生活のどのような文脈 に埋め込み，誰の責任においてそれを使用するかという 問題にすぎない．このような認識は，次第に浸透し，人 工知能の責任などという問題を倫理学の観点から扱うこ とは少なくなっていった」という [土屋 03, pp. 17-18]． 1980年代には，あるいはこの文章が書かれた 2003 年に は，人工知能技術はあくまで道具や手段として我々の道 徳実践に関わるにすぎない，つまり他の技術と本質的に 異なるところはないという評価に落ち着いたというので ある． 本稿では今後の「人工知能技術が浸透する社会を考え る」にあたり，この評価を一度白紙に戻して，同じ問い を改めて考え直してみたい．なぜなら，自律型の無人攻 撃機や完全な自動走行車の実用化が見えてきた現在，単インテリジェントなエージェントは
モラルなエージェントとみなされ得るか？
Can Intelligent Agents Be Considered as Moral Agents?
神崎 宣次
滋賀大学教育学部Nobutsugu Kanzaki Faculty of Education, Shiga University. [email protected]
Keywords:
agent, moral agent, moral patient, moral evaluator. 「人工知能技術が浸透する社会を考える」＊1 本文の 4 章で述べるが，正確に言えば動物倫理学や環境倫理 学といった分野では，人間以外の存在が道徳的被行為者として 道徳実践内部に位置付けられると論じられてきた．
なる道具としての工業製品についての倫理学ではない 「人工知能技術の倫理学」の成立可能性を検討し直す必 要性が我々の社会に生じているからである． もちろんこれは倫理学者だけでできる課題ではない． どのような人工知能技術が，どの程度社会に浸透してく るか，倫理学者には予測できないからである．そこで本 稿ではもっと控え目なところを目標にする．具体的には 1）倫理学的な視点から今とりあえず言えそうなのはこ れぐらいですよ，というボールを人工知能研究者側に投 げてみる，2）今後の意見交換を円滑にするために，道 徳実践に関わる問題を検討する際に倫理学で用いられて きたいくつかの語彙とおおまかな議論の枠組み＊2を理解 してもらう．この二つの達成を目指したい．
2．道 徳 的 行 為 者
人工知能研究者と倫理学者が共通して用いるが，その 意味合いが異なっている概念から説明を始めるのがよい だろう．選択やそれに基づく振舞いを行う存在としての エージェント（行為者）がそれである．人間と人工知能 は（ある程度）インテリジェントなエージェントである という共通点をもっている．両者ともその決定や振舞い に関して合理性の観点から評価を受けるだろう． しかしながら，人間の行為者が受ける評価は合理性の 観点に基づくものだけではない．文脈によっては道徳性 の観点からも評価を受けるという点で，人間の行為者は 特別な存在とされてきた．このような行為者を道徳的行 為者と呼ぶことにしよう．注意してもらいたいのは，こ こでの「道徳的」は道徳的に正しいとか，道徳的に善い ということを意味しないという点である．そうではなく て，その振舞いに対して道徳性の観点からの評価が適用 されるということだけを意味していると理解してもらい たい．道徳的行為者が重大な不正を犯しても概念上の矛 盾はないのである． 人間以外の存在，典型的には（人間以外の）自然は， その振舞いに関して道徳性の観点からの評価は受けな い．このように自然からはみ出した存在として人間を特 別視することは，以下での説明の前提となっている． さて，その前提とは次のような世界観のことだと理解 してもらえばよい．人間以外の自然，別のいい方をすれ ばモノは物理法則によってその振舞いが決まる．岩のよ うな物体や台風のような自然現象は物理法則に従うので あって，自分で勝手に動いたりしない．機械などの人工 物もこのようなモノに含まれる．それに対して人間は自 律した行為者であり，物理法則から外れることができる 存在者とみなされてきた．モノとは違い，人間は自由な 行為が可能な存在なのである．そして自由ゆえに責任も 問われる．別のいい方をするなら，その振舞いは道徳性 の観点からも眺められる．人間の振舞いのみが道徳的に 非難されたり，責任を問われたりするという道徳実践に ついての倫理学的説明の背景には，自律的な行為者とし ての人間を特別な存在とみなす世界観が前提として控え ているのである． このような世界観は倫理学者ではない人々にとっても 突飛なものではない．そのことを理解してもらうために ぴったりな「天災」という古典落語の演目がある．その あらすじは次のようなものである＊3．短気で喧嘩好きの 男にあきれたご隠居は，諭してもらうために男を心学の 先生のところに行かせる．そうして男と先生の問答が始 まる．道を歩いているときに丁稚が打ち水をした水が裾 にかかったらどうするという先生の問いかけに，男は丁 稚を張り倒して主人のところに怒鳴り込むと答える．同 様に，屋根から瓦が落ちてきて当たったら，その家に怒 鳴り込む．その家が空家だったら家の持ち主のところま で行くという．最後に，では広い野原を歩いているとき に，にわか雨が降ってきてずぶ濡れになったらどうする のかと問われて，さすがの男も諦めるしかない，なぜな ら天とは喧嘩できないからと答える．だったら丁稚に水 をかけられても天がしたことと考えなさい，つまり天災 だと思って諦めればいいじゃないか，という先生の説教 に思わず納得した男は興奮しながら家に戻る……という のがラストパート前までの大筋である．このあらすじに は一般の人々が理解に困るところはないだろう． 心学の先生による例え話の要点は，人間という道徳的 行為者がどこかで関係していない限り，被害が生じても 道徳的に非難される対象は存在しないというところにあ る．この世界観では人間だけが道徳的行為者とみなされ 得るのである．3. 人工知能は道徳的行為者とみなされ得るか
人工知能技術が特別に思えるのは，以上のような世界 観の内にうまく位置付けられないからだろう．人間だけ が自律的な行為者で，それ以外の存在は物理法則に従っ ているという二分法を，自律的＊4に振る舞う人工知能の 存在が掘り崩しているように思われる．人間だけが道徳 的な行為者であるという道徳実践についての我々の考え ＊2 以下の説明は，倫理学上の特定の立場や特定の哲学者の思想 についての説明ではないことに読者は注意してもらいたい．そ うではなくて，「倫理学的な議論」といった漠然とした言い方で 指し示されるような，倫理学者の間でおおよそ共有されている 前提として議論に用いられている事柄を説明していると考えて ほしい． ＊3 あらすじを記述するにあたっては，ウィキペディアの次の項 目を参照した．http://ja.wikipedia.org/wiki/ 天災 _（落 語）[2014/07/25 確認 ] ＊4 前章で論じた人間の自律性とは違い，人工知能の自律性は本 文で述べたような前提をもたない概念である．したがって，本 来ならこれら二つの自律性概念を全く同じようには扱えないの だが，本稿ではそこのところには立ち入らないことにしたい．方は，人工知能技術の発展によって修正を迫られている のかもしれない．例えば Floridi と Sanders がこのよう な方向性の議論を提案している [Floridi 01, Floridi 04]． 国際人権団体ヒューマン・ライツ・ウォッチが公表し た完全に自律的なロボット兵器の開発などに反対する報 告書 [HRW 12] で行われている議論も，同様の方向性に 基づいたものとして解釈することができるだろう．この 議論は法的責任についてのものであるが，道徳的責任に ついても同じように考えることができる．完全に自律的 な兵器によって無む辜この市民が殺された場合，誰が責任を 負うのか．軍隊の指揮官がその責任を負うべきとはいえ ないという．なぜなら，完全に自律的に振る舞う兵器に よってなされた特定の対象を攻撃するという選択に指揮 官は関与していないし，その兵器の振舞いに対する十分 なコントロールももち得ないからである＊5． だからといって，我々はこの殺人を天災とは決して考 えないだろう．この被害は確かに自律的な行為者によっ て引き起されている．だから何かが道徳的に非難されな ければならない．指揮官ではないとすれば，その選択を 行った兵器そのものが非難を受けるべき対象だというこ とになるかもしれない． 問題は，完全に自律的に振る舞う兵器にその責任を問 い，場合によっては罰を与えるという道徳実践が，少な くとも現時点では社会に受け入れられる見込みがない点 にある．その振舞いが天災とはみなされないという点で， 自律的な人工的行為者は道徳的行為者性の一部を備えて いるとみなされ得る．だが，その責任を問うことに意味 があるとまでは考えられていない．この点で人工知能技 術は，我々の道徳実践に完全に参与しているとまではみ なされていない．これが現在，そしておそらく近い将来 における，人工知能技術の道徳的行為者性に対する我々 の評価ではないだろうか．人間が全く関わっていないと ころでは責任が不在になってしまう．だからこそ，兵器 の人工知能が下す決定には人間が介在しなければならな いと上記の報告書でも主張されるのである． とすると次の問題は，自律的な人工的行為者に責任を 問えるとすれば，その条件は何かというものになるだろ う．しかしこの問いに対する十分な説得力のある答えを 倫理学は現状でもっているわけではない．率直にいえば， 倫理学は人間が責任を帰される根拠や条件さえ完全には 説明できていない．我々は実際に道徳的行為者であるの ではなくて，お互いにそうであるとみなすという「幻想」 を生きているだけかもしれないのである[佐々木 13]．我々 の道徳実践も，そのような幻想の上に成り立っているの かもしれない． また，少なくとも通常の状況においては，我々は何ら かの基準を適用して初めて相手を道徳的行為者とみなす ようになるわけではない＊6．むしろ最初からお互いにそ うみなしあっているのだ．このように道徳の説明には， 現にそうした道徳実践が営まれているとしか言いようが ない部分があるというのも事実である． 倫理学にとって可能なアプローチの一つは，そのよう な「みなし」や幻想がどのような機能を果たしているか を検討することだろう．現に営まれている道徳実践は， 我々に何を与えているのだろうか． ここで人工的行為者についての研究が道徳的行為者性 の理解に貢献することになるかもしれない．人工知能が 道徳的行為者とみなされることによって果たされる有用 な機能があるとすれば，それはどのような機能だろうか． この問いは，倫理学者と人工知能研究者が共同して検討 する価値のある問いに思われる．
4．人工知能は道徳的被行為者とみなされ得るか
道徳実践において人間は道徳的行為者だけでなく，道 徳的被行為者にもなり得る．道徳的被行為者である存在 とは，道徳的行為の受け手，すなわち，それに対して向 けられた振舞いが道徳性の観点からも評価される存在で ある．例えば無差別攻撃が非難される理由の一つは，そ の被害者達が道徳的被行為者だからというものである． 人工知能はそのような存在とみなされ得るだろうか． 倫理学では，道徳的行為者性と道徳的被行為者性は表 裏一体の関係にあり，道徳的行為者である存在は同時に 道徳的被行為者でもあり，またその逆も成り立つという のが，かつての標準的な見解であった [Gunkel 12]．い うまでもなく，人間が道徳的行為者かつ道徳的被行為者 であるような存在の典型例とみなされてきた． しかしながら動物倫理学や環境倫理学などの分野では 標準的見解に対する異論が提出されている．例えばシン ガーは苦痛を感じる能力を有することを道徳的被行為者 の条件とする立場を主張してきた [シンガー 11]．この 立場に基づくと，道端の犬を蹴飛ばすことは道徳的行為 だが，道端の石ころを蹴飛ばすのはそうではない．なぜ なら石は苦痛を感じないので，道徳的行為の受け手たる 道徳的被行為者の条件を満たさないからである．それに 対して蹴飛ばされた犬は，少なくとも痛そうな反応は示 すだろう．さらに解剖してみれば，確かに犬は十分に発 達した神経系を備えているという生物学的根拠も得られ る．そうして犬は道徳的被行為者とみなされることにな るが，必ずしも同時に道徳的行為者とみなされるわけで はない．我々は人を噛んだ犬に道徳的責任を問うたりは しないからである．少なくとも犬に関していえば，道徳 的行為者性と道徳的被行為者性は表裏一体ではない． 実際には人間でも必ずこれらが一体であるわけではな い．生まれて四か月の私の息子は疑いの余地なく（そし ＊6 裁判で責任能力が問われる場面などが例外となる． ＊5 その他，プログラマや製造会社にも責任を負わすことはでき ないと論じられている．てシンガーの基準を採用するかどうかにも関係なく）道 徳的被行為者であるが，現状では道徳的行為者ではない というのも確かである．確かに私は息子の能動的な振舞 いを道徳性の観点から眺めたことはこれまで一度もない し，その道徳的責任を問うたこともない．そしてそのこ とは息子が道徳的被行為者とみなされることに何らの影 響も及ぼさないのである． それに対して，前章で論じたように完全に自律的な無 人兵器は道徳的行為者性を限定的に備えているとみなさ れるかもしれないが，道徳的被行為者とはみなされない だろう．そのような兵器に対する攻撃が道徳的な非難を 呼ぶことはないように思われるからである＊7． シンガー的な立場に話を戻すと，彼の基準を採用した 場合，（我々にとって身体として認識しやすい）身体を もたない人工知能が道徳的被行為者とみなされるのには 困難があるという予測が出てくる．ロボットであるなら ば，蹴飛ばされたときに我々が道徳的被行為者とみなさ ざるを得ないほど痛そうな反応を示すものが将来的に開 発されるかもしれない．それに対して，例えば公共交通 機関の自動運行システムが痛みを感じているという事態 は，少なくとも直観的には理解しがたい． もちろん，道徳的被行為者性の基準はシンガーのもの 以外にも提案されているので，苦痛に満ちた状態を想定 するのが困難だからといって，人間にとって認識しやす い身体をもたない人工知能が道徳的被行為者とみなされ る可能性が閉ざされるわけではない．例えば意識をもつ という基準を考えることもできるだろう．意識をもつと しかいえないような人工知能の登場は，比較的想像はし やすいかもしれない． また環境倫理学では生命を有する，あるいは存在する といった，上であげた二つよりも広い範囲を道徳的被行 為者に含める基準も提案されてきた [Hunt 80]．環境倫 理学者には，動物だけでなく植物，場合によっては岩な どの無生物や生態系のようなシステムまで保護の対象と したい動機があるからである．これらの基準を検討した うえで Hunt は，完全な正当化の議論が示されるまでは どのような基準も恣意的という批判を避けられない点で 変わりがないと結論している．すなわち，モノやシステ ムが道徳的被行為者に含まれるという主張の理論的可能 性は，消極的にではあるが温存されることになる． このとき道徳的被行為者のように扱われる存在が道徳 的被行為者であるとするラディカルな立場も排除されな い．ここで，道徳的行為者の場合と同様に，人間同士で お互いに道徳的被行為者とみなしあっている理由や基準 さえ明確ではないという事実が重要となる．私は道徳的 被行為者性のいかなる理論的基準も息子に適用したこと がないだけでなく，その必要を感じたこともない．「本 当に」道徳的被行為者であるかどうかは，我々の道徳実 践にとって大して重要ではないのかもしれない． 人工知能技術についていえば，道徳的被行為者である かのように扱われる人工知能を目の当たりにして（つく り出して）初めて，我々はそれが道徳的被行為者である と気付くのかもしれない．もしそれが実現すれば，道徳 的被行為者性についての我々の理解に大きな貢献をなす ことになるだろう． 道徳的被行為者の議論に関連する他の論点としては， 人工知能に対する道徳的に不正な行為としてはどのよう なものが考えられるか，というものがある．例えば強制 的にその内容を変更する，あるいはスイッチをオフにす ることは，人工知能に対する危害とみなされるようにな るだろうか．少なくとも近い将来にそのようになるとは 考えにくいように思われる．
5．人工知能は道徳的評価者とみなされ得るか
最後に，ある状況について道徳性の観点から評価を下 す人工知能というものを考えてみよう．第三者的な立場 から道徳的評価を下す存在を道徳的評価者と呼ぶことに しよう＊8．そのような人工知能がどのようなものか現時 点では想像しにくい．将来的には，人工知能裁判官とで も呼ぶべきものが登場してくるのだろうか．そして，そ のとき我々は人工知能が下す判断を尊重すべきものとし て受け入れるだろうか． それに対し，第三者的ではない立場に置かれる人工 的行為者に状況を評価する機能を組み込む取組みはすで に始まっている．例えば，ロボット衛生兵は戦場におい て兵士の生命を救うために極度の苦痛を与える処置を行 うことが道徳的に許されるか，といった状況を想定した 研究が行われている [Reid 14]．また自動走行車の人工 知能は，どうやっても事故が避けられない状況を招いた 場合，何らかの基準において衝突すべき「最適な」対象 を選択するアルゴリズム，例えば他人の被害を最小化す る，もしくは自分に乗車している人間も含めて被害を最 小化するといったアルゴリズムを搭載するべきか，また そのようなアルゴリズムはどういうものであるべきか， といった議論も提起されてきている [Lin 14]．その他， ＊7 兵士がロボットに対して愛着を感じ，仲間であるかのように 扱っているという報告は，ここでの予測に対する反例の可能性 を示している [Armstrong 13]．ただし，この例や本文中の私の 息子の例は，ある特定の個人や集団によって道徳的被行為者と みなされている例であって，道徳的被行為者として社会的に受 容されるというのとは別の話であると主張されるかもしれない． この論点について本論で検討することはできないが，個人的な 愛着のようなものと社会的受容とを架橋する重要な試みとして [森岡 10] をあげておきたい． ＊8 道徳的行為者や道徳的被行為者とは違い，道徳的評価者とい う用語は倫理学で広く使われているわけではない．むしろ「公 平な観察者」のような語が使われているが，この語はアダム・ スミスのような特定の思想家の議論に結び付いているため，こ こではそのような結び付きをもたない道徳的評価者という語を 使うことにする．[Floridi 01] Floridi, L. and Sanders, J. W.: Artificial evil and the foundation of computer ethics, Ethics and Information
Technology, Vol. 3, Issue 1, pp. 55-66（2001）
[Floridi 04] Floridi, L. and Sanders, J. W.: On the Morality of Artificial Agents, Minds and Machine, Vol. 14, Issue 3, pp. 349-379 （2004）
[Gunkel 12] Gunkel, D. J.: The Machine Question: Critical
Perspectives on AI, Robots, and Ethics, The MIT Press （2012）
[HRW 12] Human Rights Watch: Losing Humanity: The Case
against Killer Robots （2012），http://www.hrw.org/sites/ default/files/reports/arms1112ForUpload_0_0.pdf （2014/07/25 確認）
[Hunt 80] Hunt, W. M.: Are mere things morally considerable?,
Environmental Ethics, Vol. 2, Issue 1, pp. 59-65 （1980） [Lin 14] Lin, P.: The Robot Car of Tomorrow May Just Be
Programmed to Hit You, Wired （2014），http://www.wired. com/2014/05/the-robot-car-of-tomorrow-might-just-be-programmed-to-hit-you/ （2014/07/25 確認） [三浦 09] 三浦広毅：画像分析による行動予測が犯罪を防ぐ，
Take IT Easy, 三菱総合研究所 （2009），http://easy.mri. co.jp/20090623.html（2014/07/25 確認） [森岡 10] 森岡正博：パーソンとペルソナ パーソン論再考，人間科学： 大阪府立大学紀要，Vol. 5, pp. 91-121, 大阪府立大学 （2010） [大澤 14] 大澤博隆：人工知能はどのように擬人化されるべきなの か ? ─人の擬人化傾向に関わる知見と応用─，人工知能，Vol. 29, No. 2, pp. 182-189 （2014）
[Reid 14] Reid, A.: Teaching Robots Right from Wrong, Tufts Now （2014），http://now.tufts.edu/news-releases/ teaching-robots-right-wrong（2014/07/25 確認） [佐々木 13] 佐々木拓：ロボット倫理学の基礎：責任とコントロール， 社会と倫理，第 28 号，pp. 67-79，南山大学社会倫理研究所 （2013） [シンガー 11] ピーター・シンガー 著，戸田 清 訳： 動物の解放 改 訂版，人文書院 （2011） [土屋 03] 土屋 俊，水谷雅彦，越智 貢 編著：情報倫理の構築，第 1 章 コンピュータ・エシックス？ インターネット・エシックス ?， pp. 1-38, 新世社 （2003） 2014年 8 月 3 日 受理 監視カメラに写っている行為者の動作や姿勢などから犯 罪の発生を予測して防止するシステムなどもある [三浦 09]． これらの例は倫理学にとって興味深い問題をそれぞれ 含んでいる．しかしながら，根本的には土屋の言う工業 製品についての議論の範疇を超えるものではないと考え られる．
6．結 論
本稿では，人工知能が我々の道徳実践にまで浸透して くるかという問題を検討した．結論としては，道徳的被 行為者または道徳的評価者として，人工知能が近い将来 に我々の道徳実践に参加してくるとは考えにくい．それ に対して完全に自律的な人工知能は，それがなした決定 や振舞いに関与した唯一の自律的行為者となる行為者で ある．この意味で道徳的行為者性の一部を備えていると みなし得るだろう．しかしながら，そのような完全に自 律的な人工知能に対して道徳的責任を問うたり，罰を与 えたりすることまでできると我々は考えていない．近い 将来において人工知能が道徳的行為者として我々の道徳 実践に浸透してくることも，やはり考えにくいのではな いだろうか． しかしながら，この評価は間違っている可能性がある． 大澤が指摘しているように，生まれてもいない技術の影 響をあらかじめ評価することはできないからである [大 澤 14]．この意味で確かに倫理学者は常に「後手」に回 るだろう．したがって我々にできる最善は，遅れを最小 限にする努力を行っておくことである．領域横断的な交 流をもっておくことは，そうした努力の一つであるよう に思われる．◇ 参 考 文 献 ◇
[Armstrong 13] Armstrong, D.: Emotional attachment to robots could affect outcome on battlefield, UW Today（2013）， h t t p : / / w w w . w a s h i n g t o n . e d u / n e w s /2013/09/17/ emotional-attachment-to-robots-could-affect-outcome-on-battlefield/（2014/07/25 確認）
