堀　浩一

Home About

   English

人工知能とは

下は、人工知能学会誌Vol.28, No.5 (2013年9月) に掲載された解説記事の草稿です。人工知能学会の許諾を得ましたので、ここに掲載します。

人工知能のユーザが安心して人工知能を使えるように、また、人工知能の研究者が安心して人工知能の研究を進められるように、人工知能の研究に関する何らかの倫理的な指針のようなものを定めたほうがよいと私は考えています。しかし、当然ながら、これについては様々が意見があり、今後、世界中の研究者もまきこんで、議論を行っていく必要があります。
まずは、この人工知能学会誌のレクチャーシリーズ「人工知能とは」のすべての記事を一般にも公開して人工知能の将来像に関する議論の場を提供することを、人工知能学会で検討してもらっています。

　　　　　２０１３年１０月３日　堀　浩一　（東京大学）

　人工知能とは

　　　　　堀　浩一　（東京大学）　

　　　　　　　 人工知能学会誌, Vol. 28, No.5, pp.793-801 (2013)　の草稿

まえがき

　すでにこのレクチャーシリーズも第５回である。 「人工知能とは何か」という人工知能研究者にとっては答えるのが容易でない質問に対して、これまでに４人の先生方が回答を試みられてきた。筆者が付け加えるべきことはもうあまり残っていない。 しかし、４人の先生方のおっしゃるとおりと言って済ませてしまったのでは面白くない。 人工知能とは何かという問いに対する答がひとつに決まっていないからこそ、人工知能研究は面白い。 その面白さを伝えるためにも、無理にでも、これまでの４人の先生方との違いを強調して回答を作ってみることにしよう。{注： たまたま同じ号に、関連の深い特集記事[堀 13]も 執筆したので、そちらも参照してほしい。人工知能研究者は 人工知能学会向けの顔、認知科学会向けの顔、工学部向けの顔、等々、 いろいろな顔を持っているので、 特集記事と本レクチャーシリーズ記事とで別の立場から 書くことも可能ではある。が、混乱を 避けるため、同じ立場で書くことにした。そのため、一部の議論が重複している ことをご容赦願いたい。（注終わり）}

人工知能とは？

　「人工知能とは何か」という問いに対して、「人工の知能である」と答えたのでは、何も答えたことにはならないであろうが、５人の回答を見ると、中島、西田、堀の３名の回答の中に「知能」という語がそのまま残っている。 知能とは何かについて一言では言えないので、そのまま残して、あとで議論するという回答の構造になっている。 筆者もその構造を採用させていただき、少しずつ順番に論じていくことにしたい。
　堀の回答では、「新しい」および「世界」の二語を加えていることに注意してほしい。
　自然界にすでにあるもの（たとえばダイヤモンド）と同じ構造と性質をもった人工物（たとえば人工ダイヤモンド）を作るのではない、ということを強調するために「新しい」という語を入れてみた。 また、作るのは「知能」ではなく、あえて「知能の世界」であるとしてみた。 知能そのものだけでなく、知能が関係するいろいろな領域を包含するという意味で、世界ということばを用いることにしたい。
　「人工衛星」を作る時に、地球の衛星であるところの月の構造と性質をすみからすみまで調べる必要は無いし、そもそも月の真似をしようとして人工衛星を作るわけではない。 それと同様に、「人工知能」を作る時に、知能の構造と性質をすみからすみまで知っている必要は無い。 我々は、人間の知能や動物の知能を参考にしつつも、それらと同じ知能を作ろうとしているのではなく、「新しい知能の世界」を構成的に作ろうとしているのである。 人工衛星の設計者は、宇宙空間に存在する衛星に関する質問の全部に答えることはできないが、自分の作る人工衛星の構造と機能について答えることはできる。 同様に、我々人工知能研究者は、知能に関するすべての問いに答えることはできないが、自分たちが作る新しい知能の世界について答えることはできる。
　何を作るかについて、中島の答は「実体」、西田の答は「メカ」、溝口の答は「もの（システム）」、長尾の答は「システム」となっている。 これに対して、堀の答は、あえて、「世界」にした。 「システム」という用語でもかまわないのであるが、「システム」と聞くとコンピュータシステムのことと狭くとらえる人も多いであろうから、あえて「世界」と大きく言ってみた。
　「人工衛星」の研究者が作るのは、「衛星そのもの」だけではなく、衛星を所望の目的に沿って機能させるための地上局を含めたシステムの全体である。 同様に、人工知能研究者が作ったり調べたりするのは、「知能そのもの」だけでなく、知能が機能するための環境を含めた「知能の世界」である。人間の知能そのものはそのまま残して、知能が機能するための環境だけを新しく作ることもある。
　たとえば、堀が行って来た創造活動支援システムの研究[Candy 03][堀 07]がめざしてきたのは、支援システムそのものの製作ではなく、新しい知能の世界を構成することである。 その新しい世界は人間と機械の両者が組み合わさって構成されており、そこでは、人間だけあるいは機械だけの世界では存在しなかった新しい知的活動のプロセスが創発的に生まれる。
　仕掛そのものは知的でなくとも仕掛けがあることによって人間の知的活動が変化することに着目した松村の仕掛学[松村 11]においても、仕掛を上手に作り込んだ新しい世界を構成しようとしている、と言うことができるであろう。 集合知の研究も、同様に、社会全体の知能が今までとは違う知能に変わった新しい世界をめざしている、と言えよう。
　「知能そのもの」については、本レクチャーシリーズの前回までの４人の筆者による解説でさまざまな観点から十分に議論されている。 筆者が特に付け加えるべきことは無いように思われる。 したがって、「知能そのもの」に関する議論については、前回までの解説記事を参照してほしい。
　次節で、「知能の世界」について、さらに議論する。

「知能の世界」とは何か？

答：　いきなり一言で答えたくないので、本節を読んでください。節の最後に答をまとめました。



　知能の世界を論じる前に、もう少しなじみのある世界を思い起こしてみよう。 たとえば、「文学の世界」あるいは「ビジネスの世界」とは何であろうか。 文学の世界を構成する要素としては、作家、作品、出版物、出版社、編集者、読者、評論家などが考えられる。 それらの要素間の相互関係の総体として文学が成立している。 同様に、ビジネスの世界は、取引を行う人間、商品、お金、取引の場、取引の規則や慣習などの要素から構成され、それらの相互関係の総体としてビジネスが成立している。 文学もビジネスも、「もの」ではない。いろいろな要素間の相互関係の総体である。
　それらと同様に、「知能の世界」を構成する要素としては、人間の頭脳、人間の身体、道具、問題、答、データ、情報、知識、知恵、価値、感情、言語、機械のプログラム、機械の身体、機械のネットワーク、人間のネットワーク、などを挙げることができる。 「知能」はそれらの要素間の相互関係の総体である。 知能という「もの」が存在しているのではない。 人工知能研究者が作る「新しい知能の世界」は、新しい要素を投入したり、要素間の関係のあり方を変更したりすることによって、要素間の相互関係の新しい総体を作り出した世界である。
　これでは、定義があまりに大きくなりすぎている、と不満を抱く読者も多いことであろう。たしかに、これでは人工知能研究の守備範囲が広がりすぎるように思われる。 経済学も文学も芸術も法学も人工知能研究の一部になってしまいそうである。
　しかし、最近の人工知能学会全国大会を覗いてみればわかるのであるが、実際に、経済学も文学も芸術も法学も、すでに人工知能研究の一部になっている。 既存の領域内で成立していた相互関係の総体では扱えない現象や問題を扱いたい人々が人工的に新しい世界を作りたいと考え、人工知能学会に集まってきているのである。なぜ人工知能学会なのかと言えば、人工知能研究以外では扱っていない要素間の関係を人工知能研究では扱っているからである。 たとえば、データと情報の関係しか扱ってこなかった統計学の人々が知識や価値を扱いたいと考え、人工知能研究に参入している。 金融バブルが何故発生し今後それをどうすれば防止できるかを考えたいけれども従来の経済学だけでは無理と考える人々が、人間の頭脳や情報や知識や価値も扱うことのできる人工知能研究に参入している。
　今や、学問の王様であるところの哲学と並べて、人工知能研究を論じるべき時がやって来たのかもしれない。 人間を取り巻く世界を思弁的に解明する役割を哲学が担っているとしたら、人工知能研究は、それと相補的に、人間を取り巻く世界を構成的に作り替えていく役割を担っている、と言えそうである。
　とりあえず、ここまでの議論をまとめてみると、次のようになる（ここまでの議論で用いた日本語に対応する英語が何なのか気になる読者も多いと思うので、英語でまとめておく。）


では、人間の頭脳、人間の身体、道具、問題、答、データ、情報、知識、知恵、価値、感情、言語、機械のプログラム、機械の身体、機械のネットワーク、人間のネットワーク、などの間の新しい関係を扱えば、なんでも人工知能研究なのですか？

答：　はい、そうです。

　何が人工知能の研究で何が人工知能の研究でないのかの境界は、閉じられておらず、常に開かれている。人工知能研究者は、言わば、来るもの拒まず去るもの追わず、の精神で人工知能の研究を行ってきた。 人工知能とは何かとか人工知能研究とは何かとかの問いに対する答も固定していない。 そのために、人工知能研究の全体像がわかりにくくなっていることは確かかもしれない。
　本レクチャーシリーズは、それらの問いに少しでも答えようと、松尾編集委員長が企画したのであるが、実は、本記事の筆者が編集委員長に就任した２００４年にも似たようなことを企画したのであった。 人工知能研究の全体像のマップを作り、マップ中の位置に対応付けて１年間の学会誌の解説特集を構成し、学会誌でそのマップと特集の位置づけを提示してみたいと考えた。 編集委員会で議論を重ねたが、結局はマップを作ることはできなかった。 人工知能の研究の世界は、静的なマップに写像できない動的な世界であるようだ。 マップ作りはあきらめ、各編集委員が夢見ている人工知能の姿を列挙する特集を組むことになった。 それが、人工知能学会誌Vol.20, No.3（２００５年５月）の特集「ようこそ人工知能の世界へ」であった。 その特集記事のタイトルを並べてみよう。



　ちなみに、２００４年当時の人工知能学会誌のキーワード表は下のとおりであった。


　このキーワード表を見ると、今も生き残っているキーワードもあるし、もうあまり見かけなくなったキーワードもあることがわかる。 また、全体的にこの２００４年のキーワード表は古く、上の２００５年の特集号のタイトルには、現在の人工知能研究につながる新しいテーマがあらわれている。 {注：　キーワード表は、現在もあまり新しくなっていない。 ひょっとしたらそれが論文誌があまり面白くない一因かもしれないので、大変な作業になるが、時代に合せてキーワード表も作り直すべきだろう。（注終わり）}
　このように、人工知能研究は、研究領域を動的に変化させつづけてきた。 したがって、「人間の頭脳、人間の身体、道具、問題、答、データ、情報、知識、知恵、価値、感情、言語、機械のプログラム、機械の身体、機械のネットワーク、人間のネットワーク、などの間の新しい関係を扱えば、なんでも人工知能研究なのですか？」という問いに対する答には、単純に「はい、そうです。」と答えたいと考える。
　今後、どのような方向で研究を行うべきかは、各自で考えなければならないことである。 各研究者が最も大事で最も面白そうだと考える問題に取り組んでいけばよい。

ここまでの回答は本レクチャーシリーズ過去４回の回答と矛盾していませんか？

答： 大きなところでは矛盾していませんが、いろいろと違いはありますね。

　ここで、過去４回の記事との関連を示しておこう。
　ごく乱暴に分類すると、中島、溝口、長尾の３名は「知能」を論じており、西田と堀は「知能の世界」を論じている。 そういうグループ分けになることはやや意外でもあるのだが、それぞれの研究者が作りたいもの（あるいは作りたいこと）の差が、そこはかとなくあらわれているようにもみえる。

脳科学と人工知能研究の関係は？

答：　サイエンスとしての知能の研究と脳科学は大いに関係がありますが、エンジニアリングとしての人工知能の研究にとって脳科学は必ずしも必要ではありませんし十分でもありません。

　この答は「人工知能とは人間の頭脳活動を極限までシミュレートするシステムである」とした長尾の記事と矛盾していると思われるかもしれないが、筆者は、矛盾しないと考える。 長尾の記事は、脳科学の延長上に人工知能を位置づけようとしているのではなく、人工知能ですでに実現されている機能とまだ実現されていない機能を列挙して議論し直すために、人間の頭脳の機能を持ち出している、と筆者は受止めた。 その議論は大いに興味深く、勉強になった。
　量子科学がいくら進歩しても天気予報の精度が高くなることはないというのと同様の関係が、現在の脳科学と人工知能研究の間には存在している。 前節でも述べたように、現在の人工知能研究は、認知科学や言語学は当然として、統計科学、経済学、法学、等々さまざまな分野の研究と深い関係を有している。 その中で脳科学だけが特別の位置を持つということはもやは考えられない状況になっていると言ってよいであろう。

intelligence amplifierの研究は人工知能の研究か？

答：　はい、そうです。

　中島は、intelligence amplifierは人工知能ではないと論じている。 道具としてのintelligence amplifier自体が知能を持っているのでなければ、字義から言って、中島の言うとおり、intelligence amplifierそのものは、人工知能ではない。
　しかし、道具としてのintelligence amplifierと人間のintelligenceを組み合せた世界は、もはや、元の世界と同じではない。 解けなかった問題が解けるようになることもある。 人工知能研究により実現したいことの一つが、これまで解けなかった問題を解けるような知能を作ることであるとするならば、intelligence amplifierの研究は、間違いなく人工知能の研究である。
　道具を使うことにより、道具を使わない時には解けなかった問題が解けるようになったことを、新しい知能の出現と呼んでいいのかどうかということは、議論してもよいが、議論しなくてもよいことである。 中島の議論でも、intelligence amplifierは「知能」の研究としての人工知能研究ではない、とされている。 しかし、「新しい知能」は出現していないにしても、「新しい知能の世界」は出現していると言ってよいであろう。 この議論は、「人工知能の将来像は？」という質問に対する回答とも関係してくるので、それも御覧いただきたい。

溝口先生の回答では、知能の本質ではないとされていた、 「分散認知」、「環境とのインタラクション」、「symbol grounding」、 「身体性やインタラクション」について、どう考えますか？

答：　私が作りたい新しい知能の世界にとりましては、それらは重要な要素です。

　溝口は、知能の本質とは何かという議論の文脈において、それらが本質的な要素ではないと論じている。 「知能」だけを取り出した時に、それらがその本質的な要素か、と問われるならば、そのとおりなのかもしれない。
　しかし、創造活動支援システムの研究などにおいては、それらは、間違いなく重要な要素である。 たとえば、人が創造的に新しい人工物を設計しているという場面を想像してみよう。 そこでは、「分散認知」、「環境とのインタラクション」、「symbol grounding」、「身体性やインタラクション」などが無ければ、知能は機能しない。 それらの要素の新しいあり方を作ってみせることは、人工知能研究の重要なテーマである。
　これについては、次節の「創造性とは何か？」および最終節の「むすびにかえて、誌上討論」も御覧頂きたい。

創造性とは何か？

答：　創造性という単独の特別な能力あるいは性質があるわけではありません。 知能の全体的な働きの総体に対するひとつの名付けです。

　「創造性をはぐくむ教育のあり方」などというような字面を見ると、「創造性」という何か特別なものがあって、それを増強できると考えている人たちがいるらしいことがわかる。 しかし、多くの認知科学研究者や人工知能研究者がこれまでに明らかにしてきたのは、「創造性」に直接対応する特別のものや特別の認知プロセスが存在するわけではないということである。 創造性というのは、知能の全体的な働きのひとつのあらわれに対する名付けに過ぎない。
　筆者とその仲間たちが研究し、実現してきたのは、「創造性」の支援ではなく、「創造活動」の支援である。 {注：　堀の著書[堀 07]にも書いたが、英語でcreativity supportと言う時も、それは、creative abilityのsupportではなく、creative activityのsupportを意味する。（注終わり）}
　たとえば、前節でも例に出した新しい人工物を設計するという状況を考えよう。 人工物を設計するために用いている概念空間が不連続に新しい空間にジャンプし、結果として新規で有用な人工物を設計できた時に、創造的な設計がなされた、と呼ばれる。 その状況で働いている認知プロセスは、通常の知的活動を行っている時と異なる特別な認知プロセスではない。 ただ、通常の仕事のやり方では、概念空間が特定の空間に固定されてしまい、新しい空間へのジャンプが起こりにくくなる。 創造活動支援システムが行うのは、そのジャンプが起こりやすいように人間の知能のまわりの環境を変更してみることである。 「知能そのもの」の研究ではなく、まさに、「新しい知能の世界」を作るという研究の一例になっている。 その詳細については、筆者の著書[堀 07]などを参照していただきたい。

心とは何か？意識とは何か？

答：　どちらも、下位要素の相互関係の総体である。

　心も意識も「もの」として独立に存在しているのではない。 心や意識という上位の存在は、下位の要素の関係の総体として出現し、かつ下位の要素の間の関係を支配する。
　たとえば、将棋ソフトを考えてみよう。 すでに、将棋ソフトに心は出現している、とも言える。将棋ソフトが解空間を探索した結果、卑怯な手ばかりを打ったとすると、そこに卑怯な心が出現し、結果的に、卑怯な心を持っていると見なされる可能性は大いにある。 将棋ソフトの卑怯な心を、人間は読み取るのである。 将棋ソフトの卑怯な心は、解空間の探索と解の選択のための下位の要素の相互関係の総体として上位に出現するのである。 その将棋ソフトの作者は卑怯な心を持った人ではないかもしれないが、将棋ソフトが卑怯な手を打てば、そこに卑怯な心が見出されてしまう。 卑怯だと批判されたら、作者は解探索の評価関数を変更することになるだろう。 卑怯な心をもった将棋ソフトから卑怯な心を消すためには、下位の要素であるところの解探索の評価関数を変更すればよい。
　将棋ソフトと戦っている棋士や観戦者が、将棋ソフトに卑怯な心を見出しただけで、将棋ソフトに心があるとは言えないのではないか、という反論もありうるだろう。 しかし、心というのはもともとそういうものなのではないだろうか。 人間は、犬や猫はもちろんのこと、草花や、文脈によっては蒸気機関車にも、その心を読み取るのである。
　ただし、現在の将棋ソフトは対戦相手の心を読み取ることはしていないし、自分の心や相手の心を解探索に利用することもしていない。 そういう意味では、人間の心と将棋ソフトの心（みたいなもの）との関係は現在は非対称である。
　心は、下位層の要素間の相互関係から上位層に出現するのであろうが、ただ現象として出現するだけでなく、下位層へ作用を及ぼすという性質を持っている。 これについてはどうであろうか。 たとえば、将棋ソフトに出現した卑怯な心は、下位層へ影響を与えていないのであれば、心とは言えず、人間が読み取った言わばまぼろしの心なのではないだろうか。
　これについては、将棋ソフトに仮想的に出現した卑怯な心は、実は、下位の要素のふるまいを支配していると考えることができ、心と同様の性質を持っているのだと考えることができる。 下位の要素間の関係から自己組織化系が形成されているというようなモデルを考えればよい。 卑怯状態というアトラクタに系全体が引き込まれるようなモデルである。 将棋ソフトの作者がやれることは、要素間の関係を変更して、卑怯状態というアトラクタが出現しないように系を作り替えることである。
　将棋ソフトが「無心」に解を探索し、人間の棋士が「無我」の境地で勇猛果敢な心を持って対戦しているという場面を想像しよう。 無我の境地にある時、棋士は自分の心を「意識」していない。ところが、ふっと、「我」に返って、「いかんいかん、勇敢すぎた、もっと沈着冷静になろう」と意識し、自分の心を制御するかもしれない。その結果、打たれる手も変わるかもしれない。 この場合、将棋の戦い方の構成要素の総体として心が出現していたとしたら、意識は、その心を要素に含んで、さらに上位の存在として出現すると言えそうである。 意識は、心を構成する要素および心という要素の間の相互関係の総体であるということになる。
　現在の将棋ソフトは、自分が今卑怯であるか勇猛果敢であるかという心に相当する状態変数のようなものを利用していない。 しかし、自分の心と相手の心を利用するようにソフトを作り替えることは可能かもしれない。 それは、結果として、将棋ソフトに意識に相当するものを出現させることに相当するであろう。 たとえば、将棋ソフトが、自分は今、勇敢であるか、卑怯であるか、相手が卑怯であるか、勇敢であるか、を意識し、それによって、探索手法を変更する、というようにソフトを作ることは可能かもしれない。
　人工知能研究者が議論すべきことは、機械が心を持つかどうかではなく、機械に心を持たせたいか、持たせたいとしたら何のためにどのような心を持たせたいかであると、筆者は考えている。 基本的には、機械は「無心に」仕事してくれたほうが嬉しいように思われる。 カーナビの指示に従わない運転者に対して怒りの心を抱くようなカーナビは欲しくない。 あくまでも「無心に」目的地へのルートを探索してほしい。 しかし、目的によっては、機械に心を持たせたほうが望ましいという状況もあるかもしれない。 たとえば、事故を回避すべき状況で、運転支援システムが感情的に金切り声で警告してくれるのが有効というようなことがありうるかもしれない。
　次節の「人工知能の将来像は？」という質問への回答の中で議論するが、西田は積極的に心を持った人工知能を構成すべきであると主張している。 筆者は、今のところ、トップダウンに心を作り込むよりは、心の下位に存在する要素とそれらの間の関係を透明に構成することが重要であり、それらを変更することにより、結果として出現するかもしれない心を制御できるようにしておくべきであると考えている。

人工知能の将来像は？ 人工知能の研究が進み過ぎることに対する一般の人々の不安に対してどう答えますか？

答： 人々が安心して使える道具としての人工知能をどうやって実現していくのかの指針を示すことが人工知能研究者の責任であると考えます。

　今後人工知能の研究がどんどん進んでいった先の未来の姿について具体的に論じているのは、本シリーズの過去４回の中では西田だけであるので、ここでは、西田と筆者の考えの共通点と相違点を示してみたい。
　西田と筆者で共通しているのは、いわゆるtechnological singularity（技術的特異点）の問題を避けて通ることはできないだろうという認識である。singularityの問題とは、技術の進歩が指数関数的に進む中で、ある時点で、人間の能力をはるかに超えたsuperintelligenceが出現するであろうという問題である。 人工知能の研究も関係しているし、それよりも恐そうな遺伝子技術に代表される生命技術の研究なども関係している。
　これについては、すでに人工知能学会誌でも特集が組まれている [山川 13]。 その特集号を読んでみていただければわかるとおり、現在のところは、抽象論に終始しており、具体的な設計論などは何も提示されていない。 西田の記事の興味深いのは、singularityの問題に対する一つの解決策の案を提示していることである。
　今のところまだSFみたいなものだと無視する研究者も多いようであるが、無視できない問題がすでに発生し始めていると筆者は考えている。
　たとえば、superintelligenceにはほど遠いし、あまりintelligentではない存在であるにも関わらず、Google検索は既にある種のoracle（神託）の役割を果たしていないだろうか。 商品を検索した時に自社の商品が検索結果に出て来ないのではその会社は商売にならなくなってしまっているし、氏名を入れただけで悪意を持った誹謗中傷のキーワードが検索語予測機能によって示されることによりその人の社会的信用が失われてしまうという事態が発生したりしている。
　Web上の情報を検索するシステムだけですでにこうなのであるから、singularityまで到達する以前に、たとえば、GoogleとWatsonとSiriあるいはしゃべってコンシェルを組合わせただけでも、相当にこわい世界が出現する可能性はあるだろう。
　西田の記事では、superintelligenceの出現に伴う問題として、技術の乱用(technology abuse)、責任能力の破綻(responsibility flaw)、モラルの危機(moral in crisis)、人工物への過度の依存(overdependence on artifacts)を挙げている。 そして最も重要な問題としてヒューマニティの危機を挙げ、「人は自分の運命を他者に託すのではなく、自分で決めるという自立性を守りたい」と述べ、だから「心をもつメカとしての人工知能が望まれる」と主張している。
　筆者がこの西田の記事でよく理解できなかったのは、どうして「だから心をもつメカ」なのかである。 西田は「心をもつメカ」をsuperintelligenceと人間との間に立つ存在として描いており、superintelligenceは心を持つメカとは別物として扱っている。 西田の記事を極端に解釈するならば、臭いものにふたをするふたの役割を心をもつメカが果たし、臭いsuperintelligenceは臭いまま、とも読めなくはない。 西田の意図するところは、そのような臭い物にふたをする役割を心を持つメカに担わせることではないと想像されるが、心を持つメカとsuperintelligenceの関係について、今後議論を深めていく必要があろう。
　筆者が考えているのは、西田の描く世界とはやや異なる世界である。 一言で言えば、superintelligenceと人間との間に心をもつメカを置くのではなく、superintelligenceから創発的に生まれるかもしれない心が人間に望ましくないものにならないようにするために、あるいは望ましくない心が出現した時に即座にsuperintelligenceを修正することができるように、今のうちに全世界の人工知能研究者が協力して、superintelligenceの作り方の指針を定めておくことである。
　人間による制御が不可能になるようなintelligenceがsuperintelligenceなのだから、superintelligenceの制御を考えるというのは自己矛盾であるという考え方もあるだろう。 それに対して筆者が考えるのは、superintelligenceも人間が作り出すものである以上、あらかじめ制御可能とするための仕組みをできるだけたくさん作り込んでおくことが研究者の責任であるということである。
　どんなに制御可能なように作っておいても、全体が非線形の複雑系なので予期せぬ現象が出現するということはあるだろう。そうではあっても、問題が起きた時に対処しやすいように作っておくか、対処しやすさを考えずに作っておくかでは、大きく違うはずである。 我々は技術者であるから、そのことをよく知っている。
　「清く正しい心」や「思いやりの心」をあらかじめsuperintelligenceに組み込んでおくということは考えられなくはないかもしれない。 しかし、「心とは何か」という質問に対して答えたように、多くの要素の間の相互作用の全体的な総体として、「心」に相当すると読み取られる現象が出現すると考えるほうが自然であると、筆者は考えている。 であるとするならば、我々にできることは、要素間の関係がいつでも見られるようにしておき、要素間の関係をいつでも作り替えられるようにしておくことであろう。別の言葉でいいかえれば、superintelligenceの構造と機能を可能な限りtransparentにし、可能な限りblack boxの部分を減らす、ということである。 また人工知能自らが自分を構成している要素と要素間の関係について説明できるようにしておくことも望まれる。それによって、結果としてあらわれている現象の原因をいつでも追求できるようにしておきたい。
　ここまでは、技術的にも十分に可能だし、「今後我々はそのように人工知能の世界を構成していく」というある種の倫理的な宣言を世界中の人工知能研究者が協力して行うことも検討すべきだと思う。 意識も、心も、実体ではなく、下位レベルの相互作用から生まれる上位レベルの現象であると筆者は考えている。 下位レベルの作り込みを透明、自己説明可能、かつ可制御に行うべき、というのが筆者の考えるAI倫理である。
　しかし、その先に、技術的な問題を超えた難しい問題は相変わらず残る。 ここからの議論はSF的な抽象的な話になってしまうが、一応、筆者の考え（あるいは夢）を示しておきたい。
　たとえtransparentに作っておいても、誰が要素間の関係を変更する権限を持つのかという問題は残るし、superintelligence自身も自分の要素間の関係を変更しようとするかもしれないし、問題はいつまでたっても循環するかもしれない。
　ひとつ考えられるのは、要素間の関係の変更の権限が一般市民全員に分散的に委譲されているというような構造にすることである。 そうすれば、市民の集合知としてsuperintelligenceの心が生まれるという形になるかもしれない。 その場合、全世界で一つのsuperintelligenceがひとつの安定状態に落ち着くとは考えられないので、ローカルなコミュニティごとに異なる心が出現した分散的な世界に自然に落ち着くであろう。 これは西垣による集合知に関する議論[西垣 13]にも通じる。 西垣の言う「下位レベルにある暗黙知や感性的な深層をすくいあげ、明示化するような機能」を我々の作る新しい知能の世界の中に作り込みたい。 それは、まさに筆者が創造活動支援システムの研究の中で試みてきたことでもある[堀 07]。
　それがうまくいけば、現在のGoogleやAmazonやfacebookに寡占的に支配された世界ではなく、ローカルな文化が活性化された、今よりも精神的に豊かな世界を構成することができるかもしれない。 いや、できるかもしれないではなく、ぜひとも、そのような新しい世界を構成すべく、研究をつづけたい。

むすびにかえて、誌上討論

　本レクチャーシリーズのこれまでの４回の著者の先生方と筆者は同じ時代に人工知能の研究を行ってきた仲間であるので、本音のところではあまり大きな考えの違いが無いような気がする。 しかし、今後の議論を面白くするためにも、あえて違いを強調して本稿を作成してみた。
　そこで、本記事の草稿を過去４回の著者の先生方に電子メールでお送りして、コメントを頂戴した。 その中から溝口先生からのコメントと長尾先生からのコメントをここで紹介して、本稿のむすびとしたい。
　溝口先生からは、「重要，必要」と「本質的」の区別について、コメントを頂戴した。まず、それを 紹介したい。

溝口先生からのコメント：

¥begin{quote}
　堀論文においては、「人が創造的に新しい人工物を設計しているという場面を想像してみよう。 そこでは、「分散認知」、「環境とのインタラクション」、「symbol grounding」、「身体性やインタラクション」などが無ければ、知能は機能しない。それらの要素の新しいあり方を作ってみせることは、人工知能研究の重要なテーマである。」と述べられている。
　ここで、堀は「分散認知」、「環境とのインタラクション」、「symbol grounding」、「身体性やインタラクション」などが「重要な要素」であると主張しているのであり、それらが「知能の本質」であると主張しているわけではないことに、読者は注意する必要がある。
　溝口が解説した、知能の本質的要素であるところの、
1．推論と思考，2．学習と記憶，3．問題解決，4．言語とコミュニケーション， 5．自己認識とメタ認知，6．先の5つの全ての基盤となる記号処理を支えるための，実世界と記号の双方向変換機能
という6つの基本要素では創造性の説明は，本来的に出来ない。 なぜならば，創造性がいかなる思考に則っているか未知であり、当分知り得ないものだからである．普通で言う知能とは別のものなのである．
　絶対に誤解して欲しくないが（そしていくら説明してもいくらかの人は誤解するであろうが敢えて言う）創造性を発揮できる人間はごく限られる． そして，それを知能の本質の一つに入れてしまうと，大多数の人間が普通に発揮している知能，6つの要素を駆使して発揮している知能を軽視する傾向が生まれることを危惧するのである． 6つの知能をないがしろにしかねない議論へ発展する傾向を持つ「創造的思考の過度な偏重によるゆがんだ知能への見方」には強く抵抗したい．
　学習理論の発展の要約を解説で触れたことには大きな意味がある．単にこれまで指摘されていなかった（6つの要素以外の）新しい要素（例えばインタラクション）が重要な側面があるからと言って，それが最大の重要な要素，あるいはこれまでの6つの要素を軽視した「知能の理解」へ進むことは極めて危険である． それは学習理論の歴史が証明してくれているのでそれから学ぶべきである．
　人間は社会的動物である．文化は集合知の権化のようなものであり，無意識に個々人の人格形成，行動への制約として働いている．しかし，そのことは「知能とは（その本質は）何か」という問いとは話は別である．そうだからと言って個々人が持つ知能に関する見方はなんの変化もない． ただ，そういう制約の中で6つの知能要素を発揮しているだけである． 私は「身体性やインタラクション」を否定していない． ただそれは「新しいパラダイム」と見る必要性が乏しく，単に，一個の知能（頭脳）が他の頭脳とインタラクションすればいいのであるし，身体性の制約の下で行動すればいいと主張している．
　必要であるからと言って本質であるとは言えない．重要だからと言って別のパラダイムが必要であることにはならない． 別のパラダイムを要求するときにはもっと慎重になる必要があるということを、あらためて確認しておきたい。
¥end{quote}

　この溝口先生からのコメントに対して、筆者もまったく異論は無い。 筆者も創造性という特別の能力が知能の本質的な要素の一つとして存在しているとは考えていない。 筆者が、従来から「創造性支援」という用語ではなく、「創造活動支援」という用語を用いてきたことにもそれがあらわれている。 筆者らが作ってきたシステムが支援するのは、創造性ではなく創造活動である。 溝口先生にコメントしていただいたとおり、誤解している人も世の中には少なくないようであるので、筆者の本解説記事の本文でも、そのあたりを少し強調してみた。

長尾先生からは、下の２点のコメントを頂戴した。

\begin{quote}

（１）機械（人工知能）に心を持たせる問題

　これは機械を使う人から見て　“機械が心を持ったように感じられる”　ようにすることである。 使用者の気持ちを汲んで行動してくれる機械は徐々に実現するだろう。褒めたり叱ったりしながら生徒の教育をするシステム、あるいは人と論争をすることによって人の考えを深めてくれるシス テムなども作られるようになるだろう。 要するにこれから作られる機械を人間にとって実に便利で文句のつけようのないもの（人間の秘書、完璧な 使用人のよう）にすることができれば、心を持つ/持たないの問題は論じなくてもよいわけである。 人工知能はこれを目指すべきであろう。

（２）人工知能は暴走する？

　人あるいは社会が人工知能を心配するのは、世界には悪があり、どんなに防御的な配慮をしてもそれを潜り抜けて悪をなす者がいるという事実があるからである。 堅固に作られたソフトウエアシステムに対する侵入やネット上のサイバー攻撃、無人攻撃機による戦争等々いろいろある。 人間による制御が不可能になるような　intelligence　が　superintelligence　なのだから、そもそも自己矛盾であることを認めながら、それに対する対策を考え、またAI倫理を浸透させ、集合知で健全化を図る等々の堀先生のご提案は貴重ではあるが、世の中の悪を逃れることはできないだろう。 これは人工知能だけの問題ではない。 原爆の拡散防止がなかなか成功しないし、個人でも作れるだろうという。 人間の知的活動が超えてはならない一線を越えたということではないだろうか。
\end{quote}

　長尾先生からの２点のコメントは、どちらも、今後の人工知能の研究を考える時に、重要な示唆を与えている。
　実は、今後の人工知能の研究のあり方については、西田先生をはじめ他の先生方とも議論が始まったのであるが、とてもこの紙面におさまりそうにない。 編集委員長とも御相談して、その議論を人工知能学会誌および公開Web上で行ってはどうだろうかという話になりつつある。 ぜひ、その新企画に御期待いただきたい。


謝辞：
「むすびにかえて」の節でも御紹介したとおり、本シリーズの前回までの著者の中島先生、西田先生、溝口先生、長尾先生、および編集委員長の松尾先生から貴重なコメントを頂戴した。 その一部は、「むすびにかえて」の節で紹介させていただき、他は本文に反映させていただいた。感謝申し上げる。

参考文献


２０１４年１１月２７日追記：
人工知能が人間の知能を完全に超えてしまうtechnological singularity（技術的特異点）の可能性について述べたカーツワイルは、そのような人工知能の研究を積極的に進めるべきだという立場に立っていますが、そのようなstrong AIの危険性に対する防御策についても言及しています。その防御策とは次のようなものです[1]。

「「非友好的な」強いAIからの保護：　… 本質的に、強いAIからの完全な防御は不可能だろう。まだあまり議論されていないが、わたしは科学やテクノロジーの漸進的な進歩にたいして開かれた自由市場を保ち、市場にその進歩の各ステップを承認させることが、テクノロジーに一般的な人間の価値観を織り込むための最適の環境を生むだろうと信じる。先に指摘したように、強いAIは多くのさまざまな活動から生まれ、文明社会のインフラに深く組み込まれていく。実際、強いAIは人間の体や脳にまで密に組み込まれるだろう。とすれば、強いAIは人間の価値観を反映するだろう。それがわれわれ自身になるからだ。これらのテクノロジーを政府が極秘に抑えようとしても、必ず地下にもくった開発を生み、危険な利用がはびこる不安定な環境を生みだすことになる。」

これに対して私がどう考えるかと申しますと、残念ながら現在すでに「科学やテクノロジーの漸進的な進歩にたいして開かれた自由市場を保ち、市場にその進歩の各ステップを承認させることが、テクノロジーに一般的な人間の価値観を織り込むための最適の環境を生む」というのが成立していないように見受けられるので、技術屋として、それが成立するような仕組みを作りたい、ということになると思います。

[1] Ray Kurzweil: The singularity is near: When humans transcend biology, Viking Penguin, 2005. レイ・カーツワイル著、井上健監訳、小野木明恵・野中香万子・福田実共訳： ポスト・ヒューマン誕生：　コンピュータが人類の知性を超えるとき、NHK出版、2007.




The items in the space are clickable. Please try!


The items in the space are clickable. Please try!


関連項目（自動計算）:
AI（人工知能）と哲学
映画「グリーンブック」を観て、年寄り人工知能研究者が考えること - 人種その他の差別とAI（人工知能）について
工学と理学の違い
文化国家としての技術立国 ー 猪瀬博教授の思い出
機械屋と電気屋では振動のメンタルモデルが異なる
長崎原爆の日
人工知能として認識されない人工知能の埋め込まれる社会に向けて
文明と文化と科学と技術
堀　浩一
UNESCO: `Do you know AI or AI knows you better? Thinking Ethics of AI'
堀　浩一：　最終講義
堀　浩一 ホーム
AI ELSI賞
倫理的AIの設計を支援するためのAI
WindowsのコマンドプロンプトでUnicodeを使う
Ruby on RailsでURLをredirectする
東京大学学術資産等アーカイブズポータル　ー　UTokyo Digital Collections
WindowsでPythonを使う
UAV/UGV Autonomous Cooperation
WindowsからMacにVNCで接続しようとするとlogin windowが固まる
MeCabを使っていると、"'utf-8' codec can't decode byte 0xfa in position 0: invalid start byte" というエラーが起こる
FacebookボタンとTwitterボタンをきちんと並べる
Google検索の結果にfaviconを表示する
モバイル端末のための css <pre> と <code>
五七五, 五七五七七などの俳句や短歌みたいな語列をテキストから抽出するプログラム