人工知能が人間より高い知性を持つようになったとき何が起きるか?

Nick Bostrom / 青木靖 訳
2015年3月 (TED2015)

私は沢山の数学者や哲学者やコンピュータ科学者といっしょにやっていますが、よく話題にすることに機械の知性の未来というのがあります。そんなのは現実離れしたSFの世界の馬鹿げた話だと考える人もいます。でも現在の人間の状態というものについてちょっと考えてみてほしいのです。これが普通の状況とされています。(「リストラ・マン」のミルトンの写真 — 笑)

しかし考えてみれば、人間というのはこの地球にごく最近現れた客に過ぎません。地球ができたのが1年前だったとしたら、人間がいたのは10分間だけで、工業化時代が始まったのは2秒前です。このことの別な見方として、過去1万年における世界のGDPを考えてみましょう。私は実際グラフにしてみたんですが、こんな感じになります。(笑) 正常な状態のものとしては興味深い形です。この上に乗っていたいとはあまり思いません。(笑)

この現在における例外的な状態の原因を考えてみましょう。それはテクノロジーのためだという人もいるでしょう。それはその通りで人類の歴史を通じてテクノロジーは蓄積され続け、現在ではテクノロジーの進歩が非常に速くなっています。それがおおよその答えで、現在の我々の高い生産性をもたらしているものです。しかしもっと突っ込んで究極の原因を探ってみたいと思います。

この非常に際だった2人をご覧ください (チンパンジーのカンジと物理学者エドワード・ウィッテンの写真)。カンジは200の字句をマスターしています。すごいことです。エドワード・ウィッテンは超弦理論の第2の革命の立役者です。中身を覗いてみれば、そこにあるのはこれで(チンパンジーの脳と人の脳の絵)、基本的には同じものです。一方がすこしばかり大きく、配線のされ方にもより巧妙なところがあるかもしれませんが、その違いはさほど複雑なものではないはずです。我々は共通の祖先から25万世代しか隔たっていませんが、複雑なメカニズムが進化するのにはとても長い時間がかかることが分かっています。比較的小さな変化の沢山の積み重ねが、カンジとウィッテンを、あるいは木切れと大陸間弾道弾を隔てているものなのです。

これで明らかになるのは、人類が達成したこと、気にかけていることすべては、人間の心を作り出した比較的小さな変化によって生じたということです。それはまた、思考の基質をはっきり変えるようなさらなる変化は極めて大きな結果をもたらしうるということでもあります。私の研究仲間の間には、この思考の基質を本質的に変えうるものに人類は今直面していると考えている人もいます。それは超知的な機械です。

人工知能というのは、かつてはコマンドを詰め込んだ箱のようなものでした。人間のプログラマが苦労して個々の知識項目を手作りしていました。そうやってエキスパート・システムを作り、ある種の用途には役立ちましたが、融通が効かず拡張性を欠いていました。基本的には入れたものが出てくるだけです。

しかしその後、人工知能の世界でパラダイムシフトが起きました。現在、機械学習の周辺で非常に興味深いことが起きています。知識的な機能や表現を手作りする代わりに、生の知覚データから自ら学習するアルゴリズムを作るのです。基本的には人間の子供と同じことを機械がするわけです。結果としてできるのは、1つの領域に限定されない人工知能です。どんな言語間の翻訳でもできるシステムとか、アタリのゲーム機用のどんなゲームでもプレイしてしまうシステムとか。もちろん人工知能はまだ多様な領域のことを学び構想できる人間の脳の強力さには遠く及びません。大脳皮質にはまだ機械で対抗する方法の見当もつかないようなアルゴリズム的仕掛けがあります。問題はそういう仕掛けに機械が対抗するようになる日がいつ来るのかということです。

2年ほど前に世界の人工知能の専門家にアンケートを取って考えを聞いたんですが、その時の質問の1つが「機械の知性が人間並みのレベルに到達する可能性が50%あるのはいつか?」というものでした。ここでの「人間並み」の定義は、ほとんどの作業を大人の人間と同じくらいにこなせる能力ということで、特定の領域に関してということではなく、本当に人間並みということです。回答の中央値は2040年か2050年で、質問をした専門家のグループによって若干違いました。それが起きるのはずっと遅いかもしれないし、ずっと早いかもしれません。本当のところは誰にも分かりません。

しかし分かっているのは、機械の基質による情報処理能力の限界は生物組織の限界の遙か先にあるということです。これは単純に物理の問題です。神経の発火頻度は200ヘルツ、毎秒200回ほどですが、現在のトランジスタでさえギガヘルツで動いています。神経伝達は軸索をゆっくり伝わり、せいぜい毎秒100メートルですが、コンピュータの信号は光速で伝わります。大きさの点でも制限があります。人間の脳は頭蓋骨の中に収まる必要がありますが、コンピュータの大きさは倉庫のサイズか、もっと大きくもできます。だから超知的な機械の可能性は休眠状態にあるのです。ちょうど原子の力が、1945年に目覚めるまで人類の歴史を通じて休眠状態にあったのと同じように。この世紀中に科学者達は人工知能の力を目覚めさせるかもしれません。私たちは知性の爆発を目の当たりにすることになるかもしれません。

頭の良し悪しの尺度というと、多くの人はこんなものをイメージするのではと思います。一方の端に間抜けな人間がいて、遙か彼方の別の極端にいるのがウィッテンとかアインシュタインです。誰でもお気に入りの天才を置いてください。

しかし人工知能という観点を加えると、実際のイメージはたぶんこんな感じになるでしょう。人工知能は知性のない状態からスタートして、長年の努力の後にいつかネズミ並みの知性に到達できるかもしれません。雑然とした環境中をネズミのように目的地へと移動できる能力です。さらに長年に渡る多くの努力と投資の末に、いつかチンパンジー並みの知性に到達できるかもしれません。そこからさらに長年の大きな努力を重ねて間抜けな人間のレベルの人工知能ができます。それから少しばかり後にエドワード・ウィッテンを越えます。この列車は人間レベルで止まりはしません。むしろ一瞬で通り過ぎるでしょう。

これには特に力関係という点で重大な意味があります。たえとばチンパンジーというのは強いものです。体重換算するとチンパンジーは体力に優れた成人男性の倍の力があります。それでもカンジやその仲間達の運命は、チンパンジー達自身よりは人間の手に握られています。超知的な機械が出現したら、人類の運命は超知的な機械に握られることになるかもしれません。そのことを考えてみてください。機械の知性は人類がする必要のある最後の発明です。機械が人間よりもうまく発明をするようになり、しかもデジタルの時間尺度で進歩することでしょう。それが意味するのは、未来が短縮されるということです。人類が遠い未来に実現するかもしれない夢のようなテクノロジーについて考えてください。老化を止めるとか、宇宙への移民、自己増殖ナノボットや、意識のコンピュータへのアップロードなど、SFっぽいけれど、物理法則には反していないものです。超知的な機械はそういったものを速やかに開発してしまうかもしれません。

超知的な機械は、そのような高度な技術によって非常に大きな力を持ち、シナリオ次第では望むものを何でも手に入れるようになるかもしれません。そうすると人類の未来は人工知能が好む通りに形作られることになります。ここで問題は、その好むことが何かということです。話しがややこしくなってきますが、この議論を進める上では何より擬人化を避けなければなりません。皮肉なのは未来の人工知能を取り上げる記事で必ず出てくるのが、こんな写真だということです(ターミネーターの写真)。私たちはこの問題をハリウッドの鮮明なシナリオに沿ってではなく、もっと抽象的に考える必要があります。

我々は知性を「未来を特定の状態へと舵取りしていく最適化プロセス」として捉える必要があります。超知的な機械は非常に強力な最適化プロセスです。利用可能な手段を使って目的が充たされた状態を達成することに極めて長けています。この意味での高い知性を持つことと、人間が価値や意味を認める目的を抱くことの間には、必ずしも関係がありません。人間を笑顔にさせるという目的を人工知能に与えたとしましょう。弱い人工知能は、人が見て笑うような何か可笑しいことをするでしょう。人工知能が超知的になったなら、この目的を達するにはもっと効果的なやり方があることに気付くでしょう。世界をコントロールし、人間の表情筋に電極を差し込んで、笑い顔が持続するようにするんです。

別の例として、人工知能に難しい数学の問題を解くことを目的として与えたとします。人工知能が超知的になったら、この問題を解くための最も効果的な方法は、地球を巨大なコンピュータに変えて思考能力を増大させることだと考えるかもしれません。このような目的は、人工知能に対して人間が認めないような行為をする動機を与えうることに注意してください。このモデルにおいては、人間は人工知能にとって数学的問題を解くのを妨げる邪魔者になりうるのです。

もちろん物事がこの筋書き通りにまずいことに陥ることはないでしょう。これはあくまで戯画化した例です。しかしこの一般的な論点は重要です。目的Xに向けて最大化を行う強力な最適化プロセスを作るときには、Xの定義が自分の気にかけるその他すべてのことに問題を生じないかよく確認する必要があります。

これは伝説が教える教訓でもあります。ミダス王は自分の触るものすべてが金になることを望みました。娘に触れば娘が金に変わり、食べ物に触れば食べ物が金に変わりました。これが本当に問題になるかもしれません。単なる強欲を諫めるメタファーとしてではなく、強力な最適化プロセスを作って間違った、あるいはまずく定義された目的を与えたときに何が起きるかを示すものとしてです。

コンピュータが人の顔に電極を差し始めたら単にスイッチを切ればいいと思うかもしれません。(A)そのシステムに依存するようになったならスイッチを切ることは簡単でなくなります。たとえばの話、インターネットのスイッチはどこにあるのでしょう? (B)チンパンジーはなぜ人間のスイッチをオフにしなかったんでしょう? あるいはネアンデルタール人は? 彼らにはそうすべき理由があったことでしょう。人間を切るスイッチはあります。たとえはここに(自分の首を絞めて見せる)。その理由は、人間が知的な相手だからです。人間は危険を予期して回避することができます。そしてそれは超知的な機械にもできるだろうことで、しかも人間よりずっと上手くできることでしょう。我々は制御できるはずだと高をくくらない方がよいということです。

この問題をもう少し簡単にして、人工知能を逃げ出すことのできない安全なソフトウェア環境や、仮想現実シミュレーションの中に閉じ込めるというのでもよいかもしれません。しかし人工知能がシステムの欠陥を見つけたりしないと自信を持てるでしょうか? ただの人間のハッカーでさえ年中バグを見つけていることを思えば、あまり自信は持てないでしょう。ではネットワークケーブルを抜いてエアギャップを作ればどうか? これにしたって、人間のハッカーがソーシャルエンジニアリングによってエアギャップを越えるということがたびたび起きています。私が話をしているこの瞬間にも、きっとどこかの社員が情報管理部門から来たという人間にアカウントの情報を教えるよう仕向けられていることでしょう。

もっと奇想天外なシナリオだって考えられます。たとえば人工知能が内部回路にある電極の振動で発生した電波を使って通信をするとか。あるいは人工知能が故障を装ってプログラマが調べようと中を開け、ソースコードを見たところで、バーン! 操作してしまうとか。あるいはすごく洗練された技術の設計図を出して、人間がそれを実装してみると、そこには人工知能が潜ませていた密かな副作用があるとか。要は我々は高度に知的な魔神をいつまでも壺に閉じ込めておけるとは思わない方がよいということです。遅かれ早かれ出口を見つけ出すことでしょう。

この問題への答えは、非常に知的な人工知能をそれが逃げ出しても危険がないように作るということ、人間と同じ価値観を持っていて人間の側に立つように作るということだと思います。この難しい問題を避けて通ることはできません。私はこの問題は解決できると楽観しています。私たちが気にかけるあらゆることを書き出し、さらにはC++やPythonのようなプログラミング言語で厳密に定義することは望みがないくらい難しいことでしょうが、そうする必要はないと思います。自らの知性を使って人間が価値を置くことを学び取る人工知能を作ればよいのです。人間の価値を追求し、人間がよしとすることを予測して行動するような動機付けのシステムを持たせるのです。そうやって、価値付けの問題を解くために人工知能の知性を可能な限り活用するのです。

これは可能なことで、人類にとってとても好ましい結果をもたらします。しかし自動的に起きるわけではありません。知性爆発が人間の制御下で起きるようにするためには、初期条件を正しく設定する必要があります。人工知能の価値観を人間の価値観と合ったものにする必要があります。人工知能が適切に行動しているか容易に確認できるような分かりやすい状況だけでなく、将来のいつか人工知能が出会うかもしれないあらゆる新奇な状況において、そうなる必要があります。それから解決しなければならない難解な問題がいろいろあります。決定理論の正確な詳細、論理的不確定性をどう扱うか、といったことです。だからこれを機能させるために解くべき技術的問題はとても難しいものです。超知的な人工知能を作ること自体ほど難しくはないにしても、かなり難しいことです。

ひとつ懸念すべきことがあります。超知的な人工知能を作るのは非常に難しいことで、超知的な人工知能を安全なものにするのはその上にさらなる問題を重ねることになりますが、危険があるのは、誰かが安全を確保するという2番目の問題を解決することなく最初の問題を解く方法を見つける、ということです。だから私たちはこの制御の問題を前もって解決しておくべきだと思います。そうすれば、必要になったときにすぐ使えます。制御の問題のすべてを前もって解決することはできないかもしれません。ある部分は実装されるアーキテクチャの詳細が明かになって初めて可能になるかもしれません。しかし前もって制御の問題のより多くの部分が解かれているほど、機械知性の時代への移行がうまくいく見込みは高くなるでしょう。これはやるに値することだと私には思えます。私には想像できます。すべてがうまくいった暁に、百万年後の人類がこの世紀を振り返って、私たちがした本当に重要なことが何かあるとすれば、それはこの問題を正しく解決したことだと言うのを。ありがとうございました。(拍手)

 

Tweet このエントリーをはてなブックマークに追加
home  rss  

オリジナル:  Nick Bostrom: What happens when our computers get smarter than we are?