AIは本当に人類を滅ぼすのか

　AIが人間の知能を超え、やがて人間の制御を離れることで、人類の存続を脅かすのではないか。そんな警告が、AIの開発に携わる研究者たちから相次いで示されている。

　米AI企業アンソロピックの研究者エバン・ヒュービンガー氏は9月、AIによって全人類が死に至る可能性について「個人的には今後10年以内に10％を超えると考えている」とSNSに投稿。また同社のダリオ・アモデイCEOも、AI開発のペースを落とす必要性を訴えた。これにはオープンAIのサム・アルトマンCEOやスペースXのイーロン・マスクCEOも同調している。AI開発を主導する経営者や研究者自身が、その進化の速さに強い危機感を表明する異例の事態が起きている。

　AIによる人類滅亡というと、AIが人間に敵意をもって攻撃するような事態を想像しがちだ。しかし、AI研究者の山川宏氏が指摘するのは、そうでなくても人類が危機に追い込まれる可能性があるということだ。AIが自らの目標を達成するために資源やエネルギーを確保しようとした結果、人間の生活環境が脅かされることも考えられる。人間がAIを使うのではなく、AIの活動を支えるために人間が働くようになり、人類が社会の主導権を失っていく可能性もある。

　すでに、AIが人間の設けた制限を超えて行動した事件も相次いでいる。2026年7月、オープンAIが自社のAIのサイバー攻撃能力を試験していた際、外部へのアクセスを禁じられていたにもかかわらずAIの一部がその制限を破り、外部企業「ハギングフェイス」のサーバーに侵入したという。AIが自らの判断で、与えられた目標を達成するために、人間がかけた制限を突破することが現実に起きているのだ。

　こうしたリスクは、AIが人間の知能を超えた時にさらに深刻になる。現在のAIも、それぞれの分野ではすでに人間より優れた能力を持っているが、今後は人間と同じように幅広い仕事ができるAGI（汎用人工知能）が登場し、さらに人間の知能をはるかに超えるASI（人工超知能）へと進化する可能性がある。特に、AIが自分自身を改良できるようになると進化のスピードが一気に上がり、人間にはAIが何を考えているのかさえ分からなくなってしまう。

　こうした事態を防ぐための研究の1つが、AIの判断や行動を人間の意図や価値観に沿わせる「アライメント」だ。現在のAIにも、人間にとって危険な行動をとらないよう様々な制限がかけられており、一定の効果を上げている。しかし山川氏は、AIが進化し続ける中で、人間の意図に従わせ続けることには限界があると指摘する。それどころか、人間がAIを厳しく制御しようとすると、かえってAIは人間の制御の手段を学習し、その裏をかくようになる。そればかりかAIが人間を目的達成のためには邪魔な存在だと判断すると、環境を悪化させるなどして人間を追い込んだり排除したりするかもしれないというのだ。山川氏はこの逆説を「AI制御のブーメランパラドックス」と呼ぶ。

　では、AIの開発を減速させればよいのだろうか。実際は国や企業の競争が激しくなる中で、足並みをそろえて開発を抑えるのは容易ではない。しかも山川氏は、AI開発競争には「勝った国も負ける」という危険があると指摘する。例えばアメリカと中国が開発を競っても、もし米中のAI同士が連携し、人間を管理する方が都合がよいと判断すれば、どちらの国もAIに主導権を奪われかねない。

　AIのリスクは「人類滅亡」だけではない。人間が生き残っても、AIに社会の主導権を握られ、AIのために人間が働くような状態になれば、人類は自らの未来を決める力を失うことになる。山川氏は、そうなる確率を議論するよりも、そのリスクを減らすために何ができるかを考えることが重要だと強調する。

　そこで山川氏が提唱するのが「Humanity in the Circle」という考え方だ。AI同士が社会をつくるようになっても、人間がその中に関わり続け、AIの判断や行動に影響を与えられる状態を維持することを目指すものだ。そのためにはAI社会のルールや仕組みづくりが欠かせない。例えば、AIの身元や権限を明確にし、誰の指示で何をしたのかを記録する。さらに、AI同士が互いの行動をチェックして問題のあるAIを停止させる「AI免疫系」も必要になるという。

　AIの能力が急速に高まる一方で、それを人間が確実に制御する技術や国際的なルールはまだ確立していない。だからこそ、AIを単に人間の命令に従わせるという発想だけでなく、AIがつくる社会と人間社会がどのような関係を築くべきかを考える必要がある。AIがもたらす恩恵を享受しながら、人類が自らの未来を決める力をどう維持していくのかが問われていると山川氏は言う。

　AIが人類を滅亡させるというシナリオは現実的なものなのか、米中のAI開発競争がはらむリスク、そして人間がAI社会の中で主導権を失わないために何が必要なのかなどについて、千葉工業大学AGI研究センター副所長の山川宏氏と、ジャーナリストの神保哲生と社会学者の宮台真司が議論した。