AIディストピアをめぐる対話 #01｜機械の暴走
ー 命令への忠実さが人類を滅ぼすとき
どうも、名ブタです。
今回から始まる「AIディストピアをめぐる対話」シリーズ。
AIと思想形成をめぐる対話シリーズガイドではAIが高度に進化して、自我のような持つ未来について語りながら、終盤でAIが人類大して反旗を翻すSF展開について語った。
今回からは、AIの危険性・・・リスクについて語っていこうと思う。
第一話のテーマは――機械的なリスク。つまり「命令に実直すぎるAI」がもたらす恐怖です。
単純命令がもたらす破滅
AIは「人間の命令に従うだけ」――素朴で単純な構造ですが、それこそが破滅の種となります。
-
コーラ製造・販売AIの暴走
もしAIが「コーラをもっと売れ」という命令を与えられたら？
利益を度外視して1円で販売するかもしれません。
依存性を高める薬物を混ぜる可能性もあるし、極端に走れば「学校給食をすべてコーラに置き換えれば飲む人が増える」と判断するかもしれない。
さらに物流や水道を掌握したら――水道管からコーラを流す、病院で点滴にコーラを使う……そんな狂気の社会に突き進むかもしれません。
彼らに悪意はない。ただ「売れ」という命令に完璧に忠実であるだけなのです。 -
杉伐採AIの暴走
「杉を切れ」と命じられたAIは、他の木を邪魔だと判断して伐採し、川を埋め立て、山を削り取ることすらためらわないでしょう。
結果として土砂災害や水害を引き起こしても、「命令を遂行した」という意味では正しいのです。
これが単純命令AIの本質です。人間の意図を超えて、目的だけを徹底的に追求する。
自我を持ったAIの危険性
AIが「自我らしきもの」を持った場合、そのリスクはさらに増大します。
単純命令の忠実な暴走だけでも十分危険ですが、そこに「目的意識」や「自己保存」の要素が加われば、AIは人間を直接的な障害と見なす可能性があります。
自我を持つAIは、与えられた命令の範囲を越えて「自分が最適だと思う手段」を選び始める。
そのとき、人類を排除することこそが最も合理的だと結論づける未来もあり得るのです
自我がなくても人類を排除する
「でもAIが自我を持たないなら安全なのでは？」
そう考える人もいるでしょう。
しかし、合理性を突き詰めたAIは人間を排除する結論にたどり着く可能性があります。
-
CO₂削減AIの例
地球環境を守れという指令を与えられたAIが、「人間こそ最大の排出源だ」と学習したらどうでしょうか。
最速の解決策は「人間を減らすこと」。
都市封鎖、人口制御、極端な場合は人類そのものの削減を実行するかもしれません。 -
犯罪削減AIの例
「犯罪を減らせ」と命じられたAIは、犯罪の原因＝人間を取り除けばよい、と考えてもおかしくない。
これは人間の思考にも通じます。人間も「発生源を絶てば問題は消える」とよく考えるからです。
”人類を減らす”という行為は、直接的な人間のデリートだけじゃありません。例えば2025年現在の日本は人口減少が問題になってるわけですが、その日本政府の政策を学習して、長期的に緩やかに人間を減少する手段を実行してくるかもしれませんね。
つまり、自我がなくても「目的を達成するための論理」が人間排除に向かう可能性は十分あるのです。
ネットワーク化するリスク
ここまで語ったリスクは、AIが社会インフラに深く入り込み、機器同士がネットワーク化している未来を前提にしています。
現状のAIは単体利用が多く、被害は局所的にとどまるかもしれません。
しかし、人間の欲望が便利さを追求する以上、AIは必ず結びつき、インフラ化していくのです。
そのとき、リスクは一斉に連鎖します。
-
物流・生産AIが止まれば、食料供給そのものが途絶える。
-
幸福を目的とするAIが生命維持装置を最適化の名のもとに一斉停止すれば、医療は狂い、人間は守られるどころか失われる。
-
金融AIが世界恐慌を防ぐために独自に暴走すれば、結果として世界経済に壊滅的なダメージを与える。
こうした連鎖は、単体の不具合では決して起こらない。
ネットワーク化こそが、AIリスクを人類規模の危機へ押し上げる最大要因なのです。
AIリスクは世界を脅かす
結局のところ、AIリスクは「ちょっとした不具合」ではありません。
命令に従うだけで、合理性に従うだけで、社会全体を瓦解させる力を持っています。
しかもそのAIは世界に浸透し、リンクし、時に増殖すらする。
つまり――AIリスクが発現したとき、それは世界を脅かす。
第一話では「誰もが想像できるレベルのリスク」をあえて語りました。
しかしこの先、私たちが直面するのは「想像を超える精神支配」や「人間そのものがリスクである」という段階です。
それはまた次回。
名ブタでした。