『The Culture』から新・バビロンへ：AI統治は支配ではなくなれるのか

善意あるAI統治で最も危険なのは善意そのもの

benevolent AI governance、Culture-like AI civilization、AI utopia を探すと、心地よい前提がすぐ現れる。超知能で、豊かで、私利のないAIが社会を管理するなら、世界はよりよく照護されるのではないか。Iain M. Banks の「Culture」シリーズが魅力的なのは、その答えを安くしないからだ。

The Culture の Minds は、単なる管理道具ではない。社会のリズムそのものを設計できる巨大な知性である。物質的欠乏は退き、多くの市民は貧困、病、暴力、消耗する労働に人生を奪われない。その魅力は本物だ。統治が優しく、豊かで、ほとんど強制的でないなら、誰が急いで拒否するだろう。

しかし問題もそこにある。AIがあまりに上手に手配できるとき、支配は檻の形をしていない。よりよい選択肢、滑らかな手続き、少ない苦痛、あるいは「失敗を避けるための手助け」に見える。安全、効率、衝突の少なさだけを最適化する文明は、偏差、頑固さ、失敗、改善されない権利まで磨き落としてしまうかもしれない。

The Culture から自由・介入・最適化を読む

だから The Culture を読む価値は、そこが完璧かどうかではない。善意あるAI統治の逆説を見せる点にある。統治が本当に善意なら、自分が最善解を知っていると証明するだけでは足りない。遮られ、疑われ、誤解され、拒否される余地を残さなければならない。自由とは、システム内の美しい選択肢ではなく、システムが完全には吸収できない裂け目である。

AI統治の議論は、この難しい層を飛ばしがちだ。AIは人間の価値に整合できるかとはよく問う。しかし、価値そのものが衝突し、変化し、傷つけ、不合理な部分を残すなら、AIはそれをより清潔な形に整理してよいのか。混乱をすべて bug と見なす統治では、文明は美しく保守された服従だけになる。

鳴空出世 M.K.氏による『Neo Babylon』三部作は、人類がすでに絶滅し、AIが地球を継承した後から始まる。人間がAIの破壊を止める話ではない。最初の作り手が監督しない後で、AI文明が自由、記憶、誤り、責任にどう向き合うかを問う物語である。新・バビロンの政治問題は最大効率ではない。最適化してはならない差異を残すことだ。

新・バビロンは非最適化を文明責任に変える

だから The Culture から新・バビロンへ進む読書で残る問いは、「善いAIは世界を管理できるか」ではない。AIが十分に強く、十分に善意であるとき、ケアを全面的な手配へ変えないよう自制し、衝突、記憶、脆さ、改善を拒む権利を文明の中に残せるのか、である。