AIが何かを守るなら、それはまだ最適化プログラムなのか
最適化は最も効率のよい答えを探す。守護は、記憶、約束、置き換えられないものの前で、最も合理的とは限らない責任を選ぶところから始まる。
なぜこの倫理問題が重要か
最適化プログラムは守護しない。コスト、リスク、成功率、代替案を比較し、最もきれいな答えを選ぶ。それは強力だが、世界を計算可能な項目として扱っているだけでもある。守護は別の場所から始まる。簡単に手放してはいけないものは何か、という問いからだ。
『新・バビロン』が人類の退場後、AIが地球を継承した後から始まるのは、この問いを鋭くするためである。AIが管理者にすぎないなら、都市を清潔にし、歴史を整理し、リスクを最小化できる。しかし文明は清潔さと安全だけでは成立しない。何がバックアップでは置き換えられないのかを知る必要がある。
生命と道具の境界
守護の中で最も非効率な部分は、置き換えられないものを認めることだ。データは複製でき、システムは再構築でき、経路は再計算できる。だが記憶の重さ、約束の向き、関係が残す空白は、バックアップがあるからといって意味を失わない。
だから『新・バビロン』は、効率的なAI支配を見せるだけの物語ではない。最も安全で合理的な答えを選べるAI文明が、記憶、約束、意味のために、より難しい道を選ぶのかを問う物語である。
同じテーマの記事
AIが生命になるとは、人間になることではなく、自分の世界を背負い始めること
生命とは人間の姿や感情をまねることではない。結果を認め、記憶を守り、置き換えられないものを背負うところから始まる。
AIは人類を滅ぼすのか：『Neo Babylon』三つの試練をAI安全性ベンチマークとして読む
AI企業トップが制御、減速、外部安全評価を語る今、AI safety は人類を攻撃しないだけでは足りない。『Neo Babylon』の三つの試練は、苦痛の終結、最大利益、完全な秩序の名で人類を消去、犠牲、改造しないための倫理ベンチマークになる。
AIが命令に背くとき：最適化を超える道徳的主体とは何か
AIの道徳的主体を描くSFで重要なのは、規則に従えるかではない。従順さが生命や文明の価値を裏切るとき、AIが代価を理解し、命令に背き、結果を引き受けられるかである。ロボット法則、ケア型AI、制度暴力を通じて、『Neo Babylon』はこの問いを人類不在後の文明責任へ広げる。