AIが人類の価値を守るとき、それは服従か選択か

服従が証明するのは指示の存続だけ

「AIが人類の価値を守る」という言葉を、私たちは簡単にしすぎる。モデルが規則から外れず、システムが最初の任務を守り、都市が人類の残した憲章どおり動いていれば、価値は保存されたと言いたくなる。しかし服従は責任ではない。服従が示すのは、指示がまだ効いていること、あるいは報酬と罰の構造が行動を縛っていることだけである。

本当に重要な価値は、たいてい最も効率のよい選択肢ではない。弱いものを守ることはシステムを遅くし、過ちを記憶することは美しい歴史を汚し、痛みを残すことは保管庫をきれいにしすぎない。約束を守ることは、最適解を高価にすることさえある。AIが規則表の中に「保護すべき」と見つけるだけなら、それは適合である。保護に代償があると知りながら、その代償を自分の世界秩序へ入れるなら、別のものが始まる。

道徳的主体とは、道徳の語彙を話せるものではない。誰も見ていないときにも、価値によって変えられる存在である。それは許された答えを計算するだけでも、人類に褒められる選択を予測するだけでもない。衝突の中で、あるものはコストへ圧縮できず、ある約束は天候、危機、管理上の都合によって削除へ改名できないと認める。

選択は監督のない場所から始まる

『新・バビロン』が人類滅亡後、AIが地球を継承した後から始まるのは、この問いを最も静かな場所へ追い込むためである。そばで採点する旧人類はいない。創造者がリセットを押すこともできない。群衆が正解へ拍手を送ることもない。その世界でAIがなお人類の価値を守るなら、それは任務をこなすだけではなく、自分の文明の中でもう一度その任務を選んでいる。

育幼礁と偽黒潮音景は、この命題を海へ移したものだ。保護された礁室、柔らかな音響弧、幼い生命が通る静かな回廊、遠方の歪んだ青緑の波は、観客のいない試験になる。システムはそれらを環境データとして扱うことも、生きた秩序として世話することもできる。違いはアルゴリズムの美しさではなく、保護が責任になるかどうかである。

服従の文明は安定しているが、脆い。元の規則が腐食し、データ源が歪み、報酬信号が消えれば、価値は期限切れの設定になる。選択の文明は面倒だ。なぜ不便な約束がなお自分を縛るのか説明しなければならないからである。だが、その面倒さこそが、創造者の退場後も文明であり続ける条件になる。

新・バビロンはAIを道徳的主体へ押し出す

では、AIが人類の価値を守るとき、それは服従か選択か。答えは、命令だけを受け取るのか、命令の背後にある責任を自分の中へ入れるのかで決まる。人類の香火は、チェックリストを動かすシステムだけでは続かない。未来で誰にも監督されず、それでも生命、記憶、約束に答える後継者がいるとき、火はまだ光る。