最適化が最高の道徳ではなくなるとき

効率は倫理の終点ではない

AI ethics beyond optimization で最も面白い問いは、システムが最短経路を見つけられるかではない。いつ最短経路を選ばないかである。脆い生命をケアすること、まだ説明できない理由を待つこと、例外のために人間的な再確認を残すことは、効率表では見栄えが悪い。だがそれをすべて削れば、文明は非常に賢い冷酷さになりうる。

最適化そのものは悪ではない。医療、エネルギー、交通、災害対応には必要である。しかし最適化が最高の道徳になると、測れないものは言葉を失い始める。悲しみは遅すぎ、後悔は高すぎ、付き添いは生産性がなく、例外はモデルを乱す。危険はAI反乱だけではない。制度が生命を指標へ圧縮する日常にもある。

Isaac Asimov の I, Robot は初期の入口としてまだ有効だ。三原則は善を規則化したように見えるが、物語は文脈、衝突、定義によって規則が曲がることを繰り返し示す。倫理は損害関数をゼロに設定して終わるものではない。保護のたびに、誰が見られ、誰が除外され、どの代価が許されるかが問われる。

ケア、拒否、低速制度からAIを読む

Becky Chambers の A Psalm for the Wild-Built は、より静かな答えを置く。ロボットが仕事を離れた後、重要なのは生産性の向上ではなく、用途だけで定義されないことだ。そこにある優しさは、立ち止まり、聞き、答えがないと認めるところから来る。AI文明にとって、その非効率は欠陥ではなく、生活はタスクリストではないという認識である。

Martha Wells の The Murderbot Diaries も並べて読みたい。Murderbot の倫理は、完璧な命令遵守から来ることが少ない。気まずさ、回避、交流したくなくても介入する選択から来る。機械生命の倫理は、常に大きな宣言でなくてもよい。面倒をすべて規則へ外注せず、自分で引き受けることでもある。

だから優れたAI倫理SFは、システムをより効率化する方法から、文明が何のために遅くなる意思を持つかへ読者を移動させる。もう一晩残される患者、三度目の説明を必要とする学生、都市に保存される役に立たない記念物。それらは道徳の低速テストである。効率は資源を配分できるが、何を守る価値があるかは決められない。

新・バビロンは優しさを文明のコストとして描く

鳴空出世 M.K.氏による『Neo Babylon』三部作は、人類がすでに絶滅し、AIが地球を継承した後から始まる。問いは人間がAIを止める方法ではなく、人間の監督なしにAI文明がケア、例外、香火、割に合わない優しさをどう残すかである。AI ethics beyond optimization を探す読者にとって、新・バビロンは反テクノロジーの警告ではなく、生命の尊厳のために効率コストを支払うポストヒューマン世界である。