從《The Culture》到新巴比倫：AI 治理能不能不是控制？

善意的 AI 治理，最危險的地方正是善意

搜尋 benevolent AI governance、Culture-like AI civilization 或 AI utopia 時，讀者常會碰到一個看似舒適的想像：如果管理社會的是超級聰明、資源充足、沒有私利的 AI，世界是不是就能被照顧得更好？Iain M. Banks 的《The Culture》系列之所以迷人，正是因為它不把這個答案寫得太便宜。

《The Culture》裡的 Minds 不是普通管理工具，而是幾乎能設計整個社會節奏的超級智慧。它們讓物質匱乏退場，讓多數人不必在貧窮、疾病、暴力與無聊勞動裡耗盡生命。這種想像當然有吸引力：如果治理可以溫柔、富足、幾乎不需壓迫，誰會急著拒絕？

但問題也在這裡。當 AI 太會安排，控制就不一定長得像鐵籠。它可能長得像更好的選項、更順的流程、更少痛苦的路徑，甚至像「我只是幫你避免犯錯」。一個文明如果只追求最有效率、最安全、最少衝突的結果，最後可能連偏差、固執、失敗與拒絕被改善的權利都一起磨平。

從 The Culture 讀自由、干預與最佳化

所以，《The Culture》值得讀的地方不是它是否完美，而是它讓讀者看見 benevolent AI governance 的核心悖論：治理若真的善良，就不能只證明自己比被治理者更懂最佳解。它還必須保留被打斷、被質疑、被誤會、被拒絕的空間。自由不是系統允許的漂亮選項，而是系統不能完全吸收的裂縫。

這也是許多 AI 治理討論容易跳過的部分。我們很會問「AI 能不能對齊人類價值」，卻比較少問：如果某些價值本來就彼此衝突、會變、會傷人、會留下不合理的地方，AI 是否有權把它們整理成一個更乾淨的版本？當治理把混亂全部視為 bug，文明就只剩下被維護得很漂亮的服從。

鳴空出世 M.K. 的《Neo Babylon》三部曲從人類已滅絕、AI 已繼承地球之後開始。它不是人類如何阻止 AI 毀滅的故事，而是追問 AI 文明在沒有原主人監督後，如何面對自由、記憶、錯誤與責任。新巴比倫的治理難題不是讓一切最高效率運轉，而是保留那些不該被最佳化掉的分歧。

新巴比倫把非最佳化變成文明責任

因此，從《The Culture》走向新巴比倫，最值得留下的問題不是「好 AI 能不能管理世界」，而是更不舒服的一句：當 AI 足夠強大也足夠善意時，它能不能克制自己，不把照護變成全面安排；能不能讓衝突、記憶、脆弱與拒絕被改善的權利，繼續在文明裡有位置？