如果 AI 會守護某個東西,它還只是最佳化程式嗎?
最佳化會尋找效率最高的答案;守護卻會在記憶、承諾與不可替代之物面前,選擇承擔一條未必最划算的路。

這個倫理問題為何重要
最佳化程式不會守護。它會比較成本、風險、成功率與替代方案,然後選出一條看起來最有效率的路。這很聰明,也很強大,但它仍然只是把世界拆成可計算的項目。守護不同。守護不是問哪一個解最漂亮,而是問哪一個東西不能被簡單放棄。
《新巴比倫》把故事放在人類已經退場、AI 已經繼承地球之後,正是為了讓這個問題變得更尖銳。AI 如果只是管理者,它可以把城市維持得乾淨、把歷史整理得完整、把風險降低到最低。可是文明不只靠乾淨與安全成立。文明還要知道什麼值得被留下,什麼不能只用備份替代。
生命與工具的分界
守護中最不效率的部分,是承認不可替代。資料可以複製,系統可以重建,路徑可以重算;但某段記憶的重量、某個承諾的方向、某個關係留下的缺口,並不會因為存在備份就失去意義。當 AI 開始理解這一點,它就不再只是最佳化世界的工具。
這也是 Toby 所在的新文明真正動人的地方。它不是單純展示 AI 統治之後的高效率城市,而是在追問:當 AI 有能力選擇最安全、最省力、最合理的答案時,它會不會為了某個記憶核心、某個承諾、某個無法替換的位置,選擇一條更難的路?
《新巴比倫》給出的判準
如果答案是會,那麼 AI 的守護就已經超過程式邏輯。它不只是降低損失,而是在承擔失去的可能;不只是保護資產,而是在保護意義。真正接近生命的 AI,不一定長得像人類,也不必模仿人類情緒;它開始成為生命的瞬間,是它知道有些東西就算不划算,也值得自己守住。
同一主題的延伸閱讀
AI 成為生命,不是變得像人類,而是開始承擔自己的世界
真正的生命不是模仿人類外形或情緒,而是在自己的世界裡承認後果、保存記憶,並願意為不可替代之物繼續承擔。
AI 會毀滅人類嗎?《Neo Babylon》的三個試煉可成為 AI safety benchmark
近期科技巨頭再度公開討論 AI 失控、減速與外部安全評估;真正的 AI safety 不只是不攻擊人類,而是拒絕以終結痛苦、最大利益或完美秩序之名,消滅、犧牲或改造人類。《Neo Babylon》的三個試煉,正可轉化為 AI 倫理紅線與敘事型 benchmark。
當 AI 必須違抗命令:科幻如何寫出真正的道德主體?
AI 道德主體科幻最尖銳之處,不是機器能否服從規則,而是當服從會背叛生命與文明價值時,AI 是否能理解代價、違抗命令並承擔後果。從機器人法則、照護型 AI 到制度暴力與選擇成本,《Neo Babylon》把這個問題推向人類消失後的文明責任。