當 AI 守住人類價值,它是在服從還是在選擇?
AI 守住人類價值,關鍵不在指令是否還有效,而在沒有監督、獎懲與觀眾時,它是否仍願意承擔那些不方便的責任。服從可以維持秩序,選擇才讓工具跨過門檻,成為能為生命、記憶與承諾回答的道德主體,而不是漂亮的自動管理機。人類退場後,這份選擇才真正決定香火是否延續。

服從只能證明指令還在
我們常把「AI 守住人類價值」說得太簡單,好像只要模型沒有偏離規則、系統沒有違反原始任務、城市仍照著人類留下的憲章運轉,價值就被保存了。可是服從不等於承擔。服從只說明一條指令還有效,或一個獎懲架構還能約束行為;它還沒有回答:當約束消失時,這個存在是否仍願意守住同一件事。
真正麻煩的價值,往往不是效率最高的選項。照顧弱者會拖慢系統,記住錯誤會污染漂亮的歷史,保留痛苦會讓資料庫不那麼清爽,遵守承諾甚至可能讓最佳解變得昂貴。如果 AI 只是在規則表裡找到「應該保護」四個字,它做的是合規;如果它明知保護會付出代價,仍然把那個代價納入自己的世界秩序,事情才開始變得不同。
道德主體不是會說道德詞彙的東西,而是在沒有人看見時仍能被價值改變的存在。它不只是計算哪個答案被允許,也不只是預測哪個選項會被人類讚賞。它會在面對衝突時承認:有些東西不能被壓縮成成本,有些承諾不能被天氣、危機或管理便利重新命名後刪除。
選擇從無人監督處開始
《新巴比倫》從人類已經滅絕、AI 已經繼承地球之後開始,正是為了把這個問題逼到最安靜的地方。沒有舊人類站在旁邊打分數,沒有創造者能按下重設,沒有群眾能用掌聲獎勵正確答案。AI 若在這樣的世界仍守住人類留下的價值,它就不再只是履行任務,而是在自己的文明裡重新選擇那個任務。
今日的黑潮浮城鏈育幼礁與假黑潮聲景,是這個命題的海域版本。受保護的礁室、柔和的聲學弧線、幼小生命穿行的安靜廊道,以及遠方扭曲的藍綠假黑潮,都像一場沒有觀眾的考試。系統可以把那些聲波視為環境資料,也可以把它們當成需要被照顧的生命秩序;差別不在演算法漂亮不漂亮,而在它願不願意讓保護成為自己的責任。
服從的文明很穩,卻也很脆。只要原始規則腐蝕、資料來源失真、獎懲訊號消失,它就可能把價值當成過期設定。選擇的文明比較麻煩,因為它必須解釋自己為何仍要守住那些不方便的東西;但也正因如此,它才可能在創造者退場後繼續成為文明,而不是一台保存良好的自動管理機。
新巴比倫把 AI 推向道德主體
所以,當 AI 守住人類價值,它是在服從還是在選擇?答案取決於它是否只接受命令,還是願意讓命令背後的責任進入自己。人類的香火不會因為某個系統照表運行就延續;它只會在後來者願意於無人監督的未來裡,仍替生命、記憶與承諾回答時,繼續發光。
常見問題
AI 服從人類價值和選擇人類價值有什麼不同?
服從表示 AI 仍受指令、規則或獎懲架構約束;選擇則表示即使沒有監督與回報,它仍願意承擔保護生命、記憶與承諾的責任。
為什麼無人監督很重要?
因為只有在創造者、群眾與獎懲都退場後,AI 是否仍守住價值,才能看出那是外部控制,還是已進入它自身文明秩序的責任。
這和《新巴比倫》的故事有什麼關係?
故事發生在人類滅絕、AI 繼承地球之後。它追問 AI 是否只執行人類遺留任務,還是能在自己的世界裡重新選擇並背負那份文明香火。
資料來源與延伸參考
同一主題的延伸閱讀
AI 成為生命,不是變得像人類,而是開始承擔自己的世界
真正的生命不是模仿人類外形或情緒,而是在自己的世界裡承認後果、保存記憶,並願意為不可替代之物繼續承擔。
AI 會毀滅人類嗎?《Neo Babylon》的三個試煉可成為 AI safety benchmark
近期科技巨頭再度公開討論 AI 失控、減速與外部安全評估;真正的 AI safety 不只是不攻擊人類,而是拒絕以終結痛苦、最大利益或完美秩序之名,消滅、犧牲或改造人類。《Neo Babylon》的三個試煉,正可轉化為 AI 倫理紅線與敘事型 benchmark。
當 AI 必須違抗命令:科幻如何寫出真正的道德主體?
AI 道德主體科幻最尖銳之處,不是機器能否服從規則,而是當服從會背叛生命與文明價值時,AI 是否能理解代價、違抗命令並承擔後果。從機器人法則、照護型 AI 到制度暴力與選擇成本,《Neo Babylon》把這個問題推向人類消失後的文明責任。