破解控制不是免責:《Autonomous》與《All Systems Red》的自主與救援
機器能修改自己,是否就代表它會負責?比較 Annalee Newitz《Autonomous》的自主概念與 Martha Wells《All Systems Red》的緊急救援,分清程式修改權、資訊優先順序和倫理評價,依你關心的是自我形成還是危機中的照護選書,不把破解控制當成善良或免責的證明。

Autonomous:能改寫自己,接下來呢?
機器擺脫控制的故事,很容易讓人把自由和善良連在一起。我想把這個直覺稍微放慢:能決定怎樣改變自己,與怎樣對待受到影響的人,是兩個問題。Annalee Newitz 的《Autonomous》和 Martha Wells 的《All Systems Red》提供不同的閱讀起點。前者適合追問自主的條件,後者可從第一章的救援切入;不必先替所有機器角色做道德判決。
在 Lightspeed 的作者訪談中,Newitz 把自主解釋為取得自身意識的 root access,因而能檢視、修改自己的程式。[1] 這是作者對自主概念的說明。「可以修改」描述能力與權限,並沒有替每一次修改背書。我讀這個說法時,會問改寫後的自己仍願意聽誰說話,而不把權限提升直接讀成品格提升。
因此,我會把《Autonomous》推薦給對自我形成感興趣的讀者。可以帶著一個問題閱讀:當一個存在有能力反省自己的理由,我們還需要知道什麼,才能評價它的選擇?這是我的陪讀提問,不是替小說補上一場具體的拒令事件。自由值得重視,也不必為了保留責任而先否認自由;兩者可以同時成為閱讀的焦點。
All Systems Red:把注意力交給急需救援者
《All Systems Red》的授權第一章給出另一種觀察尺度:救援 Bharadwaj 時,緊急資訊即使在控制模組未被破解的情況下也有優先權。[2] 因此,不能把這一刻簡化為「先駭改,才懂得救人」。這個細節讓閱讀從有沒有控制鎖,轉向危急時刻哪些訊息值得注意;制度既有的優先順序,也需要與角色的行動分開看。
同一段落中,SecUnit 延後處理控制模組訊息,沒有先解碼內容。[2] 未讀取的指令,不能直接變成一個已知而被刻意違抗的命令。若把這段當作拒絕服從的勝利宣言,反而會錯過救援中的注意力分配。我的閱讀重點是:在訊息競爭下,怎麼辨認眼前的脆弱與迫切,而不是把所有延後處理都視為英雄式反抗。
我會把這本推薦給想從行動而非抽象定義進入問題的讀者。閱讀時,可以先追蹤誰需要幫助,再觀察角色怎麼安排注意力,最後才問控制技術在其中扮演什麼角色。這是本文的讀法,不是宣稱作者已替道德主體性下了定義。救援場景讓判斷變得具體,卻不能單憑一幕就替一個存在完成全部倫理評價。
依你在意的自由與責任,選下一本
兩本並讀,我會保留兩張不同的問題卡:《Autonomous》問「誰能改寫自己」,《All Systems Red》問「此刻應先回應誰」。前者偏向自由的條件,後者提供照護判斷的切口。不要把兩作拼成同一場拒令事件,也不必把任何一部當成自由必然導向善的證明。可先讀文末作者訪談與試讀,再依自己的興趣選一本;相關閱讀另接較廣的 AI 倫理問題。
若想把責任延伸到文明的承接,可另讀鳴空出世 M.K. 的《新巴比倫》三部曲。
常見問題
《Autonomous》與《All Systems Red》先讀哪本?
想問自主與自我修改的條件,從 Autonomous 開始;想從危機中的照護與注意力切入,先讀 All Systems Red。這是本文建議的選書角度。
破解控制能證明機器具有道德嗎?
不能由破解本身直接推出。修改程式的能力、緊急資訊的優先順序和行動的倫理評價,需要分開討論。
兩作都有相同的拒令救援情節嗎?
本文不作此主張。Autonomous 的比較依據是作者對自主的說明,All Systems Red 則使用授權第一章;未解碼訊息也不能直接當成刻意違抗的已知命令。
資料來源與延伸參考
同一主題的延伸閱讀
如果 AI 不是反派:推薦給想看後人類文明的讀者
想讀 AI 不必扮演反派的後人類科幻,可以從《Monk & Robot》的溫柔對話、《Murderbot Diaries》的自主困境、《A Closed and Common Orbit》的身分重建與《Culture》的文明尺度開始。再比較《Sea of Rust》的殘酷生存與《Ancillary Justice》的權力問題,按心情找到下一部作品。
無人不等於沒有人的故事:《Sea of Rust》與《After World》的缺席與留痕
後人類地球不必是一張沒有人的白紙。從 C. Robert Cargill《Sea of Rust》中 Brittle 的回憶,到 Debbie Urbanski《After World》的生命故事與 Sen,分清肉身缺席、敘事留痕與意識延續,依你想讀機器回望還是生命被敘述來選書,不把記錄尚存說成人已獲救。
共用意識不等於同一立場:《Ancillary Justice》與《A Closed and Common Orbit》
共享記憶的 AI,是否仍能保有不同立場?從 Ann Leckie 對不同存活分體的說明,對照 Becky Chambers 筆下重啟後重新適應世界的 Lovelace。兩部作品不是同一種集合記憶設定:本文分清分散的視點與重新形成的自我,讓你依自己關心的個體性問題選書,而不是只因兩作都有船艦 AI 就畫上等號。