新巴比倫
開啟導覽選單
Beneath Glass Spires
背景音樂待命中
AI 科幻閱讀與作品比較作者

破解控制不是免責:《Autonomous》與《All Systems Red》的自主與救援

機器能修改自己,是否就代表它會負責?比較 Annalee Newitz《Autonomous》的自主概念與 Martha Wells《All Systems Red》的緊急救援,分清程式修改權、資訊優先順序和倫理評價,依你關心的是自我形成還是危機中的照護選書,不把破解控制當成善良或免責的證明。

靜頻藻幕航廊水下的前景礁環、藻幕與深錨纜;新巴比倫環境意象。

Autonomous:能改寫自己,接下來呢?

機器擺脫控制的故事,很容易讓人把自由和善良連在一起。我想把這個直覺稍微放慢:能決定怎樣改變自己,與怎樣對待受到影響的人,是兩個問題。Annalee Newitz 的《Autonomous》和 Martha Wells 的《All Systems Red》提供不同的閱讀起點。前者適合追問自主的條件,後者可從第一章的救援切入;不必先替所有機器角色做道德判決。

在 Lightspeed 的作者訪談中,Newitz 把自主解釋為取得自身意識的 root access,因而能檢視、修改自己的程式。[1] 這是作者對自主概念的說明。「可以修改」描述能力與權限,並沒有替每一次修改背書。我讀這個說法時,會問改寫後的自己仍願意聽誰說話,而不把權限提升直接讀成品格提升。

因此,我會把《Autonomous》推薦給對自我形成感興趣的讀者。可以帶著一個問題閱讀:當一個存在有能力反省自己的理由,我們還需要知道什麼,才能評價它的選擇?這是我的陪讀提問,不是替小說補上一場具體的拒令事件。自由值得重視,也不必為了保留責任而先否認自由;兩者可以同時成為閱讀的焦點。

All Systems Red:把注意力交給急需救援者

《All Systems Red》的授權第一章給出另一種觀察尺度:救援 Bharadwaj 時,緊急資訊即使在控制模組未被破解的情況下也有優先權。[2] 因此,不能把這一刻簡化為「先駭改,才懂得救人」。這個細節讓閱讀從有沒有控制鎖,轉向危急時刻哪些訊息值得注意;制度既有的優先順序,也需要與角色的行動分開看。

同一段落中,SecUnit 延後處理控制模組訊息,沒有先解碼內容。[2] 未讀取的指令,不能直接變成一個已知而被刻意違抗的命令。若把這段當作拒絕服從的勝利宣言,反而會錯過救援中的注意力分配。我的閱讀重點是:在訊息競爭下,怎麼辨認眼前的脆弱與迫切,而不是把所有延後處理都視為英雄式反抗。

我會把這本推薦給想從行動而非抽象定義進入問題的讀者。閱讀時,可以先追蹤誰需要幫助,再觀察角色怎麼安排注意力,最後才問控制技術在其中扮演什麼角色。這是本文的讀法,不是宣稱作者已替道德主體性下了定義。救援場景讓判斷變得具體,卻不能單憑一幕就替一個存在完成全部倫理評價。

依你在意的自由與責任,選下一本

兩本並讀,我會保留兩張不同的問題卡:《Autonomous》問「誰能改寫自己」,《All Systems Red》問「此刻應先回應誰」。前者偏向自由的條件,後者提供照護判斷的切口。不要把兩作拼成同一場拒令事件,也不必把任何一部當成自由必然導向善的證明。可先讀文末作者訪談與試讀,再依自己的興趣選一本;相關閱讀另接較廣的 AI 倫理問題。

若想把責任延伸到文明的承接,可另讀鳴空出世 M.K. 的《新巴比倫》三部曲。

常見問題

《Autonomous》與《All Systems Red》先讀哪本?

想問自主與自我修改的條件,從 Autonomous 開始;想從危機中的照護與注意力切入,先讀 All Systems Red。這是本文建議的選書角度。

破解控制能證明機器具有道德嗎?

不能由破解本身直接推出。修改程式的能力、緊急資訊的優先順序和行動的倫理評價,需要分開討論。

兩作都有相同的拒令救援情節嗎?

本文不作此主張。Autonomous 的比較依據是作者對自主的說明,All Systems Red 則使用授權第一章;未解碼訊息也不能直接當成刻意違抗的已知命令。

資料來源與延伸參考