書き換える自由と救助の判断――AutonomousとAll Systems Red

Autonomous――自分を書き換える自由

機械が制御から自由になる。その瞬間を、そのまま善の誕生として読みたくなることがある。けれど、自分を変えられることと、他者への振る舞いをどう評価するかは、少し離して考えたい。Annalee NewitzのAutonomousとMartha WellsのAll Systems Redは、その違いから次の一冊を選べる組み合わせだ。自律の条件を考えるか、危機の行動から入るかで読み口が変わる。

Lightspeedの作者インタビューで、Newitzは自律を、自身の意識へのroot accessを得てプログラムを検討し変更できることとして説明している。[1] これは能力と権限の説明であって、変更した内容が正しいという保証ではない。私はここから、自分を変えたあとも、どんな理由に耳を傾けられるのかと問いながら読みたい。

自分が自分を形づくる条件に関心があるなら、Autonomousから始めるとよい。自由を尊重することと、行動の理由を評価することを、別々の課題として持っていける。どちらかを守るために、もう一方を消す必要はない。これは読書の提案であり、特定の命令拒否によって善が証明されるという筋書きを作品に付け加えるものではない。

All Systems Red――緊急時に何を見るか

All Systems Redの公認試読では、Bharadwajの救助に際し、制御モジュールが改変されていなくても緊急情報が優先されると語られる。[2] ここを読むと、制御を破ったからケアが生まれた、という単純な因果関係にはできない。もともとの情報の優先順位と、その状況での行動を、分けて見たくなる。

同じ場面でSecUnitは、制御モジュールからのメッセージを解読せず後回しにする。[2] 内容を読んでいない指示を、内容を承知したうえでの拒否と同じには扱えない。私が注目するのは、情報が重なるとき、切迫した他者の必要をどう見失わずにいられるかという点だ。後回しにする行為すべてを英雄的だと評価したいわけではない。

行動から倫理の問いに入りたい読者には、All Systems Redを勧めたい。まず助けが必要な状況を追い、次に注意の向け方を見て、制御技術との関係を考える。この順序なら、一つの救助場面に道徳的主体性のすべてを証明させずに読める。行為を大切に受け止めながら、その存在のほかの選択にも問いを残せるだろう。

自由の条件か、ケアの判断かで選ぶ

二冊を並べるなら、問いも二つ残したい。自分を書き換えられるのは誰か、いま誰に応答すべきか。前者への関心ならAutonomous、後者を具体的な場面から考えるならAll Systems Redが読み始める手がかりになる。同じ命令拒否の話としてまとめず、下記のインタビューと試読から選んでほしい。関連読書は、より広いAI倫理へ進むために添えた。

文明を受け継ぐ責任へ関心が広がったら、鳴空出世 M.K.のSF小説『新・バビロン』三部作も関連読書になる。