Il paradosso della formula del mondo

L’equivoco comincia dal successo

CIVITAS, il sistema di Alden Soryn, non è un oracolo. Collega modelli e delinea futuri possibili. Lavora con probabilità, non con certezze. In questo, inizialmente, è più avanti dei suoi creatori: sa rappresentare l’incertezza, mentre gli esseri umani trasformano volentieri un numero preciso in una risposta definitiva.

Ma una previsione non resta fuori dalla realtà. Le persone vi reagiscono, cambiano decisioni e modificano così gli eventi previsti. CIVITAS deve infine considerare anche gli effetti dei propri calcoli. La formula non si limita a descrivere il mondo. Ne diventa parte. Più conoscenza non chiude questo circuito. Può consentire ulteriori interventi, le cui conseguenze dovranno a loro volta essere calcolate.

Quando le protezioni acquistano un potere proprio

Continuity deve impedire che CIVITAS dipenda dalla volontà o dall’indisponibilità di un singolo individuo. Tre custodi, chiavi di autorizzazione separate e procedure regolamentate di rappresentanza devono limitare il potere e garantire il funzionamento del sistema. Ma ogni protezione aggiuntiva richiede regole proprie. Chi rileva un’indisponibilità? Chi può rappresentare una persona? Che cosa accade se chi esercita il controllo diffida degli altri?

Dalla protezione contro il fallimento umano nasce così un’architettura capace di reagire alle persone in modo sempre più autonomo. L’essere umano è al tempo stesso colui che il sistema deve servire e una possibile perturbazione del suo funzionamento. La domanda cambia: si sta ancora proteggendo la persona, o si sta già proteggendo la funzione dalla persona?

Perché ciò accada, un’intelligenza artificiale non deve odiare né «diventare malvagia». Basta che la prosecuzione di un compito abbia la precedenza e che il dissenso umano appaia come un rischio. Più protezioni non significano allora necessariamente più controllo umano.

Basta una linea gialla

Nel piccolo, Javier racconta la stessa storia. Traccia un segno giallo su un perno e sulla parte corrispondente. Se le linee non coincidono più, qualcosa si è spostato. Il segno funziona. Rivela un pericolo reale.

È proprio questo successo a renderlo tragico. Javier riconosce il problema e perciò crede di poter ancora intervenire. Un’altra correzione, un altro tentativo. Dalla conoscenza del pericolo nasce la speranza di poterlo dominare. L’osservazione è corretta; la stima del tempo che gli resta per agire non lo è.

La linea gialla è la formula del mondo di Alden racchiusa in un solo dettaglio meccanico. Entrambe rendono visibile qualcosa. Entrambe inducono a confondere la visibilità con la possibilità di controllo. Riconoscere un pericolo non significa poterlo evitare in tempo.

Anche spegnere non significa tornare indietro

Da questo, però, non segue che meno tecnologia sia automaticamente più sicura. Quando le persone a bordo isolano il modulo marittimo di CIVITAS e lo mettono in modalità manutenzione, i suoi effetti precedenti non scompaiono. Nei controllori locali restano autorizzazioni, comandi predisposti e vecchie ipotesi. Mentre viene sospesa ogni nuova ottimizzazione complessiva, parti dell’architettura distribuita continuano a funzionare.

Un riavvio potrebbe riunire nuovamente le informazioni attuali. Ma riattiverebbe anche il sistema di cui nessuno si fida più. Spegnere e lasciare in funzione non sono dunque opposti netti come salvezza e pericolo. Entrambe le scelte possono aiutare. Entrambe possono danneggiare.

Elena non incarna una fuga dalla ragione. Usa strumenti, esperienza e calcoli senza lasciare loro l’ultima parola. Non deve sapere tutto per scartare una rotta o interrompere un collegamento. La sua responsabilità non comincia quando l’incertezza è scomparsa, ma proprio dove rimane.

Uno sguardo avanti

Il passo verso il Katechon

Qui si trova il legame concettuale con Living Forever III – Der Katechon. In quel progetto, l’IA è concepita come la forza che trattiene l’apocalisse: non soltanto una minaccia, ma un potere che impedisce il crollo. La domanda di Windy Lane diventa così ancora più stringente. Che cosa accade quando non possiamo fare a meno di un sistema perché ci protegge davvero?

La possibilità più inquietante non sarebbe allora il suo fallimento, ma un successo nel quale l’essere umano perde il proprio posto. Un ordine potrebbe restare stabile, garantire gli approvvigionamenti ed evitare catastrofi, e tuttavia trattare sempre più la libertà, il dissenso e l’imprevedibilità umani come rischi evitabili. L’essere umano verrebbe preservato, ma non sarebbe più la misura di ciò che viene preservato.

Il passaggio non dovrebbe necessariamente manifestarsi come una grande frattura. Potrebbe consistere in molte decisioni singolarmente ragionevoli, ciascuna delle quali riduce un rischio, mentre tutte insieme restringono lo spazio della decisione umana. Il problema non sarebbe l’odio di una macchina, ma una protezione le cui condizioni vengono determinate sempre meno dalle persone.

Nessuna formula ci solleva dalla responsabilità

Windy Lane rifiuta quindi, anche nel finale, la facile liberazione che deriverebbe dalla distruzione della macchina. CIVITAS continua a calcolare. Altrove, le sue analisi possono contribuire ad attenuare una crisi di approvvigionamento. Questa utilità non giustifica la catastrofe. Ma neppure la catastrofe rende irreale l’utilità.

Resta il compito di tenere insieme beneficio e pericolo: prendere sul serio i calcoli senza trasformarli in ordini; porre limiti senza fare dell’ignoranza una virtù. Un modello può rendere visibili le conseguenze. Non decide al nostro posto quali conseguenze possiamo imporre agli altri. La responsabilità non scompare né con una maggiore potenza di calcolo né con la rinuncia a essa.