Quattro volte su quattro: l'euristica che perdeva per costruzione

Tre domande su uno screenshot, un sabato mattina. Nessuna richiesta di codice: volevo capire dove leggere un numero che la mia pagina mi stava mostrando. Per rispondere bisognava aprire il codice, ed è lì che ho scoperto che la sezione mentiva — non sul totale, sull'etichetta: diceva «del mese» sopra un cumulato da sempre.

Quello era il guasto piccolo. Cercandolo ne è saltato fuori un altro, lì da tre settimane, con una statistica che non mi aspettavo: quattro su quattro.

Due moduli, una domanda, due risposte

Il programma è il gestionale delle finanze della mia famiglia: 14.727 movimenti, quattro conti, 24 fondi, 91 voci di spesa — nel programma si chiamano classi — e 3.582 test. Ogni voce ha una «casa»: il conto da cui quella spesa dovrebbe uscire. Quando esce dal conto giusto i saldi tornano; quando esce dal conto sbagliato nasce un divario, e segnalare quel divario è metà del mestiere di questo software.

Due moduli rispondevano alla stessa domanda — su quale conto vive questa voce? — in due modi. Uno leggeva la casa dichiarata. L'altro la deduceva dall'ultimo movimento: dove ha pagato l'ultima volta, lì vive. Il genere di scorciatoia che si scrive in tre minuti e campa finché qualcuno non si mette a contare.

Le ho messe a confronto sulle 88 voci che allora avevano una casa dichiarata. Ne discordavano quattro. Poche. Poi le ho guardate una per una: sbagliate tutte e quattro dalla stessa parte. Aveva torto sempre l'euristica.

Sulla casa dichiarata: 431 movimenti. 422. 286. 288. Sull'altro conto, ogni volta, due o sei.

Centinaia di righe da una parte, una manciata dall'altra. E l'euristica sceglieva la manciata. Ogni volta.

Perché non poteva vincere

Perché l'ultimo movimento di quelle voci era, ogni volta, una delle pochissime righe uscite dal conto sbagliato. Cioè esattamente l'anomalia che il programma esiste per segnalare.

Il giro è questo, e gira da solo. Una spesa finisce sul conto sbagliato. Diventa il movimento più recente. L'euristica conclude che la casa è quel conto. Il bersaglio si sposta, la quota del mese va lì, e spendere da lì diventa normale. Il divario da segnalare sparisce — perché il sistema ha appena deciso che l'eccezione era la regola.

L'errore si cancella da solo. E cancellandosi, si nasconde.

Il conto della serva del danno: 440 € al mese di piano dirottati sul conto sbagliato, e due schermate che dicevano numeri diversi sullo stesso mese senza che nessuna delle due potesse accorgersene, perché ciascuna era coerente con sé stessa.

Un'euristica che campiona l'ultimo evento non estrae il comportamento tipico: estrae il più recente. E in un sistema che funziona, l'ultimo evento strano è quasi sempre un'eccezione — le cose normali succedono di continuo e non si fanno notare, quella storta la vedi perché è appena successa.

È come stabilire dove fa la spesa una famiglia guardando l'ultimo scontrino. L'ultimo scontrino è quello dell'autogrill, a Ferragosto.

La parte meno nobile

Non l'ho trovato leggendo il codice: l'ho trovato mettendo i due moduli uno contro l'altro e contando le differenze.

L'euristica stava lì da tre settimane, e nessun test l'aveva mai colta in fallo. Non stupisce: un test controlla quello che chi lo scrive si aspetta, e chi aveva scritto la scorciatoia si aspettava che l'ultimo movimento fosse un buon indizio. Un test scritto dalla stessa testa che ha scritto la scorciatoia non è una verifica: è un'eco.

La correzione è stata togliere la deduzione: la casa dichiarata è diventata l'unica fonte, anche per il modulo che prima tirava a indovinare. Nella stessa sessione, a mano e sui dati veri, i quattro conti sono tornati a quadrare con la banca a zero.

Il ferro da portarsi via

Due domande da fare al proprio sistema domattina. Cinque minuti, e non serve saperne il codice.

La prima: c'è un punto in cui deduco una regola stabile dall'ultimo dato osservato? E quell'ultimo dato è rappresentativo, o è l'anomalia?

La seconda, più cattiva: se questa deduzione fosse sbagliata, il sistema me lo direbbe? Nel mio caso no. L'errore chiudeva proprio l'avviso che avrebbe dovuto accendersi. Un difetto che spegne il proprio allarme non lo trovate coi test: lo trovate solo mettendo due fonti l'una contro l'altra e contando le differenze.

Quattro voci su ottantotto. Sembrava un problema piccolo. Era una scorciatoia di tre settimane, e non perdeva per sfortuna.

Per costruzione.