Hvert bygg og hvert renseanlegg tar tusenvis av små beslutninger hver dag. En termostat kjenner at et rom er kaldt, og åpner en radiatorventil. En oksygenmåler i en tank viser lavt, og en luftventil åpner. Ingeniører kaller hver av disse en reguleringssløyfe, og et stort anlegg har tusenvis. Hvilken ventil som virker på hvilken måling, står i tegninger som ofte er flere tiår gamle, eller bare i hodet på noen. Tar man feil på én, varmes et rom for ingen mens et annet blir kaldt, eller en tank luftes for full pris til ingen nytte.
Slik holder vi oss selv ansvarlige
Før hvert forsøk skrev vi ned, og la ut i en offentlig logg, nøyaktig hvordan vi ville avgjøre og hvilket resultat som skulle telle som bestått. Først da kjørte vi det, på måneder med data vi aldri hadde åpnet. Det er slik nye medisiner testes, og det er den eneste måten å hindre seg selv i å se det man håpet å se.
Forsøk én: lurt av været
4 av 6 svar riktigekravet var 80 %; dom: falsifisert
Vi koblet hver ventil til den målingen den beveger seg mest sammen med. Om våren ble to radiatorventiler koblet til utetemperaturen i stedet for rommene sine. Varmen er laget for å åpne seg når det er kaldt ute, så ventilene fulgte været. Metoden fant det regulatoren lytter til, ikke det den regulerer.
Forsøk to: lurt av rørene
4 av 7 svar riktigeikke bedre enn det første; dom: falsifisert
Så fjernet vi alle målinger en ventil aldri kan påvirke, som utetemperaturen. Om vinteren ble tre ventiler da koblet til byggets felles varmtvannsstrøm i stedet. Hver radiator endrer faktisk den strømmen, og i de kalde månedene endrer den den mer enn noe enkelt rom. Metoden fant det hver ventil påvirker, som ikke er det samme som det den er der for å regulere.
Forsøk tre: stoppet av oss selv
En tredje idé nådde 14 av 20 på dataene vi hadde lov til å se på, under sitt eget krav på 90 %. Vi stoppet den der, i stedet for å bruke ferske data på en test vi allerede visste at den ville stryke på. I disse byggene endres innstillingene aldri, så dataene inneholder rett og slett ikke svaret på et blindt spørsmål.
Det riktige spørsmålet
7 av 7 sløyfer riktig bekreftet · 197 av 198 feilkoblinger avvistpå måneder ingen hadde åpnet; dom: bekreftet
En ingeniør som setter et anlegg i drift, gjetter ikke sløyfene blindt. Ingeniøren har en liste, fra tegningene eller navnene, og sjekker hver sløyfe mot hvordan anlegget faktisk oppfører seg. Det var spørsmålet vi gikk over til: gitt listen, kan dataene bekrefte de ekte sløyfene og avvise de feil? På måneder ingen hadde åpnet, var hver sløyfe den bekreftet riktig. Den bekreftet 88 % av sløyfene som var i drift, og av 198 bevisste feilkoblinger, den typen en feilkoblet ventil gir, avviste den 197. Den besto alle kravene vi hadde satt, og den er nå i produktet.
To anlegg er et lite utvalg, og to av bekreftelsene gikk gjennom luftmengder som selv er regnet ut fra ventilene. Den fulle rapporten sier det, med hvert tall.
Hvorfor vi viser deg feilene
Industrien har hørt «KI vil optimalisere anlegget ditt» mange ganger. Den har sjelden hørt et selskap si «her tok vi feil, med tallene». Et system som en dag skal få tillit til å handle inne i et anlegg, må kunne si «jeg vet ikke» og «jeg tok feil». Det er ikke en svakhet å skjule. Det er den delen av fremtiden som er verdt å bygge.