16 May 2026 · 7 min
Käytettävyysvalvonta sanoo palvelun olevan kunnossa. Vastauksista se ei kerro mitään.
Tekoälyominaisuutesi palauttaa HTTP 200. Näyttö on vihreä. Käytettävyys on mukava rivi ysejä. Ja käyttäjiesi saamat vastaukset ovat hiljaa huonompia kuin viime viikolla, kalliimpia kuin viime kuussa ja satunnaisesti väärin tavoilla joita kukaan ei ole huomannut. Tämä on tekoälyn omalaatuinen vaara tuotannossa: tavat joilla se epäonnistuu eivät näytä epäonnistumiselta. Klassinen valvonta rakennettiin nappaamaan palvelu joka lakkaa vastaamasta. Tekoälypalvelu joka vastaa täydellisesti mutta huononee tasaisesti purjehtii sen ohi.
Tekoälyn havaittavuus ei ole sama tieteenala kuin käytettävyysvalvonta, ja niiden kohtelu vaihtokelpoisina on tie itsevarmaan sokeuteen.
Perinteisessä ohjelmistossa onnistunut vastaus tarkoittaa yleensä että järjestelmä teki tehtävänsä. Tekoälyjärjestelmälle onnistunut vastaus tarkoittaa vain että se tuotti jonkin vastauksen — ei että se oli hyvä. Malli voi palauttaa sujuvan, hyvin muotoillun, rakenteellisesti kelvollisen tulosteen joka on faktisesti väärä, hienovaraisesti aiheen vierestä tai heikentynyt. Jokainen kerros raportoi onnistumisen kun oikeasti tärkeä — laatu — jää mittaamatta.
Tämä on ydinsyy miksi tekoäly tarvitsee oman havaittavuutensa. Signaali josta välität ei ole "vastasiko se" vaan "oliko vastaus hyvä" — eikä mikään vakiopakassa vastaa siihen.
On neljä tapaa joilla tekoälyjärjestelmä heikkenee heittämättä virhettä. Laatu ajautuu kun oikea maailma etääntyy koulutusdatasta. Kustannus hiipii kun kehote hiljaa kasvaa tai käyttö siirtyy kalliimpiin kuvioihin. Viive nousee oikeassa liikenteessä tavoilla joita testi ei paljastanut. Ja mallipäivitys taannuttaa laadun, vaihtaen keskimääräisen parannuksen regressioon juuri sinun tapauksessasi.
Yksikään ei laukaise hälytystä järjestelmässä joka valvoo vain katkoja. Kukin on näkymätön kunnes joku etsii sitä nimenomaan — tai kunnes käyttäjä valittaa.
Havaittavuuden perusta on tallentaa mitä kussakin kutsussa oikeasti tapahtui: syöte, tuloste, viive, token-kustannus ja laatusignaalit. Tuon jäljen kanssa hiljaiset viat tulevat näkyviksi — näet kustannuksen ominaisuuksittain, huomaat ajautuman alkaessaan ja nappaat regression sillä hetkellä kun malli muuttuu etkä viikkoja myöhemmin. Ilman sitä ajat järjestelmää jonka käytöstä et näe, ja toivot.
Tämä ei ole eksoottista infraa. Se on lokituksen ja mittareiden vastine klassiselle ohjelmistolle, sovellettuna niihin osiin joita klassinen lokitus ei tavoita.
Vahvimmat asetelmat eivät kohtele laatua jonain jonka tarkistat silloin tällöin. Ne mittaavat sitä jatkuvasti, ajaen arviointia live-liikenteen otosta vasten jotta laatu on numero näytöllä, ei oletus. Kun numero liikkuu, tiedät — ennen kuin pudotus muuttuu joksikin jonka asiakkaat tuntevat. Missä automaattinen pisteytys ei tavoita olennaista, ihminen tarkistaa otoksen.
Tämä on ero regression löytämisessä omista mittareistasi ja vihaisesta tukitiketistä. Toinen on havaittavuutta; toinen sen puutetta.
Token-hinnoittelussa kustannus ei ole kuukausittainen yllätys laskulla vaan mittari jota tulisi valvoa yhtä tarkasti kuin viivettä. Hyvä havaittavuus kohdistaa kustannuksen ominaisuuksiin, käyttäjiin, kehoteversioihin, jotta laskun liikkuessa tiedät tarkalleen mikä muutos aiheutti sen. Muutaman sadan tokenin kasvanut kehote miljoonien kutsujen yli on näkymätön kunnes se ilmestyy odottamattomana numerona.
On aito jännite riittävän debuggausta varten tallentamisen ja tekoälyjärjestelmän läpi virtaavan arkaluontoisuuden kunnioittamisen välillä. Hyvä havaittavuus ratkaisee sen tietoisesti: tallenna mitä tarvitset ongelmien diagnosointiin, redaktoi mitä et, äläkä koskaan tee telemetriastasi toista kopiota arkaluontoisesta datasta. Avoimiin standardeihin rakennettuna havaittavuutesi pysyy siirrettävänä ja sinun.
Tietosuoja lähtökohtaisesti ei ole tässä rajoite vaan se mikä tekee havaittavuudesta turvallista ajaa oikeaa käyttäjädataa käsittelevässä järjestelmässä.
Lopulta havaittavuus ei ole vaatimustenmukaisuusruksi. Se on ennakkoehto tekoälyjärjestelmän parantamiselle ylipäätään. Mallia jota et voi havainnoida et voi debugata, et voi turvallisesti päivittää etkä voi luottaa sen vanhetessa. Tiimit joiden tekoälyominaisuudet paranevat ovat ne jotka näkevät mitä järjestelmänsä oikeasti tekevät — ja ne joiden ominaisuudet hiljaa mätänevät luulivat yleensä vihreää käytettävyysnäyttöä terveeksi järjestelmäksi.
Varaa 30 minuutin puhelu. Kerromme rehellisesti, voimmeko auttaa.
Varaa puhelu