Poikkeamien havaitseminen juuri niiden tapahtuessa

Suurin osa poikkeamien havainnoinnista vastaa kysymykseen joka oli jo vanhentunut kysyttäessä. Data laskeutuu varastoon, eräajo pyörii yön yli, ja aamulla näyttö paljastaa että eilen meni jotain pieleen. Kuukausiraportille se sopii. Petokselle, vikahavainnoille, tietoturvatapahtumille tai käyttöhäiriöille "huomasimme tänä aamuna" tarkoittaa "huomasimme liian myöhään". Poikkeaman arvo rapistuu nopeasti, ja järjestelmä joka havaitsee sen tunteja myöhemmin on usein ohittanut ainoan ikkunan jossa löydös oli minkään arvoinen.

Virtapoikkeamien havainnointi kääntää tämän. Sen sijaan että kerättäisiin data ja analysoitaisiin myöhemmin, se analysoi jokaisen tapahtuman sen saapuessa ja nostaa lipun kun aikaa toimia on vielä. Se kuulostaa yksinkertaiselta ja on käsitteellisesti, mutta luotettava toteutus tuotantomittakaavassa vaatii joukon päätöksiä jotka menee helposti pieleen.

Miksi eräajo häviää kilpajuoksun

Eräajon ydinongelma on rakenteellinen, ei satunnainen viive. Kuinka nopea yöajo onkaan, se ei voi havaita klo 2 tapahtunutta ennen kuin se pyörii. Tuossa raossa petolliset tapahtumat selviävät, vikaantuva laite jatkaa vikaantumista, tunkeutuminen jatkuu. Ikkunan pienentäminen auttaa vähän; reagoit yhä menneisyyden tilannekuvaan.

Juuri siellä missä poikkeamien havainnointi merkitsee eniten, tämä viive on kalleinta. Tarkoitus on yleensä puuttua — ja voit puuttua vain sen vielä tapahtuessa.

Mitä "virtaus" oikeasti vaatii

Tapahtumien käsittely saapuessa tarkoittaa tilan pitämistä liikkeessä. Tietääksesi että tapahtuma on epätavallinen tarvitset kontekstin — tilin viimeaikaisen käytöksen, normaaliarvojen juoksevan jakauman, viime minuuttien kuvion. Virtajärjestelmä ylläpitää näitä liukuvia piirteitä jatkuvasti, päivittäen ne jokaisella tapahtumalla, jotta kukin saapuja pisteytetään sekunnin tarkkaa kuvaa vasten.

Tämä on aidosti eri muoto kuin eräajo. Kafka ja Flink ovat olemassa juuri tapahtumavirtojen ja niistä lasketun tilan hallintaan, ja ikkunoinnin, tilanhallinnan ja piirteiden tuoreuden saaminen oikein on suurin osa työstä.

Takeet jotka ratkaisevat oikeellisuuden

Virrassa vaikeat kysymykset koskevat toimitusta. Mitä tapahtuu kun solmu kaatuu kesken virran? Käsitelläänkö tapahtuma täsmälleen kerran, vähintään kerran vai enintään kerran? Nämä eivät ole akateemisia eroja. Petoksessa kahdesti käsittely voi tuplata ja laukaista väärän hälytyksen; yhden pudottaminen päästää oikean petoksen läpi. Koko järjestelmän oikeellisuus lepää oikean toimitussemantiikan valinnassa.

Suunnittelemme nämä takeet eksplisiittisesti ja testaamme ne olosuhteissa jotka oikeasti rikkovat järjestelmiä: kuormapiikit kaukana keskiarvon yli, kaatuvat ja palautuvat solmut, myöhässä tai epäjärjestyksessä saapuvat tapahtumat. Putki joka toimii siistissä demossa ja hajoaa piikin alla ei ole oikea järjestelmä.

Myöhäiset ja epäjärjestyksessä olevat tapahtumat

Oikeat virrat eivät saavu siistissä järjestyksessä. Verkkoviiveet, uudelleenyritykset ja hajautetut kellot tarkoittavat myöhässä tai epäjärjestyksessä olevia tapahtumia, ja naiivi järjestelmä laskee väärin tai tuottaa vääriä tuloksia aikaikkunoiden rajoilla. Tämän kunnollinen käsittely — vesileimoin, armonajoin ja selkeällä politiikalla myöhäisille — erottaa vankan virtajärjestelmän hauraasta. Epäglamouraalista ja välttämätöntä.

Väärät hälytykset siedettävinä

Sudesta huutava tunnistin on hyödyttömämpi kuin turha, koska ihmiset lakkaavat kuuntelemasta. Virtaus terävöittää tätä: korkeilla tapahtumamäärillä pienikin väärä positiivinen tuottaa tulvan. Malli on viritettävä paitsi havainnointiin myös tarkkuuteen volyymissa, ja hälytyskerroksen on ryhmiteltävä, järjestettävä ja vaimennettava jotta ihminen näkee signaalin ei kohinaa.

Tähän menee usein todellinen suunnittelutyö. Malli on yksi komponentti; ympäröivä järjestelmä joka muuttaa raa'at pisteet muutamaksi luotettavaksi hälytykseksi tekee siitä päivittäin käytettävän.

Poikkeamat eivät ole staattisia

Se mikä on normaalia ajautuu ajan myötä. Kausivaihtelu, julkaisut, muuttuva käytös ja poikkeamien oma kehitys tarkoittavat että kerran koulutettu malli rappeutuu hitaasti. Virtatunnistimen on huomioitava tämä — adaptiivisin perustasoin, säännöllisellä uudelleenkoulutuksella tai ajautumavalvonnalla joka merkitsee kun malli itse on vanhentunut.

Ajautuman ohittaminen on yleinen tapa jolla julkaisussa kauniisti toiminut järjestelmä hiljaa lakkaa toimimasta kuukausia myöhemmin, kenenkään huomaamatta ennen kuin se ohittaa jotain tärkeää.

Rakenna se puuttumista varten

Lopulta virtapoikkeamajärjestelmä on vain niin arvokas kuin toiminta jonka se mahdollistaa. Reaaliaikainen havainnointi on turhaa jos hälytykseen ei voi reagoida reaaliajassa, joten suunnittelun on lähdettävä vasteesta — kenen tai minkä pitää tietää, kuinka nopeasti, ja mitä he tekevät — ja työskenneltävä taaksepäin havainnointiin. Rakennamme nämä järjestelmät tuon silmukan ympärille, jotta poikkeaman kiinnisaanti ja sille tekeminen ovat yhden suunnittelun osia eivät kaksi irrallista puolikasta.