Urheilun ennustemallit pyrkivät arvioimaan tulevien tapahtumien todennäköisyyksiä. Jalkapallo-ottelulle voidaan esimerkiksi laskea kotivoiton todennäköisyydeksi 60 prosenttia, tasapelille 25 prosenttia ja vierasvoitolle 15 prosenttia. Kun ottelu päättyy vierasjoukkueen voittoon, ennuste saattaa näyttää vedonlyöjän näkövinkkelistä epäonnistuneelta.

Todellisuudessa tulos ei kuitenkaan yksin kerro mitään varmaa ennustemallin laadusta. Jos tapahtuman todennäköisyys on 15 prosenttia, sen toteutuminen kuuluu täysin mallin ennustamaan mahdollisuuksien joukkoon.

Tämä on yksi todennäköisyyslaskennan tärkeimmistä periaatteista. Hyvä ennustemalli ei tarkoita järjestelmää, joka osuu aina oikeaan. Sen sijaan hyvä malli kuvaa tapahtumien epävarmuutta mahdollisimman tarkasti.

Todennäköisyys ei ole lupaus lopputuloksesta

Kun mallin ennuste antaa tapahtumalle 70 prosentin todennäköisyyden, kyse on arviosta siitä, kuinka usein vastaavanlaiset tapahtumat toteutuvat.

Yksittäisessä ottelussa lopputulos on kuitenkin joko toteutunut tai toteutumaton. Kotijoukkue voittaa tai ei voita. Ottelun jälkeen ei ole mahdollista havaita, oliko kotijoukkueen todellinen voittotodennäköisyys juuri 70 prosenttia.

Tilannetta voi havainnollistaa yksinkertaisella esimerkillä. Oletetaan, että ennustemalli arvioi sadassa toisistaan riippumattomassa ottelussa kotivoiton todennäköisyydeksi täsmälleen 70 prosenttia ja että arvio vastaa jokaisen ottelun todellista todennäköisyyttä.

Tällöin kotijoukkueiden odotetaan voittavan keskimäärin 70 ottelua. Toteutunut määrä voi kuitenkin olla esimerkiksi 65 tai 76 ilman, että mallissa olisi mitään vikaa.

Satunnaisvaihtelu aiheuttaa eroja odotetun ja toteutuneen tuloksen välille. Mitä pienempi havaintomäärä on, sitä suurempi merkitys tällä vaihtelulla tavallisesti on.

Todennäköisyyksien ja odotusarvojen ymmärtäminen ei rajoitu pelkästään urheilun ennustemalleihin. Samat matemaattiset periaatteet pätevät myös kasinopeleihin, joissa esimerkiksi kasinobonus voi sisältää kierrätysvaatimuksia ja muita ehtoja, jotka vaikuttavat sen laskennalliseen arvoon. Nimellinen bonusmäärä ei siten yksin kerro tarjouksen todellisesta taloudellisesta merkityksestä.

Siksi myöskään muutaman ottelun perusteella ei voi päätellä, onko urheilun ennustemalli onnistunut vai epäonnistunut.

Kalibrointi kertoo ennusteiden luotettavuudesta

Tilastotieteessä ennustemallien arvioinnissa käytetään käsitettä kalibrointi. Hyvin kalibroitu malli antaa todennäköisyyksiä, jotka vastaavat pitkällä aikavälillä toteutuneiden tapahtumien suhteellisia osuuksia.

Jos malli arvioi tuhannessa tapauksessa tapahtuman todennäköisyydeksi noin 60 prosenttia, hyvin kalibroidun mallin ennusteista noin 60 prosentin pitäisi toteutua.

Kalibrointia voidaan tutkia jakamalla ennusteet todennäköisyysluokkiin. Esimerkiksi 50-60 prosentin todennäköisyyden saaneet tapahtumat muodostavat yhden ryhmän ja 60-70 prosentin tapahtumat toisen.

Kun toteutuneita tuloksia verrataan ennusteisiin, nähdään, arvioiko malli tapahtumia järjestelmällisesti liian todennäköisiksi tai epätodennäköisiksi.

Jos 80 prosentin ennusteista toteutuu pitkällä aikavälillä vain 65 prosenttia, mallin arviot ovat kyseisessä ryhmässä liian itsevarmoja. Tämä ei välttämättä tarkoita, että malli olisi kaikissa tilanteissa huono, mutta sen todennäköisyysarvioissa on havaittava ongelma.

Kalibrointi on tärkeä ominaisuus erityisesti silloin, kun ennusteita käytetään päätöksenteon tukena. Ennusteen arvo perustuu silloin ennen kaikkea siihen, kuinka hyvin se kuvaa epävarmuutta.

Brierin pisteytys mittaa ennusteiden laatua

Yksi tunnetuimmista todennäköisyysennusteiden arviointimenetelmistä on Brierin pisteytys. Menetelmä on nimetty meteorologi Glenn W. Brierin mukaan, joka esitteli sen vuonna 1950.

Brierin pisteytyksessä ennustettua todennäköisyyttä verrataan toteutuneeseen lopputulokseen. Binäärisessä tilanteessa toteutunut tapahtuma saa arvon yksi ja toteutumaton tapahtuma arvon nolla.

Näiden arvojen erotus korotetaan toiseen potenssiin. Usean ennusteen tapauksessa tuloksista lasketaan keskiarvo.

Oletetaan, että joukkueen voitolle annetaan 80 prosentin todennäköisyys. Jos joukkue voittaa, yksittäisen ennusteen Brierin pisteytys on 0,04. Jos joukkue häviää, pisteytys on 0,64.

Pienempi pistemäärä tarkoittaa parempaa ennustetta. Menetelmä rankaisee erityisesti tilanteista, joissa malli antaa erittäin suuren todennäköisyyden tapahtumalle, joka ei toteudu.

Yksittäisen ottelun pisteytys ei kuitenkaan vielä kerro mallin yleisestä laadusta. Brierin pisteytyksen varsinainen hyöty syntyy suuresta ennustejoukosta.

Menetelmää käytetään esimerkiksi sääennusteiden ja muiden todennäköisyyspohjaisten ennusteiden arvioinnissa. Sama matemaattinen periaate soveltuu myös urheilutapahtumiin.

Tarkkuus ja kalibrointi ovat eri asioita

Ennustemallin tarkkuus ja kalibrointi eivät tarkoita samaa asiaa.

Malli voi esimerkiksi valita jokaisessa ottelussa todennäköisimmän lopputuloksen ja saada suuren osan otteluista oikein. Tämä ei silti tarkoita, että sen antamat todennäköisyydet olisivat luotettavia.

Kuvitellaan kaksi mallia, jotka arvioivat samoja otteluita. Ensimmäinen antaa suosikkijoukkueelle 55 prosentin voittotodennäköisyyden ja toinen 90 prosenttia.

Molemmat ennustavat saman joukkueen voittavan. Jos suosikki voittaa, kummankin mallin valitsema lopputulos on oikea.

Todennäköisyysarvioiden laadussa voi silti olla huomattava ero. Jos vastaavat suosikit voittavat pitkällä aikavälillä noin 55 prosenttia otteluistaan, ensimmäinen malli kuvaa niiden todellista menestymistä selvästi paremmin.

Tämä osoittaa, miksi pelkkä oikein ennustettujen otteluiden osuus on puutteellinen mittari. Se ei kerro, kuinka realistisesti malli arvioi eri lopputulosten todennäköisyyksiä.

Epävarmuuden tunnistaminen on ennustamisen ydin

Todennäköisyysmallien arvioinnissa on lopulta kyse siitä, kuinka hyvin ennusteet vastaavat todellisten tapahtumien pitkän aikavälin jakaumaa. Vedonlyönnissä varianssin tunnistaminen on avainasemassa.

Yksittäinen väärä ennuste ei todista mallia huonoksi. Vastaavasti muutama onnistunut ennuste ei osoita mallia luotettavaksi. Kummassakin tapauksessa satunnaisvaihtelun merkitys voi olla huomattava. Otoskoon tulee olla riittävän suuri ennen johtopäätösten vetämistä.

Kalibrointi, Brierin pisteytys ja riippumattomalla aineistolla tehtävä testaus auttavat erottamaan aidosti laadukkaat ennusteet sattumanvaraisista onnistumisista.

Urheilun lopputuloksia ei voida ennustaa täydellisellä varmuudella, eikä se ole todennäköisyysmallien tarkoituskaan. Niiden tehtävänä on arvioida epävarmuutta mahdollisimman johdonmukaisesti.

Hyvän ennustemallin tunnistaa ennen kaikkea siitä, että sen ilmoittamat todennäköisyydet kestävät tarkastelun myös silloin, kun yksittäiset ottelut päättyvät odotusten vastaisesti.