Hoorcollege 7: Voorspellingen maken en evalueren
Deze week:
- Verschillende typen voorspellingen, zowel als resultaat van een model als wel als gevolg van
het soort waarnemingen dat je hebt.
Je kan in de tijd vooruit voorspellen, maar je kan ook eigenschappen van nieuw waargenomen
mensen voorspellen.
Wanneer we het over tijd hebben is het goed om je te realiseren dat na verloop van tijd de conditionele
voorspellingen minder zinvol kunnen worden VB: weersvoorspellingen worden vaak maar tot 5 dagen
vooruit gemaakt, na die 5 dagen neemt de onzekerheid rondom die voorspellingen zozeer toe dat ze niet
meer zinvol zijn.
En dat is nu juist het idee van voorspellingen maken vanuit een model. Dat model vat de gegevens
samen. Het zorgt ervoor dat er minder onzekerheid is rondom een voorspelling, dan simpelweg kijken
naar het historisch gemiddelde of de verdeling van alle gegevens in het verleden. Als de voorspelling uit
het model niet meer informatief is, dan kan je beter een historisch gemiddelde nemen.
- Het algemene idee van het maken van voorspellingen wat betekent dat je invult wat je in de
toekomst verwacht van een andere variabele, net als met bijv. ‘Jaar’ waar je invult 10 voor
2020, 11 voor 2021, en straks kunnen we ook invullen of iemand man of vrouw is of het aantal
jaren ervaring.
- Wat speelt een rol bij het maken en evalueren van voorspellingen?
Soorten voorspellingen
Er zijn verschillende soorten voorspellingen te maken, die elk op een eigen wijze relevant kunnen
zijn.
Puntvoorspelling: ‘Het aantal faillissementen in 2022 wordt 5000’.
Het is dus één getal. Dit is heel precies en met een hele grote kans komt deze voorspelling niet uit.
Zelfs als het werkelijke getal 4999 is, zit je er namelijk naast. Als je dan zegt ‘het aantal
faillissementen wordt ongeveer 5000’, dan ben je weer te weinig precies. Je kan dan beter een
intervalvoorspelling geven.
Intervalvoorspelling: ‘Het aantal faillissementen in 2022 wordt tussen de 4500 en 5500 met 95%
betrouwbaarheid’.
Dit is een typisch klassieke statistiek-uitspraak, en betekent zoiets als: als er oneindig veel jaren
2022 zouden zijn met evenzovele metingen van het aantal faillissementen, dan zou 95% van alle
waarnemingen tussen de 4500 en 5500 liggen.
Als die 95% kleiner wordt, bijv. 50%, dan wordt het interval ook smaller, bijv. tussen de 4800 en
5200. De kans dat de waarnemingen daarbuiten liggen, is dan ook weer groter (in dit geval dus
ook 50%).
Als je een interval zou voorspellen met nagenoeg 100% betrouwbaarheid, dan kan je zoiets stellen
als ‘tussen de 0 en 10000’, en dat is natuurlijk weinig informatief aan deze voorspelling heb je
dus niet veel.
Verdelingvoorspelling: ‘Het aantal faillissementen in 2022 is Normaal verdeeld met verwachting
(gemiddelde) 5000 en standaarddeviatie 250’.
Lijkt op de vorige, alleen hieraan die normale verdeling toegevoegd. Dit is een nog meer
informatieve voorspelling die dus de gehele verdeling betreft. Zo’n verdelingvoorspelling komt
weleens voor in de praktijk, maar vooral als de verdeling juist NIET een Normale verdeling is, maar
bijv. een Lognormale verdeling, of een andere verdeling die scheef is of meerdere waarnemingen
in de staart toestaat.
, Kansvoorspelling: ‘Met 75% kans wordt het aantal faillissementen in 2022 meer dan 5000’.
Dit is een vrij specifieke uitspraak en je zult dan ook vooraf moeten weten of dat getal van 5000
relevant is voor de opdrachtgever of beleidsmaker.
Voorkeur: Intervalvoorspelling.
Nadeel hiervan: de mate van betrouwbaarheid kiezen.
Als je als jurist een voorspelling aangereikt krijgt is het goed om te weten wat voor
voorspelling het is, want het maakt uit. Het maakt ook uit hoe je ze straks gaat evalueren,
want deze soorten voorspellingen worden allemaal op een andere manier geëvalueerd.
Een puntvoorspelling is niet een favoriet, want dan zit je er eigenlijk altijd naast, het wordt nooit
precies 5000. Het wordt altijd iets meer of iets minder, of veel meer of veel minder.
De intervalvoorspelling heeft dus de voorkeur (wat we eigenlijk ook bij enkelvoudig regressiemodel hebben
gedaan). Je ziet weersvoorspellers dit ook vaak doen ze zeggen bijv. het wordt tussen de 15 en
17 graden, ze zeggen nooit het wordt 16,3 graden.
Nadeel van een intervalvoorspelling is dan weer dat je de mate van betrouwbaarheid moet
vaststellen hierboven staat 95%, maar sommigen willen 50%, 10% of 99%, etc. Daarover moet
je het dan met elkaar eens worden.
Een voorspelling is NIET hetzelfde als een scenario!
Bij een voorspelling gaan we ervan uit dat het model (dat we hebben gebruikt om de
waarnemingen te beschrijven en samen te vatten) houdbaar is voor de toekomst of een ander
individu (dat de manier waarop variabelen met elkaar samenhangen in de toekomst doorgaat, zo
op dezelfde wijze als nu), dat de parameters niet wijzigen, en dat ‘alles doorgaat zoals het nu is’
DUS: een voorspelling gaat uit van ongewijzigde omstandigheden!
(voorspellingen kunnen juist falen als de situatie is gewijzigd, welke wijziging wij zelf als voorspeller
kunnen hebben veroorzaakt)
Iets anders is een scenario een scenario verwerkt voorspellingen bij mogelijk verschillende
condities. Dat is dat je zegt stel dat er iets gaat gebeuren VB: stel dat de strafeis voor deze
dader zou worden gehalveerd, wordt daarmee de kans op recidive kleiner? / als we deze wet
introduceren, wordt daarmee de pakkans groter? een scenario geeft dus antwoord op zulke
vragen. Dan heb je een soort van instelling. Dus ik zeg ‘nou stel dat het morgen even iets anders
wordt of stel dat er morgen een wet wordt ingevoerd, wat is dan de voorspelling?’.
DUS: bij een scenario worden verschillende voorspellingen gemaakt die afhangen van
verschillende uitgangspunten en condities!
Word ook straks belangrijk want soms komen voorspellingen helemaal niet uit omdat we dat zelf
hebben veroorzaakt. We hebben zelf een wet geïntroduceerd, we hebben zelf een maatregel
bedacht waardoor we wilden dat iets veranderde en dat doet dan die voorspelling teniet.
Het algemene idee van het maken van voorspellingen
Tijd
Het algemene idee van voorspellingen in de tijd is dat we de lijn doortrekken en ervan uitgaan dat
de verbanden die we in de data tot op heden hebben gevonden zich laten doorzetten naar de
toekomst.
Dus als het over de tijd gaat, trek je als het ware het lijntje gewoon door. Precies het idee
bij het enkelvoudige regressiemodel dat je de trendlijn doortrekt.
