Hoorcollege 8: Leren van voorspelfouten
Het leren van voorspelfouten is cruciaal bij het maken van voorspellingen. Het gaat nooit perfect
goed, er zijn altijd wel dingen die misgaan. Daar kunnen we dan van leren. Soms creëren we zelfs
onze eigen voorspelfouten. De analyse daarvan complementeert eigenlijk het hele totaal (alle stof).
Leren van voorspelfouten maakt mogelijk (als we het goed doen en goed articuleren) dat we de
modellen kunnen verbeteren. Dus we hebben een model, we maken een voorspelling, we zien een
fout en we denken hoe kunnen we die fout in de toekomst verkleinen. We kunnen het nooit exact
0 maken! Dus door van onze voorspelfouten te leren kunnen we begrijpen hoe we het in de
toekomst beter kunnen doen.
Deze week:
- Hoe goed zijn voorspellingen eigenlijk en wat kunnen we leren van voorspelfouten?
- Wat gebeurt er met voorspellingen als ze aanleiding gaven tot wijziging van beleid (dus als we die
hebben gebruikt om beleid te ontwikkelen)? Dan wordt het interessant en subtiel, want als ik beleid
ontwikkel, als dit zo doorgaat, dan gaat er iets gebeuren wat ik niet wil, kortom ik heb nieuw
beleid/nieuwe wet, dan gaat de toekomst a.d.h.v. die wet er ook anders uitzien. En dan gaan mijn
eerste voorspellingen er niet bij passen, die worden namelijk anders, maar dat wilden we ook. Dus
een statement als ‘de voorspellingen zitten er altijd naast’, dat kan omdat je dat zelf hebt gedaan en
omdat je dat zelf ook wilde.
M.a.w.: voorspellingen kunnen aanleiding geven tot wijzigen van beleid. Dit gewijzigde beleid
kan dan weer leiden tot heel andere waarnemingen dan werden verwacht zonder dat beleid. Op
die manier komen de voorspellingen niet uit, en dat was ook juist de wens.
- Wat betekent: “als ik toen iets anders had gedaan, dan had ik nu er beter voor gestaan ”?
Dit kan je wel zeggen, maar het betekent niks. Het betekent namelijk dat je als het ware in het
verleden de toekomstige voorspelfouten had kunnen weten, maar dat weet je niet! Dus die
afwijkingen tussen de variabelen en de uitkomst die zijn nooit 0 (dus die zijn er altijd geweest). Maar
als ik die afwijkingen in de toekomst (mijn voorspelfouten) zou weten, dan had ik die voorspelfouten
niet. Dus zo’n statement zegt zoiets als ik kan mijn toekomstige voorspelfouten al voorzien, maar dat
kan niet.
- Wat zijn de belangrijkste bronnen van voorspelfouten? Je kan er eigenlijk een aantal opsommen,
maar de belangrijkste is eigenlijk dat de toekomst anders is dan het heden en het verleden. Er is
namelijk echt iets structureel veranderd. Dat weten we natuurlijk pas na een tijdje.
VB: we weten nu ook niet in de huidige coronacrisis tijd hoe echt die toekomst eruitziet mensen hebben het
nu over het nieuwe normaal, maar hebben geen idee wat dat nieuwe normaal eigenlijk is (dat weten we over 20
jaar pas). Je kan er nu wel over praten, maar pas over 20 jaar kan je terugkijken en zeggen je pas zeggen: ‘dus
dat was dus het nieuwe normaal!’.
- Combineren van voorspellingen dit doen mensen vaak als het een beetje lastig wordt. Het blijkt
dat als je voorspellingen combineert, dat ze het vaak gezamenlijk beter doen dan individueel apart.
Je zou het ook ’the wisdom of the crowd’ kunnen noemen. Dus dit wordt ook heel vaak gebruikt in de
praktijk.
- Toevoegen van deskundigheid dit gebeurt ook vaak. Mensen zeggen mijn model heeft bepaalde
variabelen en verder weet ik het niet, maar ik als expert voeg ik daar dan wat aan toe. Je voegt een
bepaalde deskundigheid eraan toe. Je weet dat er nu iets gebeurt in een bepaald land en dat neem
je alvast mee. Ik verander mijn voorspelling dus van bijv. 2 naar 2,5 die 0,5 voeg je dan als het
ware zelf toe. En dat gebeurt vrij veel. Ook hier als je als jurist met voorspellingen te maken krijgt,
moet je daarnaar vragen of mensen dat hebben gedaan en waar die deskundigheid dan op
gebaseerd is! Iedereen kan namelijk zeggen dat hij of zij ergens een expert in is, maar dat moet wel
blijken. Dan moet je later kunnen zien dat die voorspelfouten met die deskundigheid ook kleiner
waren.
Als mensen gewoon een model gebruiken kan je het zelf narekenen. Maar als mensen een model
hebben gebruikt en daar dan wat aan hebben toegevoegd, dan zullen ze dat ook echt moeten
opschrijven. Gebeurt niet altijd, maar moet je wel naar vragen.
, Voorspelfout, algemeen
Voorspelfout=Werkelijke waarde−Voorspelling
Positieve voorspelfout = een te lage voorspelling.
Negatieve voorspelfout = een te hoge voorspelling.
Veel gebruikte criteria voor evaluatie van voorspellingen
Als je genoeg voorspellingen hebt, dan wil je graag zien dat je ongeveer even vaak te hoog als te laag
voorspelt. Dat hoeft niet precies, en je kan een eenvoudige toets gebruiken of de nulhypothese v.d. helft
positieve en de helft negatieve voorspelfouten standhoudt. Wat je zeker NIET wil is dat alle voorspellingen óf
allemaal te hoog óf allemaal te laag zijn want dan is er iets mis met je model (met name de alfa in het
regressiemodel), maar het ook zijn dat de situatie waarover je een voorspelling doet ondertussen is
veranderd.
De meeste mensen gebruiken er meerdere tegelijk en je hoopt een beetje dat als je voorspellingen
de winnaar zijn tussen alle andere o.b.v. alle criteria, dan heb je natuurlijk een steviger
uitgangspunt. Als er namelijk twijfel tussen is, is het wat minder sterk.
j
1. De wortel van de gemiddelde kwadratische voorspelfout (RMSPE).
Je hebt eigenlijk een aantal voorspelfouten (over de tijd steeds een waarneming erbij, dan
opschuiven, weer eentje erbij, opschuiven, etc.) die je kwadrateert, je neemt daar het gemiddelde
van en daarvan weer de wortel. Dit gaat altijd goed, want kwadraten zijn altijd positief en het
gemiddelde van positieve getallen is ook positief, dus ik kan de wortel ervan trekken.
Reden: zou ongeveer van dezelfde omvang moeten zijn als (dus lijkt op) de standaarddeviatie v.d.
afwijkingen, binnen de steekproef, dat is voor het deel v.d. waarnemingen waarvoor je een model
hebt gemaakt. Je hoopt eigenlijk een beetje dat deze twee getallen (dus de RMSPE en de
standaarddeviatie v.d. afwijkingen) zowel binnen als buiten in dezelfde verhouding zijn als de
RMSPE bijv. binnen de steekproef 1 is en de standaarddeviatie v.d. afwijkingen is 10, dan heb je
toch echt een probleem bij het maken van je voorspellingen.
Let op: positieve en negatieve voorspelfouten zijn voor dit criterium even belangrijk, want
kwadraten! VB: het aantal faillissementen in de plus of min voorspellen, een fout daarin is even
belangrijk.
Aangezien dit criterium een gemiddelde is van kwadraten, is dit criterium dus gevoelig voor sterk
afwijkende waarnemingen. Dus als er een enkele waarneming is waarvoor de voorspelling er
enorm naast ligt, dan domineert die de bijbehorende voorspelfout. Het kan soms zinvol zijn om dan
de wortel v.d. mediaan v.d. kwadratische voorspelfouten te nemen!
j
2. Het gemiddelde of de mediaan van de absolute voorspelfouten
Dit criterium neemt dus NIET de kwadratische voorspelfouten, maar de absolute! Dit is bijv.
gebruikelijk wanneer je voorspelfouten in procentpunten zijn gemeten. Het kwadraat van een
procentpunt betekent dan niet zo veel, en dan kan een absolute voorspelfout zinvoller zijn.
De absolute waarde geeft de afstand aan op de getallenlijn tot 0 dus voor -3 procentpunt is de
absolute waarde gelijk aan 3, en dat geldt ook voor 3.
Omdat je geen kwadraten neemt, verhoudt dit criterium zich ook weer tot de standaarddeviatie v.d.
afwijkingen in de steekproef. Ook hier kan je overwegen niet het gemiddelde, maar de mediaan te
nemen.
