Voorbereidende vragen blok 4.3
incl. aantal studentvragen
Thema 1 voorbereidende vragen
1. Explain the difference between the prediction of job success
by means of classical psychological prediction and by means of
machine learning.
Machine learning analyseert alle beschikbare data om tot een voorspelling te komen
middels algoritmen. De klassieke psychologische voorspelling is geneigd om gebruik
te maken van een lineair model (Liem et al, 2018). Pyschologen hangen er begrip
aan.
2. Provide an example of a circumstance where it would be
a. appropriate to correct a validity coefficient for the effects of
range restriction
Wanneer men wil weten hoe goed de methode in de praktijk kan werken (Cook, hfst 2). Of
generaliseren naar een grotere groep. In het algemeen mag het wel voor een doelgroep, vooral
als je strikte selectie hebt.
b. inappropriate to correct a validity coefficient for the effects
of range restriction
Een situatie waarin de methode wordt aangedragen bij de COTAN en de onderzoeker hiervoor de
validiteitscoëfficient oprekt (Cook, hfst 2) (of ander wetenschappelijk gebruik om je methode extra
gewicht te geven).
Als betrouwbaarheid/validiteit laag is, mag er geen correctie plaatsvinden want dan ga je er vanuit
dat je het ‘beter maakt’ en dat kan niet zomaar.
3. a. What is the difference between predictive and concurrent
validation?
Criterium validiteit (criterion validity) is de validiteit dat de test daadwerkelijk productiviteit
(werkprestatie) meet. Criterium validiteit is onder te verdelen in predictive (voorspellend) en
concurrent (gelijktijdige) validiteit. Predictive validiteit voorspelt wie er meer zal produceren, dit is
parallel aan de real-life selectie: HR selecteert vandaag en zal later zien of hun besluiten goed
waren. Concurrent validiteit ‘voorspelt’ wie er nu al meer produceert. De prestatiedata wordt
tegelijkertijd met de testdata verzameld. (Cook, hfst 2)
b. Discuss the pro's and con's of (1) conducting a predictive
validation study, (2) conducting a concurrent validation study.
1) Bij een voorspellend validation onderzoek zullen de drie problemen die door Cook onder
concurrent validiteit worden genoemd (en zijn hiermee voordelen voor voorspellend validation),
zich niet voordoen, omdat dit niet per definitie een momentopname is waarbij alles tegelijkertijd
wordt verzameld qua data. Een nadeel voor de predictive validation is dat men moet wachten op
de uitkomsten en het daarmee langzamer en moeilijker is dan concurrent validiteit. Een ander
nadeel is dat de respondenten mogelijk de antwoorden op de vragenlijsten kunnen ‘faken’ om er
beter uit te komen.
, 2) Concurrent validity wordt ook wel ‘present employee validity’ genoemd. Concurrent validiteit is
veel sneller en makkelijker dan predictive validitieit, omdat er niet hoeft te worden gewacht op de
uitkomsten. Er zijn drie mogelijke problemen en één mogelijk voordeel voor concurrent validiteit.
1. Missing persons. Mensen die zijn vertrokken of ontslagen zijn niet beschikbaar voor
onderzoek. Ook niet de mensen die een promotie hebben gekregen of een betere baan
buiten de organisatie zijn aangegaan. Hierdoor kunnen beide einden van de distributie van
prestatie missend zijn en kan dit zorgen voor een beperkte range en een afname van de
validiteitscorrelatie.
2. Unrepresentative samples. Huidige werknemers kunnen mogelijk niet de typische,
huidige of mogelijke sollicitanten zijn. Het personeelsbestand kan volledig blank en/of
volledig mannelijk zijn wanneer sollicitanten vrouwen en minderheden moeten bevatten.
3. Direction of cause. Huidige werknemers kunnen zijn veranderd om toe te komen aan de
baaneisen. Ook kunnen ze getraind zijn. Het kan triviaal zijn om huidige succesvolle
managers dominant te vinden, omdat managers leren om invloed en respect af te
dwingen, terwijl als dominante sollicitanten die goede managers worden bewijst dat
dominantie echt ertoe doet. Dit is een bijzonder probleem met persoonlijkheid, maar kan
ook capaciteiten beïnvloeden.
Voordeel 1. Avoiding faking. Huidige werknemers kunnen minder geneigd zijn om
persoonlijkheidsvragenlijsten en andere zelfrapportages te ‘faken’ dan andere kandidaten,
omdat ze de baan al hebben en daarmee minder de behoefte hebben om zichzelf beter te
beschrijven dan dat ze zijn. Het onderscheid tussen kandidaat en huidige werknemer zijn ook
belangrijk als de negatieve impact wordt geanalyseerd. Als er geen verschil wordt gevonden in
de testscores tussen blanke en niet-blanke huidige werknemers kan dit ‘goed nieuws’ lijken,
maar het kan misleidend zijn als meer laag scorende niet-blanke personen zijn afgewezen in
de sollicitatiefase. Analyses van adverse impact neemt niet mee of mensen huidige
werknemers of echte kandidaten zijn, dit wordt de Bobko-Roth fallacy genoemd.
4. Van Iddekinge and Ployhart (2008) critically discuss several
issues regarding the criterion domain. Among other things,
they discuss dynamic criteria. What is meant by this issue and
what are their recommendations?
Recent onderzoek heeft uitgewezen dat het gemiddelde en de rangorde van werknemers prestatie
geneigd is te veranderen met de tijd. Prestatie is dynamisch met de tijd, maar wel nog steeds
verklaarbaar en voorspelbaar. Simplex probleem – validiteitscoëfficient neemt af wanneer de tijd
tussen de predictor en criteria toeneemt.
a. Het meeste onderzoek heeft gevonden dat prestatie een leercurve volgt, waarbij het snel
toeneemt wanneer een werknemer de baan leert en daarna afneemt.
b. Verschillende predictor constructen worden vaak gerelateerd aan verschillende stages van
werkprestatie.
c. Denk goed na over wanneer de criterium data moet worden verzameld die wordt gebruikt om
selectieprocedures te valideren. In z’n algemeen is het mogelijk voordeliger om prestatiedata
te verzamelen van werknemers die zich in de maintenance fase van hun baan bevinden, maar
dit kan niet altijd makkelijk worden bepaald. Daarnaast worden transitie fasen steeds
belangrijker gezien de veranderlijkheid van werk.
d. Als de validatie steekproef gevestigde medewerkers omvat, onderzoek je of dienstperiode
(tenure) enige inhoudelijke invloed heeft op voorspellerscores, criteriumscores of
criteriumgerelateerde validiteit.
5. In the 21st century, rapid changes through robotization and
artificial intelligence are occurring (the fourth industrial
revolution). What 21st century skills are needed to be
, successful in a job given these changes? In your answer include
jobs in which employees work alongside an autonomous robot
as a colleague.
Complex problem solving (CPS) en Collaborative problem solving (ColPS).
Een voorbeeld dat wordt genoemd zijn mechatronische engineers. Een eigen
aanvulling op dat voorbeeld is dat deze mensen aan de lijn moeten werken naast
robots (verpaklijn bijv.) en hierbij met non-routinematige problemen in aanraking
komen, maar ook krijgen zij meer taken om bijvoorbeeld met meer mensen buiten
hun eigen werkveld te communiceren en kennis te vergaren. (Neubert et al.,
2015)
6. In the context of assessment centers, describe the so-called
dimension x exercise problem and, relatedly, describe ways to
explain, solve, or discuss/argue that there is no problem.
Dimensie x oefening betekent dat iedere dimensie van een bepaalde baan wordt gemeten door
tenminste twee kwalitatief verschillende methodes (Cook, 2016). Twee problemen hierbij:
- Dimensie probleem: dezelfde dimensies gemeten in één excercise in verschillende centers
correleren niet met elkaar. Er is dus lage of geen convergent validity.
- Exercise probleem: binnen de exercise correleren de verschillende dimensies te veel met
elkaar, er is geen duidelijk onderscheid. Er is dus lage of geen divergente validiteit.
Dit is niet wenselijk en vormt dus een probleem voor AC’s (het DxE probleem). Het exercise
probleem is minder erg dan het dimensie probleem, omdat het ook gewoon waar kan zijn dat
verschillende dimensies in één oefening hoog met elkaar correleren.
Verklaringen voor het probleem:
- Dimensions: er worden te veel dimensies gemeten waardoor er dus ook veel oefeningen
zijn en waardoor de kans groter is dat ze met elkaar correleren.
- Exercises: er worden oefeningen gebruikt die niet valide zijn bewezen voor bepaalde
dimensies, die die dimensies dus helemaal niet kunnen meten.
- De mensen die de interviews/assessments afnemen zijn niet getraind genoeg zoals
bijvoorbeeld psychologen en HR specialisten dit wel zijn.
- Overload: als assessors te veel mensen hebben om naar te moeten kijken of te veel
dimensies hebben om te beoordelen, dwingt informatie overload hen om taken te simplificeren
door overall performance te meten i.p.v. aspecten ervan.
Tegenbewegingen (Cook hfst 10, 2016):
- Het is niet het eindproduct, maar een tijdelijke beoordeling (“it was never meant to be”). Dus
was nooit de bedoeling dat AC eindbeslissingen hierin zouden maken.
- The exercise effect is not rater error: beoordelaar beoordeelt iedereen anders. Iedereen
valt andere dingen op. Interbeoordelaarsfout
- ACs are really sets of key tasks, or work samples: de dimensies worden pas achteraf
vastgesteld. Er zou vooraf een set van dimensies moeten worden bepaald die moeten worden
beoordeeld.
- The DxE problem is not specific to ACs: dit doet zich ook voor bij persoonlijkheidstesten of
als iemand anders een rating van jou doet.
, 7. Compare situational judgment tests (SJTs; Lievens et al.,
2007) to personality tests (Cook, chapter 7). Include in this
comparison at least one favorable characteristic of SJTs and of
personality tests, and at least one criticism of SJTs and of
personality tests.
STJs worden door een beoordelaar beoordeeld en zijn hiermee geen zelf-rapportage
testen. Redelijk betrouwbaar. Een voordeel hiervan is dat de STJ een situatie simuleert
die op het werk ook zou moeten (kunnen) gebeuren qua taken en de kandidaat moet
deze uitvoeren. Het kan daarmee meer zeggen over de capaciteiten van de kandidaat om
de taken uit te voeren. Er is minder adverse impact. Ook heeft STJ een incrementele
validiteit ten over persoonlijkheidstesten en cognitieve capaciteiten. Goede reacties van
de kandidaten. Het kan via internet, waardoor het relatief goedkoop kan en je veel
mensen tegelijk kan bereiken. Echter het ontwerpen van de STJs is tijdrovend. Een nadeel
van de SJT is dat hij gevoelig is voor faking bij gedragsresponsen en oefening. Construct
related validity en criterium related validity nog niet optimaal.
Een persoonlijkheidsvragenlijst kan niet worden geoefend, maar kan dan weer niet meten
hoe iemand z’n taken zou doen. Ze geven snel en makkelijk informatie. Zijn goedkoop
(algemeen toepasbaar). Geen invloed op etnische minderheden (minder adverse impact
dan mentale vermogenstesten). Nadeel: is te faken, is zelf-rapportage, zegt niet veel over
hoe iemand de baan uit kan/gaat voeren.
8. Noem 3 factoren die de validiteit van assessmentcenters
modereert (studentvraag)
AC validiteit was hoger als:
1. Aantal assessments dat wordt gebruikt
2. Psychologen als assessor (ipv managers)
3. Peer evaluaties
4. Als de assessors vrouwen waren (Cook, 2016 hfst 10)
9. Wat wordt er gemeten in personeelsselectie?
(studentvraag)
Sollicitanten worden vaak op zeven hoofdaspecten geselecteerd.
- Mentale capaciteit: verdeelt zich in algemene mentale capaciteit (intelligentie) en specifieke
mentale capaciteit, zoals het probleemoplossend vermogen, technisch begrip etc. Sommige
banen hebben ook zintuigelijke capaciteiten nodig (goed gehoor, goede balans of goede oog-
hand coördinatie);
- Fysieke kenmerken: er kan bij sommige banen kracht, uithoudingsvermogen of vaardigheid
nodig zijn;
- Persoonlijkheid: psychologen stellen 5 tot 30 onderliggende disposities, of
persoonlijkheidskenmerken, op om te denken, voelen en gedragen in bepaalde manieren;
- Interesses, waarden en fit: een fit betekent dat de kijk of het gedrag van de sollicitant
overeenkomt met de eisen van de organisatie. Mensen kunnen niet altijd werk vinden dat
overeenkomt met hun idealen en waarden, maar werk dat wél overeenkomt kan als meer
belonend worden beschouwd;
- Kennis: kennis kan worden verkregen middels training, dus hoeft niet per sé een
selectieaspect te zijn. Het bezitten van een hoger niveau kennis, kan een hogere mate van
mentale capaciteit vereisen;
