Samenvatting ARIA (omtrent het negen-stappen model)
Stap 1: Wat is het managementprobleem .................................................................................................... 2
Stap 2: Vanuit wiens perspectief wordt het (management)probleem onderzocht?.................................... 2
Stap 3: Wat is de onderzoeksvraag die het (management)probleem wil adresseren? ................................ 3
Stap 4: Wat is het conceptuele model? ........................................................................................................ 3
Een diepere analyse omtrent het conceptuele model ............................................................................. 4
Stap 5: Was is het niveau van de causale relatie? ........................................................................................ 4
Een diepere analyse omtrent causaliteit .................................................................................................. 5
Stap 6: Wat is de kwaliteit van de operationalisatie van het conceptuele model?...................................... 6
Stap 7: Wat is de kwaliteit van de data gebruikt voor empirisch onderzoek? ............................................. 7
Een diepere analyse omtrent data............................................................................................................ 8
Stap 8: Wat is de kwaliteit van de statistische analyse om de onderzoeksvraag te beantwoorden? .......... 9
Een diepere analyse omtrent de statistische analyses: .......................................................................... 10
Stap 9: Tot welke mate zijn de resultaten van het onderzoek generaliseerbaar? ..................................... 13
Samenvattend: Validiteitsbegrippen .......................................................................................................... 14
,Stap 1: Wat is het managementprobleem
In deze stap omschrijf je welk (management)probleem geadresseerd moet worden met de
onderzoeksvraag. Hierbij is het belangrijk om uit te leggen wat het probleem is en waarom dit probleem
geadresseerd moet worden.
Een goed gemotiveerd (management)probleem is relevant, duidelijk geformuleerd en focust zich op een
probleem.
Er kunnen verschillende redenen zijn om een onderzoek uit te voeren:
• Problemen die ontstaan zijn door nieuw beleid, regelgeving of wetten;
• Veel gebruikte, maar niet wetenschappelijk gevalideerde aannames in beleid en/of regelgeving;
• Problemen omtrent het maken van keuzes en agency-problemen van groepen gebruikers;
• Marktinefficiënties (bijvoorbeeld met betrekking tot het vaststellen van prijzen);
• Rapportages van agentschappen en bedrijven die een bepaald probleem identificeren in de
accountancypraktijk;
• Reeds gepubliceerde wetenschappelijke onderzoeken die (een deel van) het probleem hebben
onderzocht, of een vergelijkbaar probleem.
De motivatie van het managementprobleem kan kracht winnen door:
• Schattingen op te nemen van de impact van het probleem;
• Te refereren naar officiële autoriteiten (IFAC, AFM, EU of belangrijke mensen (CEO van een
bedrijf));
• Duidelijk te rechtvaardigen waarom het probleem van deze tijd is;
• De resultaten van het onderzoek belangrijk zijn in de praktijk.
Stap 2: Vanuit wiens perspectief wordt het (management)probleem
onderzocht?
In deze stap omschrijf je vanuit wiens perspectief het managementprobleem wordt onderzocht.
Ieder managementprobleem kan gerelateerd zijn aan verschillende stakeholders. Om het probleem op te
lossen, wordt er echter vaak op één stakeholder gefocust. De keuze voor één specifieke stakeholder heeft
een enorme impact voor de doelstelling van het onderzoek. Het kan namelijk zo zijn dat een probleem
vanuit verschillende hoeken belicht kan worden, door te kiezen voor een invalshoek, kies je er dus ook
voor bepaalde kanten niet te belichten.
De focus van het onderzoek kan verbeterd worden door:
• Een duidelijke keuze te maken, voor het liefst een perspectief. Zodat er gefocust kan worden op
een bepaald perspectief;
• Duidelijk te motiveren waarom dit perspectief relevant is.
,Stap 3: Wat is de onderzoeksvraag die het (management)probleem wil
adresseren?
In deze stap dien je de algehele onderzoeksdoelstelling en gedetailleerde onderzoeksvragen te geven
om samen te vatten waarover het onderzoek gaat.
De onderzoeksdoelstelling ligt direct in lijn met het (management)probleem en het perspectief dat is
gekozen om deze op te lossen. Een onderzoeksdoelstelling kan vaak geformuleerd worden als ‘het
verkrijgen van kennis en inzicht’ of als een onderzoeksvraag.
Om de onderzoeksdoelstelling te beantwoorden moeten de volgende onderzoeksvragen beantwoord
worden:
• Waarom is er een theoretische relatie tussen X en Y?
• Wat verzekert X ervan dat deze relatie gelimiteerd is of verstrekt wordt?
• Tot op welke hoogte is er empirisch bewijs voor the hypothesen?
Deze drie vragen worden (impliciet) altijd gesteld, derhalve is het belangrijk ze te formuleren op basis van
de informatie uit het artikel. Bruikbare informatie kan zijn: de onderliggende theorie, de empirische
analyse en de getrokken conclusies.
Stap 4: Wat is het conceptuele model?
In stap 4 dien je het conceptuele model van het onderzoek, welke de afhankelijke, onafhankelijke,
controlerende, modererende en mediërende concepten bevatten. Het is belangrijk om te focussen op
het conceptuele niveau in stap 4 en het operationele niveau in stap 6.
Benodigdheden voor het conceptuele model:
• De onafhankelijke variabelen zijn geformuleerd op conceptueel model (geen ‘big four’, maar
grootte van het accountantsbedrijf; geen ‘omzet op verkopen’, maar ‘winstgevendheid’);
• De pijlen tussen de afhankelijke en onafhankelijke variabelen moeten de hypothesen
representeren;
• De pijlen zijn idealiter een-directionair (geen wederkerige relatie).
Een hulpmiddel voor het conceptuele model kan het gebruik van ‘Libby boxen’ zijn, waar het conceptuele
niveau gesepareerd wordt van het operationele niveau:
Het operationele niveau
representeert het meetniveau van
de variabelen en moet altijd in
detail beschreven worden (zie ook
constructvaliditeit). Het regressie-
model kan worden gebruikt om te
onderzoeken welke concepten de
onderzoekers als doel hadden te
onderzoeken.
,Een diepere analyse omtrent het conceptuele model
Mediërende variabele: er is geen directe relatie tussen de originele onafhankelijke variabele en
afhankelijke variabele, maar er is sprake van een mediërende variabele die afhankelijke variabele is in een
relatie en een onafhankelijke
variabele in een andere relatie:
Modererende variabele: het kan zijn dat er
een derde variabele speelt die een relatie
uitoefent op het effect tussen de
onafhankelijke en afhankelijke variabele:
Stap 5: Was is het niveau van de causale relatie?
In stap 5 dien je de theoretische argumenten en aannames die gebruikt zijn voor het ontwikkelen van
de hypotheses in het onderzoek samen te vatten en te evalueren. Het is belangrijk om aandacht te
besteden aan de volgende aspecten van de interne validiteit:
• Het gebruikt van theorie;
• Causaliteit versus correlatie;
• Wederkerige relaties;
• Verstorende (confounding) factoren.
Vervolgens is het belangrijk om je conclusie te formuleren en te motiveren omtrent de interne validiteit
(zwak tot sterk).
Interne validiteit is daarbij: de mate van zekerheid dat geobserveerde effecten in de afhankelijke
variabelen worden verklaard door de onafhankelijke variabelen (oorzaak-gevolg relatie).
De ‘waarom’-vraag kan beantwoord worden door middel van het ontwikkelingen van theorie. Dit omvat
de manier waarop het geïdentificeerde managementprobleem wordt geanalyseerd en geordend op basis
van beschikbaar wetenschappelijke kennis. Wetenschappelijke kennis kent over het algemeen de
volgende typen:
• Survey: De meest bekende vorm hiervan is data verzamelen via interviews. Het is van belang deze
zorgvuldig op te zetten omdat er anders gevaar is omtrent de interne validiteit (geen willekeurige
selectie, geen mogelijkheden alternatieve hypothesen uit te sluiten). De externe validiteit is
daarentegen vaak hoog bij survey onderzoeken.
• Archival: Onderzoek op basis van historische documenten (artikelen, jaarrekeningen,
rapportages, toelichtingen, etc). Deze soorten onderzoek hebben vaak een hoge externe
validiteit. Een kritiek punt is vaak dat er veel kan veranderen in de tijd dat het onderzoek dekt en
dat bepaalde data dus kan missen of niet mee relevant is. De volgende drie punten zijn
geformuleerd die doorlopen moeten worden: selecteren van de steekproef, nagaan of er
alternatieve verklaringen zijn, de toets zo opzetten dat deze alternatieven niet meegenomen
worden.
, • Expirimental: Onderzoekers manipuleren hierbij een of meerdere variabelen met subjecten die
willekeurig zijn ingedeeld in bepaalde groepen (welke een verschillende set variabelen krijgen),
doel is vaak een causale relatie testen. Over het algemeen is de interne validiteit hiervan hoog. Er
zijn vier richtlijnen voor een goede opzet: een duidelijke onderbouwing van het probleem, een
duidelijke theorie achter het proces, een goede opzet van het experiment, erkenning van het
belang van externe validiteit.
Tijdens het samenvatten en evalueren van de theorie die gebruikt wordt om het (management)probleem
te analyseren is het belangrijk de volgende punten in acht te nemen:
• Of de hypothese is afgeleid van wetenschappelijke kennis, waarbij causaliteit verstrekt wordt
door het gebruik van een gevalideerde theorie. (vaak is er geen sprake van een directe
achterliggende theorie, maar wordt er gebruik gemaakt van theorie in combinatie met logica om
een causaliteit te ‘bouwen’. In dit geval neemt de interne validiteit af en is het belangrijk om
causaliteit versus correlatie te toetsen).
• Of de gebruikte literatuur geschikt is om het onderzoeksobject te omschrijven en uit te leggen.
• Of alle relevante literatuur gebruikt is in het theoretische raamwerk (let vooral op
onderbouwende literatuur tegenover tegensprekende literatuur).
• Of de verandering van de afhankelijke variabelen niet het gevolg is van andere (niet toegelichte)
oorzaken:
o Confounding factors: het geval dat de variabele niet goed gesepareerd kan worden van
andere variabelen (toename van winst na aanstellen nieuwe CEO, maar ook
hoogconjunctuur).
o Endogeneity (omitted vaiable): de onafhankelijke en afhankelijke variabele worden
beiden beïnvloed door een derde variabele. (een hogere opleiding leidt tot meer
welvaart, worden beiden beïnvloed door intellect).
• Of het duidelijk is uitgelegd dat de oorzaak voor het gevolg komt:
o Er moet een een-directionair verband zijn (geen wederkerigheid).
o Er moet een causaal verband zijn en geen toeval.
o Een verlies in observaties door bepaalde vereisten kan de resultaten beïnvloeden.
• Of de theoretische relatie tussen de afhankelijke en onafhankelijke variabele lineair is (er is geen
optimum).
• Er is een duidelijk verschil tussen moderators en mediators.
Een diepere analyse omtrent causaliteit
Er zijn drie fundamentele criteria van belang, wil er sprake zijn van causaliteit:
• Covariantie: wanneer er geen mate van covariantie is, zal er ook geen causaliteit zijn;
• Oorzaak voor het gevolg: deze bepaald ook de directie van het verband;
• Afwezigheid van een mogelijke ‘rivale’ hypothese.
Causaliteit wordt vaak omschreven door de manipulatievisie: X is de oorzaak van Y en X zal dus veranderen
wanneer we Y manipuleren.
