Samenvatting op basis van de hoorcolleges, gegeven in collegejaar . Nederlandstalige samenvatting van een Engelstalig vak.
Boeken (worden aangehaald, niet volledig samengevat in dit document):
1) Evaluation: A Systematic Approach (8e editie); P. H. Rossi, M. W. Lipsey & G. T. Henry
2) Experimental...
Transcript of all lectures Methods and Techniques for Evaluation Research
All for this textbook (1)
Written for
Rijksuniversiteit Groningen (RuG)
Onderwijswetenschappen
Methods and techniques for evaluation-research
All documents for this subject (4)
3
reviews
By: romywestra • 3 months ago
By: immeditzel • 3 year ago
By: christiaanschaart • 3 year ago
Seller
Follow
suzehiemstra
Reviews received
Content preview
Methods and techniques for evaluation-research
Suze Hiemstra (S3337626)
HC1: General introduction about evaluation research
Evaluation research (evaluerend onderzoek) begint bij sociale problemen en de sociale
programma’s die proberen deze problemen op te lossen. Een sociaal probleem is een
probleem dat invloed heeft op (leef/leer/gezondheid) omstandigheden van een grotere
groep mensen.
Voorbeelden: pesten, afnemende leesvaardigheid, laaggeletterdheid, studiedruk en
stress.
Sociale programma’s proberen een oplossing te bieden voor deze sociale problemen.
Voorbeelden: success for all, het invoeren van passend onderwijs, one laptop per
child, KiVa.
De programma’s die moeten zorgen voor verbetering in het onderwijs moeten worden
geëvalueerd. Hoe dit evaluerende onderzoek in z’n werk gaat en het beste werkt wordt bij
dit vak besproken.
Programma evaluatie
- Het ‘gebruiken van’ sociale onderzoeksmethoden
- Om systematisch onderzoek te doen naar de effectiviteit van ‘social intervention
programs’
- Op een manier dat het is aangepast aan de politieke en organisatorische omgeving
- En is gemaakt om inzicht te krijgen in sociale acties om zo de sociale omstandigheden
te kunnen verbeteren.
Om data te verzamelen aan de hand van sociale onderzoeksmethoden moet je data
verzamelen op een valide en betrouwbare manier, zodat je claims kan doen over het wel of
niet werken van een programma. Daarnaast moet je methode ook aangepast zijn aan de
lokale (sociale) omstandigheden. Een ander aspect is dat de evaluaties ingebed zijn in een
politiek of organisatorische omgeving in plaats van in een academische omgeving. Daarom is
het heel belangrijk om te weten wie de evaluatie aanvragen, wie ervoor betalen. De
informatie die je verwerft moet ten slotte terecht komen bij de juiste persoon die
beslissingen kunnen maken over een programma, zodat er ook daadwerkelijk verbetering
plaats kan vinden.
Er zijn verschillende aspecten die kunnen worden geëvalueerd bij het ontwikkelen van ene
programma:
1. Ten eerste moet er onderzoek worden gedaan naar de behoefte aan een bepaald
programma;
a. Wat is het sociale probleem?
b. Op wie heeft dit sociale probleem effect? En wat is het effect van dit
probleem op deze personen?
2. Wanneer er sprake is van een behoefte aan een theorie, moet er een design worden
gemaakt over hoe het programma zou moeten worden, welke ook weer geëvalueerd
kan worden;
a. Is het waarschijnlijk dat het programma aansluit/een oplossing biedt voor het
sociale probleem?
b. Zijn de doelen van het programma goed geformuleerd? Is dit op basis van
theorie?
1
, Methods and techniques for evaluation-research
Suze Hiemstra (S3337626)
c. Zijn alle functies van het programma goed beschreven, is er sprake van
voldoende documentatie, is er sprake van verstand van zake?
3. Het implementeren van het programma;
a. Wordt de doelgroep van het programma goed bereikt?
b. Is het geïmplementeerd zoals het van tevoren bedacht was?
c. Wordt het programma zo aangeboden en gebruikt als van tevoren bedacht
was?
4. Werkt het programma, is het programma een oplossing voor het sociale probleem;
a. Is de interventie effectief als het gaat om het bereiken van de doelen die van
tevoren opgesteld zijn?
b. Is er sprake van ‘bijwerkingen’ van de interventie?
5. Is het programma kosten efficiënt, wat is de kosten-baten afweging van het
programma.
a. Wanneer het programma effectief is bewezen: wegen de kosten van de
interventie op tegen de uitkomsten?
b. Zijn er interventies die goedkoper/effectiever zijn dan de huidige interventie?
Er is sprake van een piramide/hiërarchie: Wanneer je naar een volgende stap in evaluatie
wilt gaan, moet je eerst hetgeen bij de vorige stappen hebben geëvalueerd.
Uitdaging/moeilijkheid bij evaluatie van programma’s/interventies
Er wordt gebruik gemaakt van onderzoeksmethoden op een situatie in een sociale
omgeving: er is geen sprake van ‘onderzoeksomstandigheden’, maar van sociale omgevingen
met allerlei verschillende invloeden en sociale contexten. Er is sprake van een ‘conflict’
tussen onderzoeksdesign (academisch) en de omgeving waarin onderzoek wordt gedaan
(sociaal). Dit heeft invloed op het kunnen doen van valide uitspraken over de effectiviteit van
een programma.
Daarnaast zijn er ook nog een aantal andere problemen bij het doen van onderzoek naar
sociale programma’s:
- Wat is het doel van het programma? Zijn er onderliggende ‘verborgen agenda’s’ van
mensen die bijvoorbeeld een onderliggend belang hebben bij een programma?
- De methode moet valide zijn, ook als er sprake is van onderzoek doen in een sociale
situatie
- Wie zijn de stakeholders? Wie betalen er, wie zijn de managers/personeel, wat is de
target-groep?
- Kan er sprake zijn van andere onderliggende motieven bij mensen die betrokken zijn?
2
, Methods and techniques for evaluation-research
Suze Hiemstra (S3337626)
- Is er sprake van een relatief nieuw programma waar nog niet veel duidelijk over is, of
is het al een oud programma wat zijn effectiviteit al bewezen heeft?
- Wat zijn de bronnen die aanwezig zijn? Bijvoorbeeld geld, tijd, ondersteuning van
externe partijen, hoe veel informatie is er beschikbaar?
Boek Evaluerend onderzoek is ingebed in een politieke context: ‘The social problem, the
programs, the meaning and importance of the programs are all social constructs that will
inevitably differ for individuals and groups.’
Er moet worden gezocht naar een balans tussen twee gedachtenstromen hoe we de
samenleving zien en benaderen. Twee verschillende onderzoekers met verschillende
gedachten:
- Campbell (1979): De samenleving moet een experimentele omgeving zijn, je moet je
onderzoeksmethoden zo aanpassen op de sociale omgeving dat je een soort
experimentele omgeving/design creëert. Het creëren van een experimentele
omgeving door het implementeren van methodes van de sociale wetenschappen.
- Cronbach (1982): evaluatie is een kunst in plaats van een wetenschap. Evaluatie gaan
over het kijken naar de behoeften van de stakeholders van het programma.
Een goede evaluatie is een die aangepast is aan de omstandigheden, maar tegelijkertijd ook
passend is voor het verschaffen van inhoudelijk sterke antwoorden over het wel of niet
functioneren van een programma. Het is dus eigenlijk een combinatie.
Goede evaluatie omvat goede evaluatievragen:
- Reasonable (redelijk)
- Appropriate (passend)
- Answerable (beantwoordbaar)
Aan deze drie voorwaarden moeten de vragen voldoen. Daarnaast moet er ook sprake zijn
van een valide construct.
Bij evaluerend onderzoek moeten er voor de programma’s bepaalde standaarden en criteria
worden opgesteld. Wanneer is een programma goed genoeg?
- Het bereiken van targetgroep …% van de targetgroep moet worden bereikt
- In welke mate moeten doelen worden bereikt?
- Professional standards
- Legal requirements
- De mening/standpunten van experts
- De tevredenheid van de klant/doelgroep die baat moet hebben bij het programma.
HC2: Assessing the need for a program
Onderste stap in de piramide.
Wanneer is er een programma nodig, en wat voor soort programma is er nodig? Hiervoor is
ook een evaluatie nodig. Dit gaat over de eerste stap in de piramide van evaluatie:
- Wat is de afkomst (nature) van het probleem?
- Op wie heeft dit effect?
- Hoe worden ze beïnvloed door dit probleem?
- Welke services zijn er nodig om het probleem op te tackelen?
3
, Methods and techniques for evaluation-research
Suze Hiemstra (S3337626)
Needs assessment
Een aantal procedures die zorgen voor een systematische beschrijving en diagnose van de
sociale behoeften (de behoeften voor een programma).
- Het is van belang dat deze assessments ons informeren over de nature van het
programma, maar ook over de ‘target groep’ van het programma.
- Het draagt bij aan het voorkomen van ongepaste of onnodige services:
o Onjuiste diagnose van het probleem
o Veranderingen van het probleem en/of target groep
o Stereotype gedachtegangen worden voorkomen
- Needs assessements kunnen programma-specifiek zijn, maar ook meer algemeen.
Definiëren van het probleem
Een moeilijke taak. Je hebt te maken met meningen van mensen bij de definiëring van een
probleem en wat de mogelijke oplossingen zijn.
- Problemen zijn sociale constructen, waarbij meerdere actoren zijn betrokken.
Problemen zijn dus niet objectief.
- Wat zijn dan de criteria of de benchmarks om te bepalen of ergens ingegrepen moet
worden of niet?
De omvang van een probleem
Wanneer, waar en hoe groot?
- Valide voorspellingen van de omvang zijn belangrijk. Het probleem is echter dat een
aantal sociale problemen ‘onzichtbaar’ zijn. Denk bijvoorbeeld aan pesten.
- We moeten rekenen op bestaande data om te beslissen hoe groot het probleem is,
wanneer het voorkomt et cetera. Op deze manier kan er ook een voorspelling
worden gemaakt over of een programma valide en representatief is.
- Je hebt verschillende databronnen nodig om verschillende vragen te onderzoeken en
beantwoorden.
- Er zijn ook sociale problemen waarvoor nog geen indicatoren bekend zijn. Dit
bijvoorbeeld omdat de problemen nieuw zijn, of omdat de problemen onzichtbaar en
hierdoor moeilijk te onderzoeken zijn.
Het voorspellen van behoeften
- Voorspellen van de toekomst: grootte van een sociaal probleem.
- Assumpties: de toekomst zal in verband staan met het heden en het verleden
- Extrapoleren van de huidige trends tegenover ‘sophisticated projections’ onder
andere assumpties.
Wat is de targetpopulatie?
Wie zitten er in de potentiele doelgroep voor een programma (bijvoorbeeld een anti-pest
programma)
- Oprichters/personeel van het programma: moeten in staat zijn de targets te scheiden
van de niet-targets
o Dit moeten zij op een ambigue en efficiënte manier kunnen doen
- Het onderscheid maken tussen target en niet-target moet een
‘normale/gestandaardiseerde’ procedure van het programma zijn.
4
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller suzehiemstra. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $8.02. You're not tied to anything after your purchase.
