Summary
Samenvatting MIDTERM Onderzoekspracticum 3: Taal- en informatietechnologie
- Course
- Institution
Samenvatting van de powerpoint + aantekeningen bij de colleges.
[Show more]
1 review
By: Mathias • 3 year ago
Seller
Follow
nienkebreugelmans
Reviews received
Content preview
ONDERZOEKSPRACTICUM 3:TAAL- EN
INFORMATIETECHNOLOGIE
KWANTITATIEVE INHOUDSANALYSE (CONTENTANALYSE)
NEUENDORF (2017)
Content analysis flowchart:
1) Theory and rationale (theorie en motivatie).
2) Conceptualization decisions (constructen operationaliseren en defineren).
3) Operationalization measures (wat voor units ga je verzamelen, categoriseren en coderen?)
4) Creating a coding scheme (categoriseren):
a. Mensen (= handmatig): Creëer een codeboek en een codeerschema/codeerformulier.
b. Computers: Specificeer een procedure. VB: Maak een woordenlijst, als dit woord voorkomt in het
bericht hoort het bericht in deze categorie
5) Sampling:
a. Kan je een census uitvoeren? (= alle data die je er is vinden)
Dan zou je alle data die er is kunnen analyseren, vaak is dat nogal veel. Dus Subset.
b. Zo niet: Hoe ga je de data dan samplen en hoe zorg ik dat het een representatief beeld geeft van
de algehele populatie?
6) Trainen van de codeurs, checken van de betrouwbaarheid, anders het codeboek herzien.
7) Coding:
a. Mensen: Gebruik minimaal twee onafhankelijke codeurs, met ten minste 10% overlap.
b. Computers: Controleer hier en daar of de computer het goed doet (“spot checking”). Controleer
met mensen of het proces goed verlopen is (sample van wat de computer heeft gedaan checken
of het klopt).
8) Final reliability (betrouwbaarheid checken van alle variabelen, die 10% overlap vergelijken).
9) Tabulation and reporting (rapporteren, in een tabel weergeven).
,PRISMA
De PRISMA-richtlijnen (voor literatuuronderzoek):
Bijzonder soort annotatieproces: Systematische
review
1. Zoek voor papers met specifieke zoektermen.
2. Duplicaten verwijderen.
3. Beoordeel de geschiktheid van de studies
(voldoen ze aan criteria?).
4. Analyseer de relevante studies, en verzamel
relevante informatie.
5. Rapporteer descriptieve statistieken.
PRISMA flowcharts maakt het proces expliciet
PRISMA:
Nuttig als gids voor systematische reviews.
Helpt ook om na te denken over dataverzameling in het algemeen.
Geen richtlijnen over het daadwerkelijk coderen van de data.
PUSTEJOVSKI & STUBBS (2013)
Een annotatieschema ontwikkelen:
Annotatieschema of codeboek:
- Een handleiding om data te annoteren.
- Gedetailleerd genoeg zodat anderen de taak ook kunnen uitvoeren, met vergelijkbare resultaten.
- Met andere woorden: onderzoek moet reproduceerbaar zijn.
Reproduceerbaarheid:
- In hoeverre anderen met jouw data en annotatieschema dezelfde resultaten kunnen bereiken.
- Met andere woorden: kun je een hoge overeenstemming (agreement) bereiken?
MATTER: Data voorbereiden voor computers:
Het algemene idee achter MATTER:
- Codeurs breiden trainingsdata voor, die een computer kan gebruiken om de annotatietaak te
automatiseren in de toekomst.
- Daarna moeten we bepalen of de taak haalbaar is voor computers.
, - Nadat we de computer geleerd hebben hoe hij moet annoteren, kun je het systeem testen op
data die de computer niet eerder gezien heeft.
- Er zijn twee soorten testdata:
1. Development: Tijdens het ontwikkelen kun je hiermee kijken of je systeem verbetert.
2. Test: Als de ontwikkeling klaar is, kun je hiermee voorspellen hoe goed het systeem zal
werken op andere data.
Waarom moeten wij dit weten?
- Als je computers data wilt laten annoteren, moet je op zijn minst weten waar de computer die
annotatiekennis vandaan heeft en hoe het werkt.
Kijk altijd naar:
- Hoe betrouwbaar is de computer überhaupt? (F1-score)
- Was de trainingsdata voor de computer vergelijkbaar met mijn domein?
- Werkt het systeem ook echt voor mijn data? (Kloppen de eerste resultaten?)
MAMA:
Maar:
- Meestal willen we niet zelf een computer trainen.
- De opstartfase van MATTER is dan relevanter (annotatieschema opstellen).
- Pustejovsky and Stubbs (2013) noemen die fase MAMA.
- Dat staat voor: Model-Annotate-Model-Annotate.
1) Model and guidelines: You need to have a solid understanding of the domain. What are the relevant
categories that you want to distinguish? What are the possibilities?
2) Annotate: Then you need to develop instructions to codify the annotation process. Provide clear
definitions and examples, and perhaps a flow chart to show how to decide which category to choose.
Annotate some data together with your colleague, without showing each other how you annotated
the data.
3) Evaluate: Compare the results of the previous step, and determine your inter-annotator agreement
(also known as inter-coder reliability). You can also compute a confusion matrix to understand where
most disagreements occur.
4) Revise: Adjudicate disagreements with your colleague, and refine the model and annotation scheme.
Then look at some more data with your colleague to repeat the evaluation phase.
RECYCLEN
Codeboek hergebruiken:
Als je iets wil annoteren, zijn er meestal mensen die dat voor je hebben gedaan.
Zij hebben dan al een codeboek, en dat scheelt een hoop werk.
Waar vind je die dan?
- Papers over jouw onderwerp.
- Speciale journals en conferenties:
Behavior Research Methods (BRM), en de
Language Resources and Evaluation Conference (LREC).
The benefits of buying summaries with Stuvia:
Guaranteed quality through customer reviews
Stuvia customers have reviewed more than 700,000 summaries. This how you know that you are buying the best documents.
Quick and easy check-out
You can quickly pay through credit card or Stuvia-credit for the summaries. There is no membership needed.
Focus on what matters
Your fellow students write the study notes themselves, which is why the documents are always reliable and up-to-date. This ensures you quickly get to the core!
Frequently asked questions
What do I get when I buy this document?
You get a PDF, available immediately after your purchase. The purchased document is accessible anytime, anywhere and indefinitely through your profile.
Satisfaction guarantee: how does it work?
Our satisfaction guarantee ensures that you always find a study document that suits you well. You fill out a form, and our customer service team takes care of the rest.
Who am I buying these notes from?
Stuvia is a marketplace, so you are not buying this document from us, but from seller nienkebreugelmans. Stuvia facilitates payment to the seller.
Will I be stuck with a subscription?
No, you only buy these notes for $4.45. You're not tied to anything after your purchase.
Can Stuvia be trusted?
4.6 stars on Google & Trustpilot (+1000 reviews)
64257 documents were sold in the last 30 days
Founded in 2010, the go-to place to buy study notes for 15 years now