Summary for the course Information Retrieval given in the third year of Artificial Intelligence, for the Data Science minor. This document efficiently summarizes the lectures and is a great way to study for your exams. This can also be relevant material for similar degrees given in Vrije University...
partial matching exact matching
relevant items for result single failure
-
error
-
=
,
errors aoe tolerable
-
deterministic models
probabilistic models
-
, The information retrieval framework
search speed
criteria for Good Search Engines
How fast does it search ?
-
↳
Latency as a function of index size
How fast does index ?
-
it
↳ Number documents / hour
of
-
Expressiveness of query language
↳
Ability to express complex information needs
↳ speed on complex queries
Disk requirements
•
space
•
User bossiness
,Lecture 2 :
Indexing and Boolean Retrieval
Term -
Document Incidence Matrix
r
Incidence vectors
vectors with 011 for each term
Bigger collections
consider a text collection of N =
1 million documents ,
each with about 1000
words (tokens) :
On -6
bytes / word C including
-
and
average ,
we
might have spaces
punctuation)
-
.
: 6GB of data in the documents
would consist about IVI 500 000 distinct
:
vocabulary
-
=
-
our of
words (terms)
Matrix is Getting very Big
500K ✗ IM = 1 trillion
matrix Cie zeros)
belt ,
the is
very sparse .
mostly .
↳ is 1 's
per column ,
there a maximum
of 1000 compared to 500K words
i.
better representation :
only record Is !
Inverted index
-
For each chord ) t ,
we store a list
of all documents that contain t
Identify each
by document ID serial document number
-
a :
need C- lists)
we variable size lists
posting
•
-
continuous best
disk run
postings is
-
on , of
linked lists variable
-
in memory
we can use or
length arrays
-
,
, Inverted Index Construction
Indexer seep 1 : Token sequence
Exact sequence of < normalized token , document ID >
pairs
Indexer seep 2 : sort
Indexer sleep 3 :
Dictionary and Postings
Multiple term entries in a
single document are merged :
split into dictionary and postings
•
document
frequency information is added
-
Voordelen van het kopen van samenvattingen bij Stuvia op een rij:
Verzekerd van kwaliteit door reviews
Stuvia-klanten hebben meer dan 700.000 samenvattingen beoordeeld. Zo weet je zeker dat je de beste documenten koopt!
Snel en makkelijk kopen
Je betaalt supersnel en eenmalig met iDeal, creditcard of Stuvia-tegoed voor de samenvatting. Zonder lidmaatschap.
Focus op de essentie
Samenvattingen worden geschreven voor en door anderen. Daarom zijn de samenvattingen altijd betrouwbaar en actueel. Zo kom je snel tot de kern!
Veelgestelde vragen
Wat krijg ik als ik dit document koop?
Je krijgt een PDF, die direct beschikbaar is na je aankoop. Het gekochte document is altijd, overal en oneindig toegankelijk via je profiel.
Tevredenheidsgarantie: hoe werkt dat?
Onze tevredenheidsgarantie zorgt ervoor dat je altijd een studiedocument vindt dat goed bij je past. Je vult een formulier in en onze klantenservice regelt de rest.
Van wie koop ik deze samenvatting?
Stuvia is een marktplaats, je koop dit document dus niet van ons, maar van verkoper marinamssantos. Stuvia faciliteert de betaling aan de verkoper.
Zit ik meteen vast aan een abonnement?
Nee, je koopt alleen deze samenvatting voor €9,48. Je zit daarna nergens aan vast.
