Samenvatting
Summary of the paper Visual Prompt Tuning
- Vak
- CS4245
- Instelling
- Technische Universiteit Delft (TU Delft)
This is a summary for the paper Visual Prompt Tuning used for the course Computer Vision by Deep Learning in TU Delft
[Meer zien]Voorbeeld 1 van de 4 pagina's
Voorbeeld 1 van de 4 pagina's
In winkelwagengesponsord bericht van onze partner
Verkoper
Volgen
Voorbeeld van de inhoud
Visual Prompt TuningAbstract:
The current modus operandi in adapting pre-trained models involves updating
all the backbone parameters, i.e., full fine-tuning. This paper introduces Visual
Prompt Tuning (VPT) as an efficient and effective alternative to full fine-tuning
for large-scale Transformer models in vision.
Introduction
Nowadays, the most accurate results are now obtained by adapting large
foundation models pre-trained on massive curated or raw data, a finding that
mirrors developments in NLP. However, the issue with this is performing full
fine-tuning of the pre-trained model as it is a very expensive task.
What is the best way to adapt to large pre-trained Transformers to
downstream tasks in terms of effectiveness and efficiency?
Visual Prompt Tuning (VPT). Freezing the backbone and only training the head as well as
adding extra parameters in the input space.
One solution to this is to fine-tune only a subset of parameters such as the
head or the backbone. However, for Transformers these methods under-
perform full fine-tuning in accuracy.
Related Work
Transfer Learning:
Essentially using a pre-trained model and fine-tuning it to your specific task
Visual Prompt Tuning 1
Voordelen van het kopen van samenvattingen bij Stuvia op een rij:
Verzekerd van kwaliteit door reviews
Stuvia-klanten hebben meer dan 700.000 samenvattingen beoordeeld. Zo weet je zeker dat je de beste documenten koopt!
Snel en makkelijk kopen
Je betaalt supersnel en eenmalig met iDeal, creditcard of Stuvia-tegoed voor de samenvatting. Zonder lidmaatschap.
Focus op de essentie
Samenvattingen worden geschreven voor en door anderen. Daarom zijn de samenvattingen altijd betrouwbaar en actueel. Zo kom je snel tot de kern!
Veelgestelde vragen
Wat krijg ik als ik dit document koop?
Je krijgt een PDF, die direct beschikbaar is na je aankoop. Het gekochte document is altijd, overal en oneindig toegankelijk via je profiel.
Tevredenheidsgarantie: hoe werkt dat?
Onze tevredenheidsgarantie zorgt ervoor dat je altijd een studiedocument vindt dat goed bij je past. Je vult een formulier in en onze klantenservice regelt de rest.
Van wie koop ik deze samenvatting?
Stuvia is een marktplaats, je koop dit document dus niet van ons, maar van verkoper guillemribes. Stuvia faciliteert de betaling aan de verkoper.
Zit ik meteen vast aan een abonnement?
Nee, je koopt alleen deze samenvatting voor €7,16. Je zit daarna nergens aan vast.
Is Stuvia te vertrouwen?
4,6 sterren op Google & Trustpilot (+1000 reviews)
Afgelopen 30 dagen zijn er 53068 samenvattingen verkocht
Opgericht in 2010, al 14 jaar dé plek om samenvattingen te kopen