تعریف
د پیرامیټر موثره فین ټونینګ (PEFT) یو تخنیک دی چې لوی مخکې روزل شوي ماډلونه د نوي دندو سره تطابق کوي د ټول ماډل پرځای یوازې د پیرامیټرو کوچنۍ فرعي سیټ تازه کولو سره.
هدف
موخه دا ده چې د کمپیوټري لګښتونو او ذخیره کولو اړتیاوې کمې شي پداسې حال کې چې د کار قوي فعالیت ساتل کیږي.
اهمیت
- د پراخو سرچینو پرته د سازمانونو لپاره د ښه تنظیم امکان برابروي.
- د بشپړ ماډل روزنې په پرتله د کاربن فوټ پرینټ کموي.
- په تولید کې د کار اغیزمن بدلون ته اجازه ورکوي.
- د LoRA او اډاپټرونو په څیر میتودونو پورې اړوند.
څنګه کار کوي
- یو لوی مخکې روزل شوی اساس ماډل غوره کړئ.
- د پیرامیټر فرعي سیټونه وپیژنئ (د مثال په توګه، ټیټ رتبه اډاپټرونه).
- یوازې دې فرعي سیټونو ته د هدفي دندې معلوماتو په اړه روزنه ورکړئ.
- نور پیرامیټرې کنګل وساتئ.
- د لږ تر لږه سرچینو لګښت سره ځای پر ځای کړئ.
مثالونه (حقیقي نړۍ)
- LoRA (د ټیټې درجې تطابق): په پراخه کچه د LLMs په ښه کولو کې کارول کیږي.
- د غېږې ورکولو مخ PEFT کتابتون: د ښه تنظیم کولو مؤثره وسیله.
- د ګوګل څیړنه: د څو ژبو NLP دندو لپاره اډاپټرونه.
حوالې / نور لوستل
- هو او نور. "لورا: د لویو ژبو ماډلونو ټیټ رتبه تطبیق." arXiv.
- هولسبي او نور. "د NLP لپاره د پیرامیټر-اغیزمن لیږد زده کړه." ACL.
- د غېږې ورکولو مخ PEFT اسناد.
