مخکې روزنه

تعریف

مخکې له مخکې روزنه د ځانګړو دندو د ښه کولو دمخه د لویو عمومي موخو ډیټاسیټونو په اړه د ماشین زده کړې ماډل لومړنۍ روزنه ده.

هدف

موخه دا ده چې ماډلونه د پراخو نمایندګیو سره چمتو کړي چې ډیری دندو ته لیږدوي، د ښکته جریان تطابق لپاره د معلوماتو او محاسبې اړتیاوې کموي.

اهمیت

• د عصري LLMs او لید ماډلونو لپاره بنسټ.
• په مختلفو دندو کې فعالیت ښه کوي.
• د معلوماتو او محاسبې له پلوه ګران.
• د تعصب څخه د مخنیوي لپاره د ډیټاسیټ احتیاطي تنظیم ته اړتیا ده.

څنګه کار کوي

1. لوی عمومي ډیټاسیټونه (متن، انځورونه) راټول کړئ.
2. د زده کړې دندې تعریف کړئ چې نه څارل کیږي یا پخپله څارل کیږي.
3. ماډلونه د عمومي ځانګړتیاوو زده کولو لپاره وروزو.
4. مخکې له مخکې روزل شوي وزنونه د بیا کارولو لپاره خوندي کړئ.
5. د کوچنیو دندو پورې اړوند ډیټاسیټونو کې سمون راوستل.

مثالونه (حقیقي نړۍ)

• په ويکيپېډيا او بوکس کارپس کې د BERT له خوا مخکې له مخکې روزل شوی.
• CLIP د انځور-متن جوړو په اړه روزل شوی.
• د GPT ماډلونه چې د لویې کچې انټرنیټ متن په اړه مخکې له مخکې روزل شوي دي.

حوالې / نور لوستل

• ډیولین او نور. "BERT: د ژورو دوه اړخیزه ټرانسفارمرونو دمخه روزنه." NAACL 2019.
• راډفورډ او نور. "د ژبې ماډلونه لږ زده کونکي دي." نیوریپس ۲۰۲۰.
• د OpenAI GPT-4 تخنیکي راپور.