توضیحات
آشنایی با ترنسفورمرها Transformers در بینایی کامپیوتر (Computer Vision)
نام دوره : Transformers in Computer Vision – English version
پیش نیاز:
توضیحات:
شبکه های ترنسفورمر روند جدید در یادگیری عمیق امروزه هستند.
مدل‌های ترنسفورمر از سال 2017 دنیای NLP را طوفانی کرده‌اند.
از آن زمان، آنها به مدل اصلی تقریباً در تمام وظایف NLP تبدیل شده‌اند. ترنسفورمر در CV هنوز هم عقب هستند، با این حال آنها از سال 2020 شروع به کار کردند.
ما با معرفی توجه و شبکه های ترنسفورمر شروع خواهیم کرد. از آنجایی که ترنسفورمر ها برای اولین بار در NLP معرفی شدند، توصیف آنها با چند مثال NLP آسانتر است.
از آنجا به مزایا و معایب این معماری پی خواهیم برد. همچنین، در مورد اهمیت پیش‌آموزش بدون نظارت یا نیمه‌نظارت برای معماری‌های ترنسفورمر بحث خواهیم کرد و مدل‌های زبان مقیاس بزرگ (LLM) را به طور خلاصه، مانند BERT و GPT، مورد بحث قرار خواهیم داد.
این امر راه را برای معرفی ترنسفورمر هادر CV هموار می کند.
در اینجا سعی خواهیم کرد ایده توجه را به حوزه فضایی دوبعدی تصویر گسترش دهیم. ما در مورد چگونگی تعمیم پیچیدگی با استفاده از توجه به خود، در معماری متا رمزگذار-رمزگشا بحث خواهیم کرد.
خواهیم دید که چگونه این معماری عمومی از نظر تصویر تقریباً مشابه متن و NLP است که ترنسفورمر ها را به یک تقریب کننده عملکرد عمومی تبدیل می کند.
در سه ماژول بعدی، ما در مورد شبکه های خاصی که مشکلات بزرگ در CV را حل می کنند بحث خواهیم کرد:
طبقه بندی، تشخیص اشیا و تقسیم بندی.
ما در مورد Vision Transformer (ViT) از Google، Shifter Window Transformer (SWIN) از Microsoft، Detection Transformer (DETR) از تحقیقات فیس بوک، Segmentation Transformer (SETR) و بسیاری دیگر بحث خواهیم کرد.
سپس در مورد کاربرد ترنسفورمر ها در پردازش ویدیو، از طریق ترنسفورمرهای فضایی-زمانی با کاربرد تشخیص شی متحرک، همراه با راه اندازی آموزش چند وظیفه ای بحث خواهیم کرد.
در نهایت، نشان خواهیم داد که چگونه آن معماری های از پیش آموزش دیده را می توان به راحتی در عمل با استفاده از کتابخانه معروف Huggingface با استفاده از رابط Pipeline به کار برد.
دوره آشنایی با ترنسفورمرها Transformers در بینایی کامپیوتر (Computer Vision) برای چه کسانی است:
- مهندسین CV متوسط تا پیشرفته
- پژوهشگران CV متوسط تا پیشرفته
یودمی ایران –
دوره درخواستی خود را از راه های ارتباطی درخواست کنید