مرور روش های کم رتبه در یادگیری عمیق

چکیده مقاله

با گسترش سریع مدل های یادگیری عمیق، اندازه شبکه های عصبی و تعداد پارامترهای آن ها به طور قابل توجهی افزایش یافته است که این موضوع منجر به هزینه های بالای محاسباتی، مصرف حافظه زیاد و دشواری در استقرار مدل ها در سامانه های محدود از نظر منابع می شود یکی از رویکردهای موثر برای مقابله با این چالش ها، استفاده از ساختارهای کم رتبه در نمایش و آموزش مدل های یادگیری عمیق است ایده اصلی این رویکرد بر بهره گیری از افزونگی موجود در پارامترهای شبکه و تقریب آن ها با ساختارهای کم بعدتر است تا پیچیدگی محاسباتی و حجم مدل کاهش یابد، در حالی که دقت مدل تا حد زیادی حفظ می شود در این مقاله یک مرور فشرده بر پژوهش های اخیر در زمینه روش های کم رتبه در یادگیری عمیق ارائه می شود در این راستا، چندین مقاله ژورنالی منتخب بررسی و از منظر مبانی نظری ساختارهای کم رتبه، نمایش های تنسوری در شبکه های عصبی، روش های بهینه سازی مبتنی بر ساختار کم رتبه و تکنیک های فشرده سازی مدل با انتخاب رتبه مناسب تحلیل می شوند روش تحقیق در این مطالعه مبتنی بر بررسی تطبیقی و تحلیل مفهومی این رویکردها به منظور شناسایی مزایا، تفاوت های روش شناختی و کاربردهای عملی آن ها در بهبود کارایی شبکه های عصبی است نتایج این مرور نشان می دهد که بهره گیری از مدل های کم رتبه می تواند نقش مهمی در کاهش پیچیدگی محاسباتی، تسریع فرایند آموزش و فشرده سازی مدل های یادگیری عمیق ایفا کند همچنین چالش هایی مانند تعیین رتبه مناسب، حفظ دقت مدل و مقیاس پذیری در شبکه های بسیار بزرگ به عنوان مسیرهای مهم پژوهشی آینده مطرح می شوند

کلیدواژه‌ها

نویسندگان

محمدعلی عباسیان

۱- دانشجوی کارشناسی ارشد مهندسی فناوری اطلاعات

محمدعلی عباسیان

۱ دانشجوی کارشناسی ارشد مهندسی فناوری اطلاعات

سید علی لاجوردی

۲ عضو هیدت علمی دانشگاه جامع انقلاب اسلامی

�باسیان، محمدعلی و لاجوردی، سیدعلی،1405،مرور روش های کم رتبه در یادگیری عمیق،سی و یکمین کنفرانس ملی مهندسی برق، کامپیوتر و مکانیک،شیروان

ارائه‌شده در

مجموعه مقالات سی و یکمین کنفرانس ملی مهندسی برق، کامپیوتر و مکانیک30 تیر 1405 · شیروان