ارتقای توانایی مدل های زبانی در تشخیص و رد منفی اطلاعات؛ مروری بر روش های RAG و RAFT

چکیده مقاله

مدل های زبانی بزرگ LLMs با وجود موفقیت چشمگیر در تولید متن، همچنان در تشخیص و رد اطلاعات نامربوط یا ساختگی با چالش جدی که به اصطلاح رد منفی نامیده می شود، مواجه اند محدودیتی که در کاربردهای حساس مثل تصمیم گیری پزشکی و سنجش دانش واقعی در زمینه های حقوقی اهمیت حیاتی دارد این مقاله مروری، سه رویکرد اصلی برای ارتقای این توانایی را بررسی می کند این رویکردها عبارتند ازFine tuning، RAG و تنظیم دقیق افزوده با بازیابی و فیلترینگ که به آنRAFT می گویند تمرکز این مقاله بر پژوهش ها و تحلیل های تطبیقی مطالعات اخیر بر اساس معیارهای رد اطلاعات، کاهش توهم، هزینه محاسباتی و سازگاری مدل های هوش مصنوعی است نتایج حاصل از بررسی ها نشان می دهد که PEFTها مانند LoRA هرچند کارآمد و کم هزینه اند، اما در فیلتر کردن زمینه های نامرتبط محدودیت دارند RAG توانایی دانش محور مدل را تقویت می کند ولی خطر انتشار نویز را در خود دارد و RAFTتوانایی رد منفی را ارتقا می دهد بات این حال هزینه محاسباتی آن همچنان قابل توجه است در مجموع، اطلاعات و گزارش های موجود نشان داد که روش های ریزنمونه سازی RAG و RAFT می تواند مسیر توسعه مدل های زبانی ایمن تر و واقع گراتر را هموار کند

کلیدواژه‌ها

نویسندگان

رومینا میرفتاحی

۱- دانشجوی کارشناسی رشته مهندسی کامپیوتر گرایش نرم افزار از دانشگاه آزاد تهران مرکز

رومینا میرفتاحی

۱ دانشجوی کارشناسی رشته مهندسی کامپیوتر گرایش نرم افزار از دانشگاه آزاد تهران مرکز

مجتبی کشاورز سیاهپوش

۲- دانشجوی دکترای مهندسی نرم افزار دانشگاه آزاد تهران مرکز

مجتبی کشاورز سیاهپوش

۲ دانشجوی دکترای مهندسی نرم افزار دانشگاه آزاد تهران مرکز

میرفتاحی، رومینا و کشاورز سیاهپوش، مجتبی،1405،ارتقای توانایی مدل های زبانی در تشخیص و رد منفی اطلاعات؛ مروری بر روش های RAG و RAFT،سی امین کنفرانس ملی مهندسی برق، کامپیوتر و مکانیک،شیروان

ارائه‌شده در

مجموعه مقالات سی امین کنفرانس ملی مهندسی برق، کامپیوتر و مکانیک30 اردیبهشت 1405 · شیروان