چکیده مقاله
مدل های زبانی بزرگ در کاربردهای واقعی با چالش هایی مانند توهم زایی، ناپایداری پاسخ، عدم سازگاری با شواهد و کالیبراسیون ضعیف عدم قطعیت مواجه اند که دقت و قابلیت اتکای آن ها را کاهش می دهد این مسئله به ویژه در سناریوهای حساس، موجب تولید پاسخ های نادقیق و غیرقابل اعتماد می شود برای رفع این محدودیت، در این مقاله یک چارچوب RAG آگاه از عدم قطعیت پیشنهاد می شود که با ترکیب بازیابی شواهد بیرونی، برآورد عدم قطعیت، و بازپالایی تطبیقی پاسخ، کیفیت خروجی مدل را بهبود می دهد در این روش، ابتدا اسناد مرتبط بازیابی شده، سپس میزان اطمینان پاسخ و هم راستایی آن با شواهد ارزیابی می شود و در صورت نیاز، پاسخ به صورت خودکار اصلاح می گردد نتایج آزمایشی نشان می دهد که روش پیشنهادی به دقت ۹۲ ۴٪، F۱ برابر ۰ ۹۱ و AUC برابر ۰ ۹۵ دست یافته و نسبت به روش های پیشین مبتنی بر RAG و مدل های زبانی پایه، کاهش ۱۴ ۸٪ در خطا و افزایش ۹ ۶٪ در سازگاری پاسخ را فراهم کرده است این یافته ها نشان می دهد که تلفیق بازیابی و آگاهی از عدم قطعیت می تواند عملکرد مدل های زبانی بزرگ را در محیط های واقعی به طور معناداری ارتقا دهد و اتکاپذیری آن ها را در کاربردهای عملی افزایش دهد
کلیدواژهها
نویسندگان
امین علی ملایی
گروه مهندسی کامپیوترواحدمیبددانشگاه آزاداسلامی میبدایران
احمد حیدری شریف آباد
گروه مهندسی کامپیوترواحدمیبددانشگاه آزاداسلامی میبدایران
شیوه ارجاع
ملایی، امین علی و حیدری شریف آباد، احمد،1405،یک چارچوب RAG آگاه از عدم قطعیت برای ارتقای دقت، سازگاری و قابلیت اتکای مدل های زبانی بزرگ در کاربردهای واقعی،سی امین کنفرانس ملی علوم و مهندسی کامپیوتر و فناوری اطلاعات،بابل
ارائهشده در
مجموعه مقالات سی امین کنفرانس ملی علوم و مهندسی کامپیوتر و فناوری اطلاعات29 مرداد 1405 · بابل