بررسی حملات تزریق دستور علیه سامانه های مبتنی بر مدل های زبانی بزرگ

چکیده مقاله

با گسترش کاربرد مدل های زبانی بزرگ در سامانه های هوشمند، نگرانی های امنیتی مرتبط با این فناوری نیز افزایش یافته است یکی از مهم ترین تهدیدهای نوظهور در این حوزه، حملات «تزریق دستور» است که در آن مهاجم با طراحی ورودی های هدفمند، رفتار مدل را از مسیر مورد انتظار منحرف میکند هدف این پژوهش، بررسی ماهیت، انواع، پیامدها و راهکارهای مقابله با حملات تزریق دستور در سامانه های مبتنی بر مدل های زبانی بزرگ است فرضیه اصلی پژوهش آن است که معماری فعلی این مدل ها، به دلیل پردازش همزمان دستورها و داده های ورودی در یک بستر مشترک، زمینه بروز این نوع حملات را فراهم میکند پژوهش حاضر از نوع مروری تحلیلی بوده و با استفاده از مطالعه نظام مند منابع علمی، گزارش های تخصصی و پژوهش های منتشرشده در حوزه امنیت هوش مصنوعی انجام شده است یافته های پژوهش نشان میدهد که حملات تزریق دستور به دو گروه مستقیم و غیرمستقیم تقسیم میشوند و با توسعه عامل های هوشمند و سامانه های مبتنی بر بازیابی و تولید افزوده، دامنه اثرگذاری آنها افزایش یافته است همچنین بررسی راهکارهای دفاعی موجود نشان میدهد که روش هایی مانند پالایش ورودی، طراحی مناسب اعلان های سیستمی و تفکیک مرزهای اعتماد میتوانند احتمال موفقیت این حملات را کاهش دهند، اما به تنهایی پاسخگوی تمامی تهدیدهای موجود نیستند در نهایت، نتایج این پژوهش بیانگر آن است که ارتقای امنیت مدل های زبانی بزرگ مستلزم بهره گیری از رویکردهای چندلایه و بازنگری در معماری سامانه های مبتنی بر هوش مصنوعی است

کلیدواژه‌ها

نویسندگان

معصومه آهی

۱- دانشجوی کاردانی رشته IT دانشکده ملی مهارت ولیعصر

معصومه آهی

۱ دانشجوی کاردانی رشته IT دانشکده ملی مهارت ولیعصر

نسترن بزن بیرانوند

۲- استاد دانشکده ملی مهارت ولیعصر

نسترن بزن بیرانوند

۲ استاد دانشکده ملی مهارت ولیعصر

�هی، معصومه و بزن بیرانوند، نسترن،1405،بررسی حملات تزریق دستور علیه سامانه های مبتنی بر مدل های زبانی بزرگ،سی و یکمین کنفرانس ملی مهندسی برق، کامپیوتر و مکانیک،شیروان

ارائه‌شده در

مجموعه مقالات سی و یکمین کنفرانس ملی مهندسی برق، کامپیوتر و مکانیک30 تیر 1405 · شیروان