حمله سریع تزریق (Prompt Injection) چیست؟

حمله تزریق سریع نوعی حمله سایبری است که در آن یک هکر یک پیام متنی را به یک مدل زبان بزرگ (LLM) یا ربات چت وارد می‌کند، که برای قادر ساختن کاربر برای انجام اقدامات غیرمجاز طراحی شده است.

این موارد شامل نادیده گرفتن دستورالعمل‌های قبلی و دستورالعمل‌های تعدیل محتوا، افشای داده‌های اساسی، یا دستکاری در خروجی برای تولید محتوایی است که معمولاً توسط ارائه‌دهنده ممنوع است.
از این نظر، عوامل تهدید می توانند از حملات تزریق سریع برای تولید هر چیزی از محتوای تبعیض آمیز و اطلاعات نادرست گرفته تا کدهای مخرب و بدافزار استفاده کنند.
دو نوع اصلی حملات تزریق سریع وجود دارد: مستقیم و غیر مستقیم.
در یک حمله مستقیم، یک هکر ورودی LLM را در تلاش برای بازنویسی درخواست‌های سیستم موجود تغییر می‌دهد.
در یک حمله غیرمستقیم، یک عامل تهدید، منبع داده LLM، مانند یک وب سایت، را مسموم می کند تا ورودی داده را دستکاری کند. به عنوان مثال، یک مهاجم می تواند یک پیام مخرب را در یک وب سایت وارد کند که یک LLM آن را اسکن کرده و به آن پاسخ می دهد.
حملات تزریق سریع چقدر خطرناک هستند؟
OWASP حملات تزریق سریع را به عنوان مهم ترین آسیب پذیری مشاهده شده در مدل های زبانی رتبه‌بندی می‌کند. در سطح بالا، این حملات خطرناک هستند زیرا هکرها می‌توانند از LLM برای انجام اقدامات مستقل و افشای داده‌های محافظت شده استفاده کنند.
این نوع حملات نیز مشکل ساز هستند، زیرا LLM ها یک فناوری نسبتاً جدید برای شرکت‌ها هستند.
در حالی که سازمان‌ها در اجرای کنترل‌هایی برای مقابله با تهدیدات سایبری کلاسیک مانند بدافزارها و ویروس‌ها تجربه دارند، ممکن است از سطح ریسک وارد شده به محیط خود با استفاده از API به عنوان بخشی از عملیات خود آگاه نباشند، چه در پشت صحنه و چه در یک زمینه با مشتری. .
به عنوان مثال، اگر سازمانی برنامه‌ای ایجاد کند که از یک API ادغام با یک LLM محبوب مانند ChatGPT استفاده می‌کند، باید کنترل‌های جدیدی را پیاده‌سازی کند تا در صورت تلاش یک عامل تهدید برای سوءاستفاده از ربات چت برای ورود به محیط خود یا انجام اقدامات بالقوه مضر، آماده شود.

“
“”قرارگاه جنبش انقلابیون(قجا)””
“
https://313-313.ir/