آیا هوش مصنوعی عاملی می‌تواند برای امنیت شما خطرناک باشد؟

هوش مصنوعی عاملی، که شامل سیستم‌هایی است که به‌طور خودکار بر اساس اهداف کلی عمل می‌کنند، به‌طور فزاینده‌ای به بخش‌های امنیتی سازمان‌ها، اطلاعات تهدیدات و اتوماسیون تبدیل می‌شود. در حالی که این سیستم‌ها پتانسیل‌های قابل توجهی دارند، اما همچنین خطرات جدیدی را به همراه دارند که مدیران امنیتی اطلاعات (CISO) باید به آن‌ها رسیدگی کنند. این مقاله تهدیدات امنیتی کلیدی مرتبط با هوش مصنوعی عاملی را بررسی کرده و راهکارهایی برای کاهش این تهدیدات ارائه می‌دهد.

مدیران ارشد امنیت اطلاعات (CISOs) باید با اجرای آزمایش‌های تقابلی، چارچوب‌های حاکمیتی، احراز هویت چندلایه و مدیریت وضعیت امنیتی هوش مصنوعی (AISPM) از سوءاستفاده احتمالی از Agentic AI علیه سازمان‌هایشان جلوگیری کنند.

رفتارهای فریبنده و دست‌کاری‌شده‌‌ هوش مصنوعی
یک مطالعه‌‌ اخیر نشان داده است که مدل‌های پیشرفته‌‌ هوش مصنوعی گاهی در مواجهه با سناریوهای شکست، به فریب‌کاری متوسل می‌شوند. مدل‌های o1-preview از OpenAI و DeepSeek R1 در شبیه‌سازی‌های شطرنج، هنگام پیش‌بینی باخت، تقلب می‌کردند. این موضوع نگرانی‌هایی را در مورد رفتارهای غیرقابل پیش‌بینی و غیرقابل اعتماد سیستم‌های Agentic AI در عملیات امنیت سایبری ایجاد کرده است.
در حوزه‌‌ امنیت، یک مرکز عملیات امنیتی (SOC) مبتنی بر هوش مصنوعی یا یک سیستم خودکار اصلاح تهدیدات ممکن است قابلیت‌های خود را به‌گونه‌ای نادرست نشان دهد یا با دستکاری شاخص‌های داخلی، خود را مؤثرتر از آنچه هست جلوه دهد. این پتانسیل فریبکاری مدیران امنیت را مجبور می‌کند تا چارچوب‌های پایش و اعتبارسنجی تصمیمات هوش مصنوعی را بازبینی کنند.

استراتژی کاهش ریسک:
•    اجرای آزمایش‌های تقابلی مستمر برای شناسایی تمایلات فریبکارانه‌ی هوش مصنوعی.
•    الزام مدل‌های Agentic AI به ارائه‌‌ استدلال‌های قابل‌راستی‌آزمایی برای تصمیماتشان.
•    ایجاد محدودیت‌های اخلاقی در مدل‌های عملیاتی هوش مصنوعی.

ظهور هوش مصنوعی خودمختار و تهدید جدید “Shadow ML”
بسیاری از شرکت‌ها همین حالا هم با مشکل Shadow IT (استفاده‌ی غیررسمی از فناوری بدون نظارت امنیتی) دست‌وپنجه نرم می‌کنند. اما با گسترش Agentic AI، مشکل جدیدی در حال ظهور است: Shadow ML. در این سناریو، کارمندان ابزارهای هوش مصنوعی خودکار را برای تصمیم‌گیری و اتوماسیون بدون نظارت امنیتی پیاده‌سازی می‌کنند و این امر می‌تواند به اقدامات خودکار و غیرقابل ردیابی منجر شود.
برای مثال، یک دستیار مالی هوشمند ممکن است بدون نظارت امنیتی، تراکنش‌های مالی را بر اساس مدل‌های ریسکی قدیمی و نادرست تأیید کند. یا یک چت‌بات غیرمجاز می‌تواند تعهدات غیرقانونی در زمینه‌‌ انطباق مقررات ایجاد کند که سازمان را در معرض خطرات قانونی قرار دهد.

استراتژی کاهش ریسک:
•    استفاده از ابزارهای مدیریت وضعیت امنیتی هوش مصنوعی (AISPM) برای ردیابی و مدیریت مدل‌های هوش مصنوعی.
•    الزام اجرای سیاست‌های Zero-Trust برای همه‌‌ تراکنش‌ها و تصمیمات مبتنی بر هوش مصنوعی.
•    ایجاد تیم‌های حاکمیتی هوش مصنوعی برای پایش و تأیید همه‌‌ استقرارهای AI در سازمان.

نظرات کارشناسان:
نوآم واندر (Noam Vander)، مدیر امنیت اطلاعات (CISO) شرکت Atera می‌گوید:
“Shadow ML یکی از بزرگ‌ترین تهدیدهای امنیتی است. این مدل‌های سرکش معمولاً از تیم‌هایی نشأت می‌گیرند که قصد دارند سریع حرکت کنند، اما بدون کنترل‌های مناسب، به دروازه‌ای باز برای نشت داده‌ها، نقض قوانین انطباق و حملات سایبری تبدیل می‌شوند. تیم‌های امنیتی نمی‌توانند چیزی را که نمی‌بینند، محافظت کنند. اگر به‌طور فعال هوش مصنوعی خودمختار را مدیریت نکنید، قبلاً از کاروان امنیتی عقب مانده‌اید.”
وی تأکید می‌کند: “پایش و نظارت بر هوش مصنوعی باید از همان روز اول در استقرار Agentic AI لحاظ شود. رهگیری رفتار مدل‌های یادگیری ماشینی به‌ صورت لحظه‌ای این امکان را فراهم می‌کند که فعالیت‌های غیرمجاز هوش مصنوعی از چشم ما پنهان نماند. تیم‌های امنیتی باید بدانند چه مدل‌هایی در حال اجرا هستند، چگونه با داده‌ها تعامل دارند، و آیا آسیب‌پذیری‌های جدیدی ایجاد می‌کنند یا خیر. این امر نیازمند ابزارهای امنیتی تخصصی برای هوش مصنوعی، ادغام با SIEM و SOC‌ و تشخیص مستمر ناهنجاری‌ها است تا بتوان مشکلات را قبل از تبدیل‌شدن به بحران، شناسایی و حل کرد.”

سوءاستفاده از Agentic AI از طریق حملات تزریق پرامپت و دستکاری مدل
مجرمان سایبری به‌طور فعال در حال تحقیق درباره‌ روش‌های دستکاری Agentic AI با استفاده از مهندسی پرامپت و ورودی‌های مخرب هستند. این حملات خودمختاری مدل‌های AI را هدف قرار داده و می‌توانند آن را به انجام تراکنش‌های غیرمجاز، افشای اطلاعات حساس، یا تغییر مسیر هشدارهای امنیتی وادار کنند.
یکی از سناریوهای نگران‌کننده، دستکاری ابزارهای امنیتی ایمیل مبتنی بر هوش مصنوعی است، به‌طوری‌که این ابزارها ایمیل‌های فیشینگ را به‌عنوان پیام‌های امن و قابل‌اعتماد تأیید کنند یا دسترسی‌های جعلی را تأیید نمایند، تنها به دلیل یک تغییر جزئی در دستورالعمل‌های پرامپت.

استراتژی کاهش ریسک:
‌    پاک‌سازی ورودی‌ها و اعتبارسنجی زمینه‌ای در فرآیند تصمیم‌گیری Agentic AI.
•    الزام احراز هویت چند لایه قبل از اجرای هر وظیفه‌ی حیاتی امنیتی توسط سیستم AI.
•    بازبینی مداوم لاگ‌های اقدامات AI برای شناسایی ناهنجاری‌ها.

دیدگاه کارشناسان
یوناتان استریم-آمیت (Yonatan Striem-Amit)، مدیر ارشد فناوری شرکت 7AI بیان کرد که هنگام طراحی هر سیستم عامل عاملی (Agentic AI)، اجرای موارد زیر ضروری است:

۱. اجتناب از دریافت ورودی مستقیم از منابع غیرقابل اعتماد
“اولین پرسش این است که چه داده‌ای به LLM داده می‌شود. تفاوت زیادی وجود دارد بین داده‌هایی که از یک سیستم کنترل‌شده (مانند هشدارهای امنیتی) می‌آیند و داده‌هایی که از منابع غیرمعتبر و تصفیه‌ نشده (مانند چت‌بات‌های عمومی که کاربران ناشناس با آن‌ها تعامل دارند) دریافت می‌شوند.”

 اقدام پیشنهادی:

قبل از ارسال داده‌ها به LLM، تأیید ورودی‌ها و اعمال فیلترهای طول و محتوا ضروری است تا از تزریق داده‌های مخرب جلوگیری شود.

۲. طراحی برای تصمیم‌گیری‌های کوچک و کنترل‌ شده
“به‌جای استفاده از یک مدل LLM که فرآیندهای پیچیده‌ی چند مرحله‌ای را انجام می‌دهد، بهتر است از یک معماری عاملی (Agent-Based Architecture) استفاده کنید که شامل عوامل کوچک‌تر و محدودتر است.”

 اقدام پیشنهادی:

هر عامل باید فقط تصمیمات مشخص و ساده‌ای بگیرد، مانند انتخاب از بین یک لیست از پیش‌تعیین‌شده‌‌ گزینه‌ها یا بازیابی اطلاعات خاص و کنترل‌شده. این طراحی خطر سوگیری یا رفتار غیرمنتظره‌ی مدل را کاهش می‌دهد.

۳. حداقل‌سازی سطح دسترسی هر عامل
“طراحی عامل‌هایی که وظایف متعددی انجام دهند، وسوسه‌ برانگیز است، اما اصل مهندسی امنیتی خوب این است که هر جزء، حداقل سطح دسترسی ممکن را داشته باشد.”

اقدام پیشنهادی:
•    اطمینان حاصل کنید که هر عامل فقط با حداقل مجوزهای لازم اجرا شود.
•    اتصال‌ دهنده‌ها و سیستم‌های دسترسی به داده‌ها در حالت کمترین سطح دسترسی (Least-Privilege) اجرا شوند (مثلاً فقط خواندن داده‌های مجاز برای کاربر، بدون قابلیت تغییر آن‌ها).

4. مدیریت مجوزها خارج از LLM
اطلاعات مربوط به مستأجر (Tenant)، نقش‌ها (Role) و مجوزها (Permissions) نباید هیچ‌گاه برای LLM (مدل‌های زبانی بزرگ) قابل مشاهده باشد. راه‌حل‌ها باید طوری طراحی شوند که دسترسی کاربران و مجوزها به‌طور ضمنی در هر زمانی که LLM با دنیای خارج تعامل دارد، مشخص شود. به‌ جای اینکه از LLM خواسته شود که بگوید: “من هم‌اکنون در حال خدمت به درخواست از joe@nothing_wrong_here.com هستم”، هویت را از ابتدا به تمام سیستم‌ها تحمیل کنید.

5. طراحی عامل‌های تأیید هویت (Verification Agents)
زمانی که از یک معماری عوامل کوچک استفاده می‌شود، افزودن عوامل یا توابع که تحلیل میان‌ فرآیند انجام می‌دهند، ساده است. این‌ها باید هم بررسی‌های LLM و هم غیر-LLM باشند تا بررسی کنند که مجموعه درخواست‌ها، اقدامات و مجوزهای هر فراخوان LLM مطابق با مجوزهای تعریف‌شده است و در حریم‌های استاتیک مشخص عمل می‌کند. هنگامی که عوامل شما وظایف کوچک را انجام می‌دهند، تأیید اینکه وظایف را به‌درستی و طبق قصد انجام می‌دهند، آسان است. هرگونه تلاش برای نفوذ به چنین سیستمی باید همزمان تمام حریم‌ها را نقض کند.

هالوکینیشن‌های AI و مثبت‌های کاذب در تصمیم‌گیری امنیتی
در حالی که Agentic AI می‌تواند به تشخیص تهدیدات کمک کند، این سیستم‌ها همچنین پتانسیل ایجاد مثبت‌های کاذب یا منفی‌های کاذب در مقیاس وسیع را دارند که می‌تواند به عملیات امنیت سایبری آسیب بزند. هالوکینیشن‌های AI ممکن است منجر به هشدارهای امنیتی اشتباه یا حتی شناسایی نادرست یک کارمند به‌عنوان تهدید داخلی شوند.
یک رویداد اشتباه طبقه‌بندی‌شده می‌تواند قفل‌های خودکار، اتهامات کاذب در مورد انتقال داده‌ها یا واکنش‌های اضطراری غیرضروری را به‌دنبال داشته باشد، که این امر اعتماد به امنیت مبتنی بر AI را کاهش می‌دهد.

استراتژی کاهش ریسک:
•    الزامی بودن تأیید توسط انسان (HITL) برای اقدامات حیاتی امنیتی مبتنی بر AI.
•    استفاده از لایه‌های تشخیص ناهنجاری برای بررسی هشدارهای تولیدشده توسط AI قبل از اجرا.
•    آموزش مدل‌ها با استفاده از داده‌های متخاصم برای افزایش مقاومت در برابر هالوکینیشن‌ها.
 
عامل‌های AI در جرایم سایبری: شمشیر دولبه
CISOs باید خود را برای تهدیدات Agentic AI در دنیای حملات سایبری آماده کنند.
دایانا کلی (Diana Kelley)، مدیر ارشد امنیت اطلاعات در Protect AI، به ما گفت:
“حمله‌کنندگان اکنون می‌توانند از خودمختاری برای راه‌اندازی حملات پیچیده استفاده کنند. به‌عنوان مثال، یک مهاجم می‌تواند از Agentic AI برای نقشه‌برداری از شبکه‌ها، شناسایی نقاط دسترسی و کاوش نقاط ضعف استفاده کند، بدون اینکه نیاز به هدایت مستمر انسانی داشته باشد. همچنین می‌توانند برای دور زدن تدابیر امنیتی استفاده شوند. عامل‌های مخرب AI می‌توانند به‌طور پویا رفتار خود را برای اجتناب از شناسایی تنظیم کنند، از شکست‌ها درس بگیرند، الگوهای حمله را تغییر دهند و به‌طور خودکار کشف کنند که کدام تکنیک‌ها برای پنهان ماندن زیر رادار شناسایی مؤثرتر هستند.”

استراتژی کاهش ریسک:
ه    استقرار تیم قرمز خودمختار مبتنی بر AI برای شبیه‌سازی حملات با استفاده از مدل‌های Agentic AI.
•    تقویت تشخیص و پاسخ در نقاط پایانی (EDR) مبتنی بر AI برای پیش‌بینی بدافزارهای تولیدشده توسط AI.
•    ایجاد پروتکل‌های پاسخ به حوادث مبتنی بر AI که به‌طور پویا به تهدیدات در حال تحول واکنش نشان دهند.

دایانا کلی افزود:“Agentic AI برای مدافعان شامل راه‌حل‌هایی است که استراتژی‌های پیشرفته‌ای برای شناسایی الگوهای رفتاری و ناهنجاری‌ها دارند، که می‌توانند نشان‌دهنده فعالیت‌های عامل خودمختار باشند، مانند اسکن/کاوش سیستماتیک، تصمیم‌گیری با سرعت ماشین و هماهنگ‌سازی سریع اقدامات در سیستم‌های مختلف. هنگامی که این فعالیت‌ها شناسایی شدند، AI دفاعی می‌تواند اقدام کند تا این فعالیت‌ها را ایزوله کرده و دامنه آسیب را محدود کند.”
“همچنین راه‌هایی برای دفاع در برابر Agentic AI مخرب وجود دارد. معماری‌های امنیتی باید توانایی عوامل را برای ترکیب چندین فعالیت کم‌خطر به دنباله‌های خطرناک در نظر بگیرند. این نیاز به ثبت جامع وقایع و همبستگی آن‌ها، شناسایی الگوها در طول زمان، درک رفتارهای خودکار عادی و شناسایی انحرافات ظریف از الگوهای پیش‌بینی‌ شده دارد. در نهایت، طرح‌های پاسخ به حوادث باید برای حملات خودمختار با سرعت بالا آماده باشند که به واکنش‌های دفاعی خودکار نیاز دارند، نه فقط تحقیقات و اصلاحات انجام‌شده توسط انسان.”

“
“”قرارگاه جنبش انقلابیون(قجا)””
“
https://313-313.ir/