گزارش ویژه هوش مصنوعی و امنیت

هوش مصنوعی در امنیت سایبری؛ وقتی AI خودش حمله می‌کند

هوش مصنوعی در امنیت سایبری دیگر فقط برای تحلیل هشدارها یا تولید محتوای فیشینگ استفاده نمی‌شود. عامل‌های هوش مصنوعی اکنون می‌توانند بخشی از عملیات نفوذ را بررسی، اجرا و هدایت کنند؛ تغییری که سطح حمله سازمان‌ها را گسترش داده و مدل‌های سنتی دفاع سایبری را با چالش‌های تازه‌ای روبه‌رو کرده است.

زمان مطالعه: حدود ۱۰ دقیقه موضوع: AI Security مناسب مدیران IT و امنیت
۱

فراتر از تولید محتوا

هوش مصنوعی از تولید متن و کد فراتر رفته و به ابزار تصمیم‌گیری و اجرای عملیات در زنجیره حمله تبدیل می‌شود.

۲

سطح حمله جدید

اتصال عامل‌ها به ایمیل، فایل، خط فرمان و برنامه‌های سازمانی، خطر اجرای اقدامات ناخواسته را افزایش می‌دهد.

۳

نیاز به کنترل دسترسی

هویت مستقل، حداقل دسترسی، ثبت فعالیت و تأیید انسانی باید بخشی از معماری امنیتی عامل‌های هوش مصنوعی باشند.

AI

نقش هوش مصنوعی در امنیت سایبری چگونه تغییر کرده است؟

تا چندی پیش، نقش هوش مصنوعی در امنیت سایبری بیشتر به نوشتن ایمیل‌های فیشینگ، تولید کد، تحلیل هشدارها یا جمع‌آوری اطلاعات محدود بود. مهاجم همچنان تصمیم‌گیرنده اصلی محسوب می‌شد و هوش مصنوعی فقط سرعت اجرای بعضی مراحل را افزایش می‌داد.

گزارش‌های امنیتی جدید از تغییر مهمی خبر می‌دهند: هوش مصنوعی به‌تدریج از یک ابزار کمکی به یک عامل اجرایی تبدیل شده است؛ عاملی که می‌تواند هدف را بررسی کند، فرمان اجرا کند، اطلاعات به‌دست‌آمده را تحلیل کند و برای مرحله بعدی عملیات تصمیم بگیرد.

تفاوت اصلی نسل جدید حملات در این است که هوش مصنوعی فقط پیشنهاد نمی‌دهد؛ در صورت اتصال به ابزارها و دریافت مجوز، می‌تواند اقدام واقعی انجام دهد.
۰۱

هوش مصنوعی از دستیار مهاجم به اپراتور حمله تبدیل می‌شود

در حملات سنتی، مهاجم برای اجرای هر مرحله باید ابزار مناسب را انتخاب می‌کرد، خروجی آن را بررسی می‌کرد و درباره اقدام بعدی تصمیم می‌گرفت. این فرایند به دانش فنی، نیروی انسانی و زمان قابل‌توجهی نیاز داشت.

عامل‌های هوش مصنوعی می‌توانند بخشی از این چرخه را خودکار کنند. یک عامل ممکن است به مرورگر، خط فرمان، سامانه‌های ابری، ایمیل، فایل‌ها یا رابط‌های برنامه‌نویسی دسترسی داشته باشد. در چنین شرایطی، مدل فقط پاسخ متنی تولید نمی‌کند؛ بلکه می‌تواند در محیط واقعی فعالیت کند.

گزارش AI Security Report 2026 شرکت Check Point این روند را عبور هوش مصنوعی از نقش دستیار به نقش اپراتور توصیف می‌کند.

نکته کلیدی هرچه تعداد ابزارهای متصل و سطح مجوزهای عامل بیشتر باشد، پیامد یک تصمیم اشتباه یا دستور مخرب نیز گسترده‌تر خواهد بود.
۰۲

حمله سایبری عامل‌محور چیست؟

حمله عامل‌محور نوعی عملیات سایبری است که در آن یک یا چند عامل هوش مصنوعی، مجموعه‌ای از اهداف، ابزارها و مجوزها را دریافت می‌کنند و بخشی از زنجیره حمله را با دخالت محدود انسان پیش می‌برند.

برای مثال، مهاجم می‌تواند هدفی مانند پیدا کردن حساب‌های دارای دسترسی مدیریتی را برای عامل تعریف کند. عامل اطلاعات موجود را بررسی می‌کند، ابزار مناسب را انتخاب می‌کند، نتایج را تحلیل می‌کند و در صورت دستیابی به اطلاعات معتبر، مرحله بعدی را آغاز می‌کند.

شناسایی هدف بررسی دامنه‌ها، سرویس‌ها، کاربران و دارایی‌های در دسترس
تحلیل آسیب‌پذیری پیدا کردن ضعف امنیتی، پیکربندی نادرست یا حساب قابل سوءاستفاده
اجرای ابزار انتخاب، تولید یا اصلاح فرمان‌ها و کدهای موردنیاز
تحلیل نتیجه تفسیر خروجی ابزارها و انتخاب اقدام بعدی
حرکت جانبی تلاش برای دسترسی به سامانه‌ها و حساب‌های دیگر شبکه
جمع‌آوری داده دسته‌بندی اطلاعات و آماده‌سازی آن‌ها برای خروج از سازمان
۰۳

مهاجمان چگونه از هوش مصنوعی استفاده می‌کنند؟

Anthropic فعالیت ۸۳۲ حساب مسدودشده به‌دلیل اقدامات سایبری مخرب را در فاصله مارس ۲۰۲۵ تا مارس ۲۰۲۶ بررسی و روش‌های استفاده مهاجمان از هوش مصنوعی را با چارچوب MITRE ATT&CK تطبیق داده است.

۶۷.۳٪ معادل ۵۶۰ حساب، از هوش مصنوعی برای آماده‌سازی حمله یا نوشتن بدافزار استفاده کرده‌اند.
۵۴ حساب از هوش مصنوعی برای کمک به حرکت جانبی داخل شبکه استفاده کرده‌اند.
۳۳ ← ۵۶٪ سهم فعالیت‌های دارای سطح خطر متوسط یا بالاتر در نیمه دوم دوره بررسی افزایش پیدا کرده است.

این داده‌ها نشان می‌دهند استفاده مهاجمان از هوش مصنوعی دیگر فقط به نوشتن پیام فیشینگ محدود نیست. مدل‌های هوش مصنوعی به‌تدریج در مراحل پیچیده‌تر پس از نفوذ، مانند شناسایی حساب‌ها، افزایش سطح دسترسی و حرکت جانبی نیز به کار گرفته می‌شوند.

جزئیات کامل این پژوهش در گزارش Anthropic درباره تهدیدهای سایبری مجهز به هوش مصنوعی منتشر شده است.

۰۴

چرا حملات عامل‌محور خطرناک‌ترند؟

خطر این حملات فقط در توانایی تولید متن یا کد بهتر خلاصه نمی‌شود. عامل‌های هوش مصنوعی می‌توانند چند قابلیت را در یک فرایند پیوسته کنار هم قرار دهند.

سرعت بیشتر تصمیم‌گیری

عامل می‌تواند خروجی ابزارها را بلافاصله تحلیل کند و بدون توقف طولانی، عملیات را ادامه دهد.

کاهش نیاز به تخصص پیشرفته

مهاجمان کم‌تجربه می‌توانند از مدل برای اصلاح کد، تفسیر نتایج و انتخاب ابزار مناسب کمک بگیرند.

اجرای عملیات در مقیاس وسیع

عامل‌ها می‌توانند تعداد زیادی دامنه، حساب، فایل یا سرویس را به‌صورت هم‌زمان بررسی کنند.

اتصال مستقیم به ابزارها

دسترسی به خط فرمان، ایمیل یا فضای ذخیره‌سازی می‌تواند یک دستور مخرب را به اقدام واقعی تبدیل کند.

۰۵

تزریق غیرمستقیم پرامپت؛ تهدیدی علیه عامل‌های هوش مصنوعی

در تزریق غیرمستقیم پرامپت، دستور مخرب داخل محتوایی قرار می‌گیرد که عامل هوش مصنوعی آن را پردازش می‌کند؛ برای مثال داخل یک صفحه وب، ایمیل، فایل PDF، سند اشتراکی یا توضیحات یک افزونه.

یک دستور پنهان می‌تواند به اقدام واقعی تبدیل شود

عامل ممکن است دستور موجود در فایل یا صفحه وب را بخشی از محتوای عادی تصور کند و براساس آن اطلاعات جمع‌آوری کند، فایل بخواند، پیام ارسال کند یا ابزار دیگری را فراخوانی کند.

گزارش Check Point از افزایش تقریباً پنج‌برابری شناسایی پرامپت‌های مخرب طولانی بین مارس تا مه ۲۰۲۶ خبر می‌دهد. این نوع ورودی‌های طولانی بیشتر با حملات مبتنی بر محتوا و مسیرهای عامل‌محور ارتباط دارند.

خطر اصلی زمانی ایجاد می‌شود که عامل هم‌زمان به محتوای خارجی، اطلاعات داخلی و ابزارهای اجرایی دسترسی داشته باشد. در این معماری، یک ورودی غیرقابل‌اعتماد می‌تواند بر تصمیم‌ها و اقدامات عامل اثر بگذارد.

۰۶

هوش مصنوعی سازمانی چگونه سطح حمله را گسترش می‌دهد؟

ریسک فقط از سمت مهاجمانی نیست که از هوش مصنوعی استفاده می‌کنند. ورود کنترل‌نشده ابزارهای هوش مصنوعی به محیط کاری نیز می‌تواند داده‌ها و دسترسی‌های داخلی را در معرض خطر قرار دهد.

براساس داده‌های Check Point، سازمان‌های بررسی‌شده به‌طور متوسط در هر ماه از ۱۰ برنامه هوش مصنوعی استفاده می‌کردند و سهم پرامپت‌های پرخطر دارای احتمال افشای اطلاعات حساس طی یک سال از ۲ درصد به ۴ درصد رسیده است.

کارکنان ممکن است بدون قصد قبلی، کد منبع، اطلاعات مشتریان، قراردادها، گزارش‌های مالی یا جزئیات زیرساخت سازمان را در اختیار یک ابزار عمومی قرار دهند. اگر عامل به ایمیل، فایل و برنامه‌های داخلی نیز متصل باشد، پیامد یک تصمیم اشتباه بسیار گسترده‌تر خواهد بود.

مدیریت ریسک هوش مصنوعی فقط به انتخاب مدل محدود نیست؛ هویت عامل، سطح دسترسی، داده‌های در دسترس، ابزارهای متصل و اقدامات مجاز نیز باید کنترل شوند.
۰۷

کاربرد هوش مصنوعی در امنیت سایبری و دفاع سازمانی

همان قابلیت‌هایی که سرعت حمله را افزایش می‌دهند، می‌توانند برای شناسایی آسیب‌پذیری، تحلیل هشدارها و پاسخ به تهدیدها نیز استفاده شوند. به همین دلیل، هوش مصنوعی در امنیت سایبری هم‌زمان یک ابزار دفاعی و یک منبع ریسک جدید محسوب می‌شود.

در مرکز عملیات امنیت، عامل‌های هوش مصنوعی می‌توانند هشدارها را دسته‌بندی کنند، اطلاعات تهدید را با رخدادهای شبکه تطبیق دهند، مسیر احتمالی حمله را بازسازی کنند و اقدامات اولیه پاسخ را به تحلیلگر پیشنهاد دهند.

مایکروسافت در پروژه Project Perception از سه گروه عامل تخصصی استفاده می‌کند: عامل‌های قرمز برای یافتن مسیرهای نفوذ، عامل‌های آبی برای تحلیل ریسک و عامل‌های سبز برای اصلاح و تقویت کنترل‌های دفاعی.

خودکارسازی به معنای حذف انسان نیست تصمیم اشتباه عامل دفاعی می‌تواند باعث مسدود شدن سرویس سالم، حذف فایل ضروری یا قطع دسترسی کاربران شود. اقدامات حساس باید همچنان تحت نظارت و تأیید انسانی باشند.
۰۸

چگونه امنیت سایبری سازمان را برای عصر هوش مصنوعی آماده کنیم؟

مقابله با تهدیدهای عامل‌محور الزاماً به خرید یک محصول جدید محدود نمی‌شود. نخستین گام، شناخت دقیق محل استفاده از هوش مصنوعی و دسترسی‌هایی است که در اختیار آن قرار گرفته است.

شناسایی ابزارها و عامل‌های هوش مصنوعی فهرست مدل‌ها، برنامه‌ها، افزونه‌ها و ابزارهای مورد استفاده تهیه و موارد تأییدنشده شناسایی شوند.
ایجاد هویت مستقل برای هر عامل عامل نباید از حساب مشترک یا دسترسی مدیر سیستم استفاده کند.
اجرای اصل حداقل دسترسی هر عامل فقط باید به داده‌ها و ابزارهای ضروری برای وظیفه مشخص خود دسترسی داشته باشد.
تأیید انسانی برای اقدامات حساس حذف فایل، اجرای کد، انتقال داده و تغییر مجوزها باید به تأیید انسان نیاز داشته باشند.
کنترل خروج اطلاعات تعامل کاربران و عامل‌ها با داده‌های حساس باید توسط سیاست‌های جلوگیری از نشت اطلاعات کنترل شود.
ثبت و پایش کامل فعالیت عامل‌ها درخواست‌ها، فراخوانی ابزارها، دسترسی به فایل و اقدامات انجام‌شده باید ثبت و به SIEM یا XDR منتقل شوند.
آزمایش سناریوهای تزریق پرامپت ایمیل، فایل، صفحات وب و داده‌های خارجی نباید به‌صورت پیش‌فرض قابل‌اعتماد در نظر گرفته شوند.
استفاده از چارچوب‌های امنیتی معتبر روش‌های حمله و کنترل‌های دفاعی با چارچوب‌هایی مانند MITRE ATLAS بررسی و مستندسازی شوند.
۰۹

آینده امنیت سایبری؛ رقابت عامل‌ها با عامل‌ها

هوش مصنوعی قرار نیست جای تمام مهاجمان یا تحلیلگران امنیت را بگیرد. تغییر اصلی در نحوه تقسیم کار میان انسان و ماشین اتفاق می‌افتد.

در سمت مهاجم، انسان هدف و انگیزه عملیات را تعیین می‌کند و عامل هوش مصنوعی بخش بیشتری از شناسایی، تحلیل و اجرا را بر عهده می‌گیرد. در سمت مدافع نیز کارشناسان امنیت سیاست‌ها و اولویت‌ها را مشخص می‌کنند و عامل‌ها حجم بزرگی از هشدارها و داده‌ها را بررسی می‌کنند.

عامل هوش مصنوعی باید مانند یک کاربر دیجیتال قدرتمند مدیریت شود؛ کاربری که سریع‌تر از انسان عمل می‌کند و در صورت دریافت دسترسی نامناسب، می‌تواند یک اشتباه را در مقیاس بزرگی تکرار کند.
۱۰

جمع‌بندی؛ آینده هوش مصنوعی در امنیت سایبری

تحولات اخیر نشان می‌دهد هوش مصنوعی در امنیت سایبری هم‌زمان یک فرصت دفاعی و یک منبع تهدید جدید است. عامل‌های هوش مصنوعی می‌توانند تحلیل هشدارها و کشف آسیب‌پذیری‌ها را سریع‌تر کنند، اما در سمت مهاجم نیز قادرند بخشی از شناسایی، تصمیم‌گیری و اجرای عملیات نفوذ را بر عهده بگیرند.

اتصال عامل‌های سازمانی به ایمیل، فایل‌ها، برنامه‌های ابری و داده‌های حساس، سطح حمله جدیدی به وجود آورده است. کنترل هویت و دسترسی عامل‌ها، جلوگیری از نشت اطلاعات، پایش رفتار، آزمایش تزریق پرامپت و حفظ تأیید انسانی برای اقدامات حساس، از مهم‌ترین الزامات امنیت در این دوره هستند.

منابع و مطالعه بیشتر

آیا زیرساخت سازمان شما برای تهدیدهای جدید آماده است؟

برای ارزیابی وضعیت امنیت اطلاعات، شناسایی مسیرهای احتمالی نشت داده و انتخاب راهکارهای مناسب امنیت سازمانی، با کارشناسان دژپاد در ارتباط باشید.

ارسال پیام

پیمایش به بالا