بر اساس تحقیقات جدید، ۴۰ درصد از برنامههای سازمانی در سال جاری از عاملهای هوش مصنوعی (AI agents) با هدف مشخص استفاده میکنند. با این حال، گزارش شاخص سال ۲۰۲۵ استنفورد نشان میدهد که تنها ۶ درصد از سازمانها یک استراتژی امنیتی پیشرفته برای هوش مصنوعی دارند. این شکاف نگرانکننده در حالی رخ داده است که پیشبینی میشود تا سال ۲۰۲۶، اولین دادخواستهای بزرگ علیه مدیران اجرایی به دلیل اقدامات غیرمنتظره هوش مصنوعی مطرح خواهد شد.
سازمانها با چالش بزرگی روبرو هستند: نحوه کنترل ماهیت شتابدهنده و غیرقابل پیشبینی تهدیدات هوش مصنوعی. صرفاً افزایش بودجه یا استخدام نیروی انسانی، پاسخگوی این بحران نیستند. مشکل اصلی، کمبود دید کافی نسبت به اینکه مدلهای زبان بزرگ (LLMs) چگونه، کجا و از طریق چه گردش کاری و ابزاری استفاده یا تغییر داده میشوند است. یک مدیر ارشد امنیت اطلاعات (CISO) معتقد است که «مدلهای SBOM» (Software Bill of Materials) در حال حاضر مانند غرب وحشی هستند – هیچ استاندارد ثابتی وجود ندارد.
بدون داشتن دید کافی به اینکه کدام مدلها کجا در حال اجرا هستند، امنیت هوش مصنوعی به حدس و گمان کاهش یافته و پاسخگویی به حوادث غیرممکن میشود. دولت ایالات متحده سالهاست که سیاست الزام SBOM برای تمام نرمافزارهای خریداریشده را دنبال میکند. این موضوع در مورد مدلهای هوش مصنوعی اهمیت بیشتری دارد؛ فقدان بهبود مستمر در این زمینه، یکی از مهمترین ریسکهای مرتبط با هوش مصنوعی است.
بر اساس نظرسنجی انجام شده توسط Harness بر روی ۵۰۰ متخصص امنیت اطلاعات در ایالات متحده، بریتانیا، فرانسه و آلمان، ۶۲ درصد از آنها هیچ راهی برای اطلاع از محل استفاده LLMها در سازمان خود ندارند. این موضوع نشاندهنده نیاز به دقت و شفافیت بیشتر در سطح SBOM است تا ردیابی مدلها، نحوه استفاده دادهها، نقاط یکپارچهسازی و الگوهای کاربرد توسط دپارتمانها بهبود یابد.
سازمانها به طور مداوم شاهد افزایش تزریق دستورالعمل (prompt injection) با نرخ ۶۲٪، کد آسیبپذیر LLM با نرخ ۶۶٪، و روشهای «جیلبریک» (jailbreaking) با نرخ ۶۵ درصد هستند. این موارد در میان خطرناکترین ریسکها و روشهای حمله قرار دارند که مهاجمان برای سرقت اطلاعات از تلاشهای مدلسازی هوش مصنوعی و LLM استفاده میکنند. با وجود صرف میلیونها دلار برای نرمافزارهای امنیت سایبری، بسیاری از سازمانها متوجه نمیشوند که این حملات در حال انجام است؛ زیرا آنها پنهان شدهاند و از تکنیکهای «زندگی از سرزمین» (living-off-the-land) استفاده میشود.
آدام آرلانو، مدیر ارشد فناوری اطلاعات میدانی در Harness میگوید: «هوش مصنوعی سایهای (Shadow AI) به یک نقطه ضعف جدید در سازمانها تبدیل شده است». ابزارهای امنیتی سنتی برای کد استاتیک و سیستمهای قابل پیشبینی طراحی شدهاند، نه مدلهایی که بهطور مداوم یاد میگیرند و تکامل پیدا میکنند.
گزارش هزینه نقض داده IBM سال ۲۰۲۵ این موضوع را کمی کرده است؛ در آن گزارش ذکر شده که ۱۳ درصد از سازمانها شاهد نفوذ به مدلهای هوش مصنوعی یا برنامههای کاربردی خود بودهاند. ۹۷ درصد از سازمانهایی که مورد حمله قرار گرفتهاند، کنترل دسترسی هوش مصنوعی نداشتهاند و یک پنجم از آنها به دلیل «هوش مصنوعی سایهای» (Shadow AI) یا استفاده غیرمجاز از هوش مصنوعی رخ داده است. حوادث مربوط به Shadow AI هزینه ۶۷۰ هزار دلار بیشتری نسبت به نفوذهای مشابه دارند. زمانی که هیچکس نداند کدام مدلها کجا در حال اجرا هستند، پاسخگویی به حوادث بهطور کامل دچار اختلال میشود.
دستورالعمل اجرایی شماره ۱۴۰۲۸ (۲۰۲۱) و یادداشت OMB M-22-18 (۲۰۲۲) الزام به SBOM برای فروشندگان فدرال دارند. چارچوب مدیریت ریسک هوش مصنوعی NIST که در سال ۲۰۲۳ منتشر شد، بهطور صریح خواستار AI-BOM به عنوان بخشی از تابع «نگاشت» خود است و اذعان میکند که SBOMهای نرمافزاری سنتی خطرات خاص مدل را پوشش نمیدهند. وابستگیهای نرمافزاری در زمان ساخت تعیین شده و ثابت میمانند، در حالی که وابستگیهای مدل در زمان اجرا مشخص میشوند و اغلب وزنها را از نقاط پایانی HTTP بازیابی میکنند و بهطور مداوم از طریق آموزش مجدد، تصحیح انحراف و حلقههای بازخورد تغییر میکنند. آداپتورهای LoRA (Low-Rank Adaptation) وزنها را بدون کنترل نسخه اصلاح میکنند که ردیابی نسخه مدل در حال اجرا در محیط تولید را غیرممکن میسازد.
این موضوع برای تیمهای امنیتی اهمیت دارد: زمانی که فایلهای مدل با فرمت Pickle ذخیره میشوند، بارگذاری آنها مانند باز کردن یک پیوست ایمیل است که کد را روی کامپیوتر شما اجرا میکند – با این تفاوت که این فایلها به طور پیشفرض در سیستمهای تولید مورد اعتماد قرار میگیرند. مدلی از PyTorch که به این صورت ذخیره شده است، بایتکد پایتون سریالشدهای است که باید بهطور غیرسریال (deserialized) و اجرا شود تا بارگذاری شود. هنگامی که torch.load() اجرا میشود، دستورات Pickle به ترتیب اجرا میشوند و هر فراخوانی موجود در جریان فعال میشود. اینها معمولاً شامل os.system()، اتصالات شبکه و پوستههای معکوس هستند.
SafeTensors یک فرمت جایگزین است که فقط دادههای تنسور عددی را ذخیره میکند و کد اجرایی ندارد، که خطرات ذاتی Pickle را برطرف میکند. با این حال، مهاجرت به SafeTensors مستلزم بازنویسی توابع بارگذاری، اعتبارسنجی مجدد دقت مدل و در دسترس نبودن دسترسی به مدلهای قدیمی است که در آن کد آموزش اصلی دیگر وجود ندارد. این یکی از دلایل اصلی مقاومت در برابر پذیرش این فرمت است.
فایلهای مدل اشیاء منفعل نیستند – آنها نقاط ورود زنجیره تأمین هستند.
استانداردها وجود دارند و سالهاست که به کار گرفته شدهاند، اما میزان پذیرش هنوز هم پایین است. CycloneDX 1.6 از پشتیبانی ML-BOM در آوریل ۲۰۲۴ اضافه شد. SPDX 3.0 منتشر شده در آوریل ۲۰۲۴ شامل پروفایلهای هوش مصنوعی بود. ML-BOMها مکمل چارچوبهای مستندسازی مانند Model Cards و Datasheets for Datasets هستند که بر ویژگیهای عملکردی و اخلاق آموزش دادهها تمرکز دارند، اما اولویتبندی ردیابی منشاء زنجیره تأمین را ندارند. VentureBeat همچنان مشاهده میکند که میزان پذیرش به طور قابل توجهی کمتر از سرعت رشد این حوزه است.
یک نظرسنجی در ژوئن ۲۰۲۵ توسط Lineaje نشان داد که ۴۸ درصد از متخصصان امنیت اذعان میکنند سازمانهای آنها در حال عقبماندگی از الزامات SBOM هستند. پذیرش ML-BOM به طور قابل توجهی کمتر است.
نتیجه این است: ابزارها وجود دارند. آنچه کم است، اولویت و فوریت عملیاتی.
زیستبوم ابزارهای ML-BOM در حال تکامل سریع است، اما هنوز به سطح SBOM نرمافزاری نرسیده است. ابزارهایی مانند Syft و Trivy میتوانند موجودی کامل نرمافزار را در عرض چند دقیقه تولید کنند. ابزارهای ML-BOM در این منحنی در مراحل اولیه قرار دارند. فروشندگان راه حل ارائه میدهند، اما ادغام و خودکارسازی هنوز نیاز به گامهای اضافی و تلاش بیشتری دارد. سازمانهایی که اکنون شروع میکنند ممکن است برای پر کردن شکافها به فرآیندهای دستی نیاز داشته باشند.
گزارش زنجیره تامین نرمافزاری JFrog در سال ۲۰۲۵ نشان داد که بیش از ۱ میلیون مدل جدید وارد Hugging Face شدهاند. این میزان نشاندهنده افزایش ۶٫۵ برابری مدلهای مخرب است. تا آوریل ۲۰۲۵، اسکن Protect AI از ۴٫۴۷ میلیون نسخه مدل، ۳۵۲۰۰۰ مشکل ناامن یا مشکوک را در ۵۱۷۰۰ مدل شناسایی کرد. سطح حمله سریعتر از توانایی هر کسی برای نظارت بر آن گسترش یافت.
در اوایل سال ۲۰۲۵، ReversingLabs مدلهای مخرب با استفاده از تکنیکهای فرار «nullifAI» کشف کرد که تشخیص Picklescan را دور میزدند. Hugging Face در عرض ۲۴ ساعت مدلها را حذف و Picklescan را برای شناسایی تکنیکهای فرار مشابه بهروزرسانی کرد و نشان داد که امنیت پلتفرم در حال بهبود است، حتی با افزایش پیچیدگی مهاجمان.
یوآو لندمن، مدیر ارشد فناوری اطلاعات و یکی از بنیانگذاران JFrog میگوید: «سازمانها به طور مشتاقانه از مدلهای عمومی ML برای تسریع نوآوری استفاده میکنند. با این حال، بیش از یک سوم هنوز بر اساس تلاشهای دستی برای مدیریت دسترسی به مدلهای امن و تأیید شده تکیه دارند که میتواند منجر به غفلت احتمالی شود.»
شکاف بین ساعتها و هفتهها در پاسخگویی به حوادث زنجیره تامین هوش مصنوعی، به آمادگی بستگی دارد. سازمانهایی که دید کافی قبل از وقوع نفوذ را ایجاد کردهاند، اطلاعات لازم برای واکنش با دقت و سرعت بیشتری دارند. در غیر این صورت، آنها دچار سردرگمی میشوند. هیچکدام از موارد زیر نیازمند بودجه جدید نیست – فقط تصمیمی است برای جدی گرفتن حاکمیت مدل هوش مصنوعی همانطور که امنیت زنجیره تأمین نرمافزار را جدی میگیریم.
تمام تلاش خود را در استفاده از تکنیکهای پیشرفته برای مدیریت و هدایت هوش مصنوعی سایهای به برنامهها، ابزارها و پلتفرمهایی که امن هستند، متمرکز کنید. همه دپارتمانها را مورد بررسی قرار دهید. کلیدهای API را در متغیرهای محیطی بررسی کنید. درک این نکته ضروری است که تیمهای حسابداری، مالی و مشاورهای ممکن است برنامههای هوش مصنوعی پیشرفتهای با چندین API داشته باشند که مستقیماً به دادههای اختصاصی شرکت متصل شدهاند و از آنها استفاده میکنند. شکاف دید ۶۲ درصدی وجود دارد زیرا کسی این موضوع را بررسی نکرده است.
برای مدلهای تولید، تأیید انسانی را الزامی کنید و گردش کارهای «انسان در میان» (human-in-the-middle) را طراحی کنید. هر مدلی که به دادههای مشتری دسترسی دارد، باید صاحب نامدار، هدف مستند شده و سابقه ممیزی نشان دهد تا چه کسی استقرار آن را تأیید کرده است. همانطور که تیمهای قرمز در Anthropic، OpenAI و سایر شرکتهای هوش مصنوعی انجام میدهند، فرآیندهای تأیید انسان در میان را برای هر انتشار مدل طراحی کنید.
استفاده از SafeTensors را برای استقرار جدید الزامی در نظر بگیرید. تغییرات سیاستی هزینهای ندارد. SafeTensors فقط دادههای تنسور عددی و بدون اجرای کد ذخیره میکند.»
📌 توجه: این مطلب از منابع بینالمللی ترجمه و بازنویسی شده است.