امنیت هوش مصنوعی مولد: نگاهی به Prompt Security

ونچر بیت اخیراً در گفتگویی مجازی با ایتامر گالان، بنیان‌گذار و مدیرعامل Prompt Security، چالش‌های امنیتی مرتبط با هوش مصنوعی مولد (GenAI) را بررسی کرد. این گفتگو شامل بحث‌هایی درباره‌ی گسترش سایه AI (Shadow AI)، تصمیمات استراتژیک پشت ساخت یک پلتفرم پیشرو در بازار به جای رقابت بر سر ویژگی‌ها و همچنین یک مورد واقعی که ضرورت حفاظت از برنامه‌های مبتنی بر هوش مصنوعی را برجسته کرده است.

گالان، با اشاره به سابقه تحصیلی خود در زمینه معماری ترانسفورمرها (Transformer Architectures) قبل از اینکه به مبنای مدل‌های زبانی بزرگ امروزی تبدیل شوند، تاکید کرد که تجربه او در ساخت اولین ویژگی امنیتی مبتنی بر هوش مصنوعی مولد با استفاده از GPT-2 و GPT-3 نشان داد که برنامه‌های کاربردی مبتنی بر LLM ها یک سطح حمله (Attack Surface) کاملاً جدید ایجاد می‌کنند. این آگاهی منجر به تاسیس Prompt Security در اگوست 2023 شد تا به سازمان‌ها کمک کند تا نوآوری‌های هوش مصنوعی را به‌طور امن پیاده‌سازی کنند.

جلوگیری از نشت اطلاعات و حفاظت از مدل

در تحلیل وضعیت بازار، گالان اشاره کرد که بر اساس تحقیقات VentureBeat، هزینه نقض امنیت به دلیل سایه AI برای شرکت‌ها 4.63 میلیون دلار است که 16 درصد بالاتر از میانگین است. با این حال، 97 درصد سازمان‌های در معرض خطر، فاقد کنترل‌های اولیه دسترسی به هوش مصنوعی هستند. این آمارها نشان می‌دهند که مدیریت ریسک و حفاظت از داده‌ها حیاتی‌تر از پیش شده‌اند.

Prompt Security برای حل این چالش‌ها طراحی شد تا طیف گسترده‌ای از موارد استفاده را پوشش دهد، فراتر از صرفاً حفاظت در برابر تزریق دستورات (Prompt Injection). هدف اصلی، فراهم کردن دید کلی و کنترل بر نحوه تعامل کاربران، عوامل هوشمند و برنامه‌ها با مدل‌های زبانی بزرگ بود. یکی از مهم‌ترین نقاط عطف برای مشتریان Prompt Security کشف حجم عظیمی از ابزارهای AI مورد استفاده کارکنان آن‌ها بود که اغلب خارج از دید IT قرار داشتند.

همچنین، قابلیت پاک‌سازی خودکار اطلاعات حساس در پرامپت‌ها قبل از ارسال به مدل‌های خارجی، تعادلی بین امنیت و بهره‌وری ایجاد کرد. این امکان باعث شد که کاربران بتوانند به‌طور مسئولانه با AI کار کنند، در حالی که تیم امنیتی اطمینان حاصل می‌کند که هیچ داده حساسی نشت نمی‌کند.

تصمیمات استراتژیک برای رشد

گالان تاکید کرد که سرعت رشد Prompt Security مدیون چند تصمیم استراتژیک کلیدی بود: اول، تمرکز بر ایجاد یک دسته (Category) جدید به جای رقابت در ویژگی‌ها. این رویکرد باعث شد تا Prompt Security بتواند در سطح CISO حضور داشته باشد و قیمت‌گذاری پلتفرمی را ارائه دهد.

دوم، پذیرش پیچیدگی‌های محیط‌های سازمانی از همان ابتدا. این تصمیم به Prompt Security اجازه داد آمادگی بیشتری برای استقرار در مقیاس بزرگ نسبت به رقبای خود داشته باشد و محصولی تولید کند که واقعاً منعکس‌کننده نیازهای سازمان‌ها بود.

سوم، اولویت دادن به همکاری عمیق با تعداد محدودی از مشتریان کلیدی. این مشتریان نه تنها محصول را خریداری کردند، بلکه در شکل‌دهی آن نیز نقش داشتند و لایه‌ای از محافظت ایجاد کردند که از طریق بازاریابی قابل دستیابی نبود.

آموزش بازار

در مراحل اولیه فعالیت، Prompt Security نقش مهمی در آموزش بازار ایفا کرد، زیرا بسیاری از مدیران ارشد فناوری اطلاعات (CISOs) هنوز با ماهیت تهدیدات هوش مصنوعی آشنا نبودند. این امر مستلزم تغییر مداوم روش‌های ارتباطی و بازاریابی بود تا آگاهی را افزایش داده و ارزش پیشنهادی Prompt Security را به طور موثر منتقل کرد.

📖 مشاهده مطلب اصلی

📌 توجه: این مطلب از منابع بین‌المللی ترجمه و بازنویسی شده است.