هوش مصنوعی برای امنیت اینجاست. اکنون ما به امنیت برای هوش مصنوعی نیاز داریم

پس از انتشار ChatGPT، هوش مصنوعی (AI)، یادگیری ماشین (ML) و مدل‌های زبان بزرگ (LLM) به موضوع شماره یک بحث برای متخصصان امنیت سایبری، فروشندگان و سرمایه‌گذاران تبدیل شده‌اند. این تعجبی ندارد. همانطور که مارک آندرسن یک دهه پیش اشاره کرد، نرم افزار در حال خوردن جهان است و هوش مصنوعی شروع به خوردن نرم افزار کرده است.

علیرغم تمام توجهی که هوش مصنوعی در این صنعت به خود جلب کرده است، اکثریت قریب به اتفاق بحث ها بر این موضوع متمرکز شده است که چگونه پیشرفت های هوش مصنوعی بر قابلیت های امنیتی دفاعی و تهاجمی تأثیر می گذارد. چیزی که زیاد مورد بحث قرار نمی گیرد این است که چگونه بار کاری هوش مصنوعی را ایمن می کنیم.

در طی چند ماه گذشته، شاهد هستیم که بسیاری از فروشندگان امنیت سایبری محصولاتی را با هوش مصنوعی راه اندازی کرده اند، مانند Microsoft Security Copilot، ChatGPT را به پیشنهادات موجود القا کرده اند یا حتی موقعیت یابی را به طور کلی تغییر داده اند، مانند نحوه تبدیل شدن ShiftLeft به هوش مصنوعی Qwiet. من پیش بینی می کنم که همچنان شاهد سیل انتشارات مطبوعاتی از سوی ده ها و حتی صدها فروشنده امنیتی باشیم که محصولات جدید هوش مصنوعی را راه اندازی می کنند. واضح است که هوش مصنوعی برای امنیت اینجاست.

نگاهی کوتاه به بردارهای حمله سیستم های هوش مصنوعی

ایمن‌سازی سیستم‌های هوش مصنوعی و ML دشوار است، زیرا آنها دو نوع آسیب‌پذیری دارند: آسیب‌پذیری‌هایی که در انواع دیگر برنامه‌های نرم‌افزاری رایج هستند و آسیب‌پذیری‌هایی که منحصر به AI/ML هستند.

ابتدا، بیایید بدیهیات را از سر راه برداریم: کدی که هوش مصنوعی و ML را تقویت می کند، به اندازه کدهایی که هر نرم افزار دیگری را اجرا می کند، دارای آسیب پذیری است. برای چندین دهه، شاهد بوده ایم که مهاجمان کاملاً قادر به یافتن و سوء استفاده از شکاف های کد برای رسیدن به اهداف خود هستند. این موضوع یک موضوع گسترده از امنیت کد را مطرح می کند، که تمام بحث های مربوط به تست امنیت نرم افزار، تغییر به چپ، امنیت زنجیره تامین و موارد مشابه را در بر می گیرد.

از آنجایی که سیستم‌های هوش مصنوعی و ML برای تولید خروجی‌ها پس از دریافت و تجزیه و تحلیل مقادیر زیادی از داده‌ها طراحی شده‌اند، چندین چالش منحصر به فرد در ایمن سازی آنها در انواع دیگر سیستم‌ها دیده نمی‌شود. MIT Sloan این چالش‌ها را با سازماندهی آسیب‌پذیری‌های مرتبط در پنج دسته خلاصه کرد: ریسک‌های داده، ریسک‌های نرم‌افزاری، خطرات ارتباطات، ریسک‌های عامل انسانی و ریسک‌های سیستم.

برخی از خطراتی که ارزش برجسته کردن دارند عبارتند از:

• حملات مسمومیت و دستکاری داده ها. مسمومیت داده زمانی اتفاق می افتد که مهاجمان داده های خام مورد استفاده توسط مدل AI/ML را دستکاری کنند. یکی از مهم‌ترین مسائل مربوط به دستکاری داده‌ها این است که مدل‌های AI/ML را نمی‌توان به راحتی پس از شناسایی ورودی‌های اشتباه تغییر داد.
• حملات افشای مدل زمانی اتفاق می‌افتد که یک مهاجم ورودی‌های طراحی‌شده با دقت ارائه می‌دهد و خروجی‌های حاصل از الگوریتم را مشاهده می‌کند.
• دزدیدن مدل ها پس از آموزش. انجام این کار می تواند مهاجمان را قادر می سازد تا داده های حساسی را که برای آموزش مدل استفاده شده است، به دست آورند، از خود مدل برای سود مالی استفاده کنند یا بر تصمیمات آن تأثیر بگذارند. برای مثال، اگر یک بازیگر بد بداند وقتی چیزی به عنوان رفتار مخرب پرچم‌گذاری می‌شود، چه عواملی در نظر گرفته می‌شود، می‌تواند راهی برای اجتناب از این نشانگرها و دور زدن یک ابزار امنیتی که از مدل استفاده می‌کند، بیابد.
• مدل حملات مسمومیت دستکاری در الگوریتم های زیربنایی می تواند این امکان را برای مهاجمان ایجاد کند که بر تصمیمات الگوریتم تأثیر بگذارند.

در دنیایی که تصمیمات در زمان واقعی اتخاذ و اجرا می‌شوند، تأثیر حملات بر روی الگوریتم می‌تواند منجر به عواقب فاجعه‌باری شود. نمونه‌ای از آن داستان Knight Capital است که به دلیل اشکال در الگوریتم معاملات فرکانس بالا این شرکت، 460 میلیون دلار در 45 دقیقه از دست داد. این شرکت در آستانه ورشکستگی قرار گرفت و مدت کوتاهی پس از آن توسط رقیب خود خریداری شد. اگرچه در این مورد خاص، این موضوع به هیچ رفتار خصمانه ای مربوط نمی شد، این یک تصویر عالی از تأثیر بالقوه یک خطا در یک الگوریتم است.

چشم انداز امنیتی هوش مصنوعی

از آنجایی که پذیرش و کاربرد انبوه هوش مصنوعی هنوز نسبتاً جدید است، امنیت هوش مصنوعی هنوز به خوبی درک نشده است. در مارس 2023، آژانس امنیت سایبری اتحادیه اروپا (ENISA) سندی را با عنوان امنیت سایبری هوش مصنوعی و استانداردسازی با هدف ارائه یک نمای کلی از استانداردهای (موجود، در حال تهیه، در دست بررسی و برنامه ریزی) مرتبط با امنیت سایبری هوش مصنوعی منتشر کرد. پوشش آنها را ارزیابی کرده و شکاف ها را در استانداردسازی شناسایی کنید. از آنجایی که اتحادیه اروپا انطباق را دوست دارد، تمرکز این سند بر روی استانداردها و مقررات است، نه توصیه های عملی برای رهبران و دست اندرکاران امنیتی.

در مورد مشکل امنیت هوش مصنوعی آنلاین مطالب زیادی وجود دارد، اگرچه در مقایسه با موضوع استفاده از هوش مصنوعی برای دفاع و حمله سایبری به طور قابل توجهی کمتر به نظر می رسد. بسیاری ممکن است استدلال کنند که امنیت هوش مصنوعی را می توان با همکاری افراد و ابزارها از چندین رشته از جمله داده ها، نرم افزارها و امنیت ابری با یکدیگر حل کرد، اما دلیل محکمی برای یک تخصص متمایز وجود دارد.

وقتی صحبت از چشم انداز فروشنده به میان می آید، من امنیت AI/ML را به عنوان یک زمینه در حال ظهور دسته بندی می کنم. خلاصه ای که در ادامه می آید مروری کوتاه بر فروشندگان در این فضا دارد. توجه داشته باشید که:

• نمودار فقط شامل فروشندگان در امنیت مدل AI/ML می شود. سایر بازیگران مهم در زمینه هایی که به امنیت هوش مصنوعی کمک می کنند مانند رمزگذاری، داده ها یا امنیت ابری را شامل نمی شود.
• این نمودار شرکت ها را در دو محور ترسیم می کند: سرمایه جذب شده و پیروان لینکدین. قابل درک است که فالوورهای لینکدین بهترین معیار برای مقایسه نیستند، اما هر معیار دیگری نیز ایده آل نیست.

اگرچه به طور قطع بنیانگذاران بیشتری وجود دارند که با این مشکل در حالت مخفی کاری مقابله می کنند، همچنین آشکار است که فضای امنیتی مدل AI/ML از اشباع دور است. از آنجایی که این فناوری‌های نوآورانه مورد استقبال گسترده قرار می‌گیرند، ناگزیر شاهد حملات و با آن تعداد فزاینده‌ای از کارآفرینانی خواهیم بود که به دنبال مقابله با این چالش دشوار هستند.

یادداشت های پایانی

در سال‌های آینده، شاهد تغییر شکل هوش مصنوعی و ML در نحوه عملکرد افراد، سازمان‌ها و کل صنایع خواهیم بود. هر بخش از زندگی ما – از قانون، تولید محتوا، بازاریابی، مراقبت های بهداشتی، مهندسی و عملیات فضایی – دستخوش تغییرات قابل توجهی خواهد شد. با این حال، تأثیر واقعی و میزان بهره مندی ما از پیشرفت‌های AI/ML به این بستگی دارد که ما به عنوان یک جامعه چگونه جنبه‌هایی را که مستقیماً تحت تأثیر این فناوری قرار می‌گیرند، از جمله اخلاق، قانون، مالکیت معنوی و موارد مشابه انتخاب می‌کنیم. با این حال، مسلماً یکی از مهم‌ترین بخش‌ها، توانایی ما برای محافظت از داده‌ها، الگوریتم‌ها و نرم‌افزارهایی است که هوش مصنوعی و ML روی آن‌ها اجرا می‌شوند.

در دنیایی که از هوش مصنوعی بهره می‌برد، هر رفتار غیرمنتظره‌ای از الگوریتم که داده‌های زیربنایی یا سیستم‌هایی را که روی آن‌ها اجرا می‌شوند به خطر بیاندازد، پیامدهای واقعی خواهد داشت. تأثیر دنیای واقعی سیستم‌های هوش مصنوعی به خطر افتاده می‌تواند فاجعه‌بار باشد: بیماری‌های اشتباه تشخیص داده شده منجر به تصمیم‌گیری‌های پزشکی که نمی‌توان آنها را لغو کرد، سقوط بازارهای مالی و تصادفات اتومبیل، به نام چند مورد.

اگرچه بسیاری از ما تخیلات عالی داریم، اما هنوز نمی‌توانیم طیف وسیعی از راه‌هایی را که می‌توانیم تحت تأثیر قرار بگیریم، به طور کامل درک کنیم. از امروز، به نظر نمی رسد که هیچ خبری در مورد هک AI/ML پیدا کنید. ممکن است به این دلیل باشد که هیچ موردی وجود ندارد، یا به احتمال زیاد به این دلیل است که هنوز شناسایی نشده است. این به زودی تغییر خواهد کرد.

با وجود خطر، من معتقدم آینده می تواند روشن باشد. هنگامی که زیرساخت اینترنت ساخته شد، امنیت یک فکر بعدی بود، زیرا در آن زمان، ما هیچ تجربه ای در طراحی سیستم های دیجیتال در مقیاس سیاره ای نداشتیم یا هیچ ایده ای در مورد اینکه آینده ممکن است چگونه باشد، نداشتیم.

امروز، ما در مکان بسیار متفاوتی هستیم. اگرچه استعداد امنیتی کافی وجود ندارد، اما درک محکمی وجود دارد که امنیت بسیار مهم است و ایده مناسبی از اینکه اصول اساسی امنیت چگونه به نظر می رسد وجود دارد. این، همراه با این واقعیت که بسیاری از نوآوران باهوش صنعت برای ایمن سازی هوش مصنوعی تلاش می کنند، به ما فرصتی می دهد تا اشتباهات گذشته را تکرار نکنیم و این فناوری جدید را بر پایه ای محکم و مطمئن بسازیم.

آیا از این فرصت استفاده خواهیم کرد؟ فقط زمان می تواند بگوید. در حال حاضر، من کنجکاو هستم که چه نوع جدیدی از مشکلات امنیتی را هوش مصنوعی و ML به ارمغان خواهد آورد و در نتیجه چه نوع راه حل های جدیدی در صنعت پدیدار خواهد شد.

راس هالیوک یک رهبر محصولات امنیت سایبری، رئیس محصولات LimaCharlie و نویسنده Venture است. در امنیت.