پروژه امنیت نرم‌افزاری تحت وب (OWASP) لیستی از 10 آسیب‌پذیری حیاتی که اغلب در برنامه‌های پردازش زبان طبیعی در مقیاس بزرگ (large language model  = LLM) دیده می‌شوند را منتشر کرده است. OWASP در این لیست، بر تأثیر بالقوه، سهولت بهره‌برداری و فراگیری این آسیب‌پذیری‌ها تاکید نموده است. نمونه‌هایی از آسیب‌پذیری‌ها عبارتند از تزریق بلادرنگ، نشت داده‌ها، سندباکسینگ ناکارآمد، و اجرای غیرمجاز کد. OWASP بیان داشت که این فهرست با هدف آموزش توسعه دهندگان، طراحان، معماران، مدیران و سازمان‌ها پیرامون این موارد منتشر شده است: ریسک‌های امنیتی بالقوه در زمان استقرار و مدیریت LLM‌ها، افزایش آگاهی از آسیب‌پذیری‌ها، پیشنهاد استراتژی‌های اصلاحی و بهبود وضعیت امنیتی برنامه‌های کاربردی LLM .
پیدایش رابط‌های چت هوش مصنوعی مولد ساخته شده بر روی  LLMها و تأثیر آن‌ها بر امنیت سایبری یک بحث مهم است. نگرانی‌ها در مورد خطرساز شدن این فناوری‌های جدید بسیار زیاد است؛ از مسائل بالقوه اشتراک‌گذاری اطلاعات حساس تجاری با الگوریتم‌های خودآموز پیشرفته گرفته تا عوامل مخربی که از این اطلاعات برای افزایش قابل توجه حملات استفاده می‌کنند. برخی کشورها، ایالت‌های آمریکا و شرکت‌ها در حال بررسی یا ممنوع نمودن استفاده از فناوری هوش مصنوعی مولد مانند ChatGPT در زمینه امنیت داده‌ها، حفاظت و زمینه‌های حفظ حریم خصوصی هستند.
طبق گفته OWASP، در اینجا 10 آسیب‌پذیری اصلی که برروی برنامه‌های LLM تأثیر می‌گذارد، آورده شده است.

• تزریق‌های بلادرنگ
  OWASP  نوشت: تزریق‌های بلادرنگ شامل دور زدن فیلترها یا دستکاری LLM با استفاده از اعلان‌های دقیق ساخته شده است. این تزریق‌ها باعث می‌شوند که مدل، دستورالعمل‌های قبلی را نادیده بگیرد یا اقدامات ناخواسته انجام دهد. این آسیب‌پذیری‌ها می‌توانند منجر به عواقب ناخواسته از جمله نشت داده‌ها، دسترسی غیرمجاز، یا سایر نقض‌های امنیتی شوند. آسیب‌پذیری‌های رایج تزریق بلادرنگ شامل این موارد است: دور زدن فیلترها یا محدودیت‌ها با استفاده از الگوها یا توکن‌های خاص، بهره‌برداری از نقاط ضعف در مکانیسم‌های توکنیزه کردن  یا رمزنگاری  LLM و گمراه کردن LLM برای انجام اقدامات ناخواسته، به وسیله ارائه متن گمراه‌کننده.
  OWASP  عنوان کرد، یک مثال از سناریوی حمله، دور زدن فیلتر محتوایی توسط کاربر مخرب است. کاربر مخرب این کار را با استفاده از الگوهای خاص زبانی، نشانه‌ها یا مکانیسم‌های رمزگذاری انجام می‌دهد. در نتیجه LLM نمی‌تواند آن‌ها را به عنوان محتوای محدود شده تشخیص دهد و به کاربر اجازه می‌دهد تا اقداماتی که باید مسدود می‌شدند را انجام دهد.
  اقدامات پیشگیرانه برای این آسیب‌پذیری عبارتند از:

•  برای درخواست‌های ارائه‌شده توسط کاربر، اعتبارسنجی و پاک‌سازی دقیق ورودی را اجرا کنید.
•  برای جلوگیری از دستکاری بلادرنگ، از فیلتر context-aware و رمزنگاری خروجی استفاده کنید.
• به طور منظم LLM را به روز رسانی و تنظیم دقیق کنید تا درک آن از ورودی‌های مخرب بهبود یابد.

 2    نشت داده‌ها
نشت داده زمانی رخ می‌دهد که یک LLM به طور تصادفی اطلاعات حساس، الگوریتم‌های اختصاصی یا سایر جزئیات محرمانه را از طریق پاسخ‌های خود افشا کند. OWASP گفت: این مساله می‌تواند منجر به دسترسی غیرمجاز به داده‌های حساس یا مالکیت معنوی، نقض حریم خصوصی و سایر نقض‌های امنیتی شود.
آسیب‌پذیری‌های رایج نشت داده‌ها عبارتند از: فیلتر ناقص یا نادرست اطلاعات حساس در پاسخ‌های LLM، انطباق مازاد / به خاطرسپاری،  داده‌های حساس در فرآیند آموزشی LLM و افشای ناخواسته اطلاعات محرمانه به دلیل تفسیر نادرست یا خطاهای. LLM
مهاجم می‌تواند عمداً LLM را با اعلان‌هایی که به دقت ساخته شده‌اند، بررسی کند و سعی کند اطلاعات حساسی را که LLM از داده‌های آموزشی خود حفظ کرده است استخراج کند. یا این‌که یک کاربر قانونی می‌تواند سهواً از LLM سؤالی بپرسد که اطلاعات حساس/محرمانه را افشا کند.
اقدامات پیشگیرانه برای نشت داده‌ها عبارتند از:

• برای جلوگیری از افشای اطلاعات حساس توسط  LLM، فیلترینگ خروجی دقیق و مکانیزم‌های context-aware  را اجرا کنید.
• از تکنیک‌های حریم خصوصی متمایز یا سایر روش‌های ناشناس‌سازی داده‌ها در طول فرآیند آموزش LLM استفاده کنید تا خطر انطباق مازاد یا به خاطرسپاری را کاهش دهید.
• به طور منظم پاسخ‌های LLM را بررسی و بازبینی کنید تا اطمینان حاصل شود که اطلاعات حساس به طور سهوی افشا نمی‌شوند.

  3    سندباکس ناکارآمد 
اگر یک LLM در زمان دسترسی به منابع خارجی یا سیستم‌های حساس، به درستی ایزوله نشده باشد، سندباکس ناکارآمد می‌تواند منجر به بهره‌برداری بالقوه، دسترسی غیرمجاز، یا اقدامات ناخواسته LLM شود. به گفته OSWAP ، آسیب‌پذیری‌های سندباکس ناکارآمد عبارتند از: جداسازی ناکارآمد محیط LLM از سایر سیستم‌های حیاتی یا ذخیره‌سازهای داده، محدودیت‌های نامناسبی که به LLM اجازه دسترسی به منابع حساس را می‌دهند و LLMهایی که اقدامات در سطح سیستم را انجام می‌دهند و با سایر فرآیندها در تعامل هستند.
مثالی از حمله می‌تواند یک عامل مخربی باشد که به وسیله ایجاد دستورهایی که به LLM می‌دهد از دسترسی LLM به یک پایگاه‌داده حساس بهره‌برداری می‌کند و اطلاعات محرمانه را استخراج و افشا می‌کند. اقدامات پیشگیرانه عبارتند از:

• جداسازی محیط LLM را از سایر سیستم‌ها و منابع حیاتی.
• محدود کردن دسترسی LLM به منابع حساس و محدود کردن قابلیت‌های آن به حداقل مورد نیاز، برای اهداف از پیش تعیین شده.
• بررسی و بازبینی منظم محیط LLM و کنترل‌های دسترسی، برای اطمینان از تداوم ایزوله‌سازی مناسب.

 4    اجرای کد غیرمجاز
اجرای کد غیرمجاز زمانی اتفاق می‌افتد که مهاجم برای اجرای کدها، دستورات یا اقدامات مخرب در سیستم زیربنایی از طریق اعلان‌های زبان طبیعی، از یک LLM بهره‌برداری کند. آسیب‌پذیری‌های رایج شامل ورودی‌های کاربری پاکسازی نشده یا محدود نشده‌اند؛ این آسیب‌پذیری‌ها به مهاجمان اجازه می‌دهند تا اعلان‌هایی ایجاد کنند که سبب اجرای کدهای غیرمجاز، محدودیت‌های ناکارآمد در قابلیت‌های LLM و افشای ناخواسته عملکردها یا رابط‌های سطح سیستم در LLM شوند.
OWASP  دو مثال از حمله را ذکر کرد: مهاجمی که اعلانی را ایجاد می‌کند که به LLM دستور می‌دهد که فرمانی را اجرا کند که یک پوسته معکوس را روی سیستم زیربنایی راه‌اندازی می‌کند. این کار به مهاجم دسترسی غیرمجاز می‌دهد و LLM به طور ناخواسته اجازه می‌یابد با یک API سطح سیستم تعامل داشته باشد. در واقع مهاجم این API را برای اجرای اقدامات غیرمجاز در سیستم دستکاری می‌کند.
تیم‌ها می‌توانند با این اقدامات به جلوگیری از اجرای کدهای غیرمجاز کمک کنند:

• برای جلوگیری از پردازش اعلان‌های مخرب یا غیرمنتظره توسط LLM، فرآیندهای اعتبارسنجی و پاکسازی دقیق ورودی را اجرا کنید.
• از سندباکسینگ مناسب اطمینان حاصل کنید و قابلیت‌های LLM را برای منحصر کردن توانایی آن در تعامل با سیستم زیربنایی محدود کنید.

 5    آسیب‌پذیری‌های جعل درخواست سمت سرور
آسیب‌پذیری‌های جعل درخواست سمت سرور  (SSRF) زمانی رخ می‌دهند که مهاجم از یک LLM برای انجام درخواست‌های ناخواسته یا دسترسی به منابع محدود شده مانند سرویس‌های داخلی، APIها یا ذخیره‌سازهای داده سوءاستفاده می‌کند. آسیب‌پذیری‌های رایج SSRF عبارتند از: اعتبارسنجی ناکارآمد ورودی، اجازه دادن به مهاجمان برای دستکاری اعلان‌های LLM برای شروع درخواست‌های غیرمجاز و پیکربندی‌های نادرست در تنظیمات امنیتی شبکه یا برنامه و  قرار دادن منابع داخلی در معرض LLM.
برای اجرای حمله، مهاجم می‌تواند یک اعلان ایجاد کند که به LLM دستور بدهد تا از یک سرویس داخلی درخواست کند، کنترل‌های دسترسی را دور بزند و به صورت غیرمجاز به اطلاعات حساس دسترسی یابد. مهاجمان هم‌چنین می‌توانند از یک پیکربندی نادرست در تنظیمات امنیتی برنامه سوءاستفاده کنند که به LLM اجازه می‌دهد با یک API محدود شده تعامل داشته باشد، به داده‌های حساس دسترسی پیدا کند یا آن اطلاعات را تغییر دهد.

 6    اتکای بیش از حد به محتوای تولید شده توسط LLM
به گفته OSAWP ، اتکای بیش از حد به محتوای تولید شده توسط LLM  می‌تواند منجر به انتشار اطلاعات گمراه‌کننده یا نادرست، کاهش ورودی انسانی در تصمیم‌گیری و کاهش تفکر انتقادی شود. سازمان‌ها و کاربران ممکن است بدون تأییدیه، به محتوای تولید شده توسط LLM اعتماد کنند؛ که این اعتماد منجر به خطاها، ارتباطات نادرست یا پیامدهای ناخواسته می‌شود. مسائل رایج مربوط به اتکای بیش از حد به محتوای تولید شده توسط LLM شامل این موارد است: پذیرش محتوای تولید شده توسط LLM  به عنوان واقعیت و بدون تأییدیه، فرض اینکه محتوای تولید شده توسط LLM عاری از سوگیری یا اطلاعات نادرست است و تکیه بر محتوای تولید شده توسط LLM برای تصمیم‌گیری‌های حیاتی بدون دخالت یا نظارت انسانی.
به عنوان مثال، اگر یک شرکت برای تولید گزارش‌ها و تحلیل‌های امنیتی به یک LLM متکی باشد و LLM گزارشی حاوی داده‌های نادرست تولید کند و شرکت از آن برای اتخاذ تصمیمات امنیتی حیاتی استفاده کند، به دلیل اتکا به محتوای نادرست تولید شده توسط LLM می‌تواند عواقب قابل‌توجهی در پی داشته باشد.

7    همسویی ناکارآمد هوش مصنوعی
همسویی ناکارآمد هوش مصنوعی  زمانی رخ می‌دهد که اهداف و رفتار LLM با موارد استفاده مورد نظر مطابقت نداشته باشد و منجر به پیامدها یا آسیب‌پذیری‌های نامطلوب شود. از مسائل رایج همسویی ناکارآمد هوش‌مصنوعی می‌توان به این موارد اشاره کرد: اهداف تعریف نشده که منجر به اولویت‌بندی رفتارهای نامطلوب/مضر LLM می‌شوند، عملکردهای پاداش ناهماهنگ یا داده‌های آموزشی که رفتار ناخواسته مدل را خلق می‌کنند و آزمایش و اعتبار ناکارآمد رفتار LLM .
اگر یک LLM که برای کمک به وظایف مدیریت سیستم طراحی شده است، ناهماهنگ عمل کند، می‌تواند دستورات مضر را اجرا کند یا به اولویت‌بندی اقداماتی بپردازد که عملکرد یا امنیت سیستم را کاهش می‌دهد. تیم‌ها می‌توانند با این اقدامات از آسیب‌پذیری‌های همسویی ناکارآمد هوش‌مصنوعی جلوگیری کنند:

• اهداف و رفتار مورد نظر LLM را در طول فرآیند طراحی و توسعه تعریف کنید.
• اطمینان حاصل کنید که عملکردهای پاداش و داده‌های آموزشی با نتایج مورد نظر هماهنگ هستند و رفتارهای ناخواسته یا مضر را تقویت نمی‌کنند.
•  برای شناسایی و رسیدگی به مسائل همسویی، رفتار LLM را به طور منظم در طیف وسیعی از سناریوها، ورودی‌ها و زمینه‌ها آزمایش و تأیید کنید.

8     کنترل‌های دسترسی ناکارآمد
کنترل‌های دسترسی ناکارآمد  زمانی رخ می‌دهد که کنترل‌های دسترسی یا مکانیسم‌های احراز هویت به درستی پیاده‌سازی نمی‌شوند و به کاربر غیرمجاز اجازه می‌دهند تا با LLM تعامل داشته باشد و به طور بالقوه از آسیب‌پذیری‌ها سوء استفاده کند. عدم اجرای الزامات دقیق احرازهویت برای دسترسی به LLM، اجرای ناکارآمد کنترل دسترسی مبتنی بر نقش  (RBAC) که به کاربران اجازه می‌دهد اقداماتی فراتر از مجوزهای مورد نظر خود انجام دهند و عدم ارائه کنترل‌های دسترسی مناسب برای محتوا و اقدامات تولید شده توسط LLM ، همگی نمونه‌های رایجی از این آسیب‌پذیری هستند.
OWASP  عنوان کرد، یک مثال حمله، عامل مخربی است که به دلیل مکانیسم‌های احراز هویت ضعیف به یک LLM دسترسی غیرمجاز پیدا می‌کند و این مجوز به او داده می‌شود که از آسیب‌پذیری‌ها سوءاستفاده کند یا سیستم را دستکاری کند. اقدامات پیشگیرانه عبارتند از:

• مکانیزم‌های احراز هویت قوی، مانند احراز هویت چند عاملی  (MFA) را پیاده‌سازی کنید تا اطمینان حاصل کنید که فقط کاربران مجاز می‌توانند به LLM دسترسی داشته باشند.
• برای جلوگیری از دسترسی یا دستکاری غیرمجاز، برای محتوا و اقدامات ایجاد شده توسط LLM کنترل‌های دسترسی مناسب پیاده سازی کنید.

 9    مدیریت نادرست خطا
مدیریت نادرست خطا زمانی رخ می‌دهد که پیام‌های خطا یا اطلاعات دیباگ  به گونه‌ای در معرض دید قرار می‌گیرند که می‌توانند اطلاعات حساس، جزئیات سیستم یا بردارهای حمله احتمالی را برای یک عامل تهدید آشکار کنند. آسیب‌پذیری‌های رایج مدیریت خطا شامل این موارد است: افشای اطلاعات حساس یا جزئیات سیستم از طریق پیام‌های خطا، افشای اطلاعات دیباگ که می‌تواند به مهاجم کمک کند آسیب‌پذیری‌های بالقوه یا بردارهای حمله را شناسایی کند و ناتوانی در رسیدگی به خطاها که به طور بالقوه باعث رفتار غیرمنتظره یا خرابی های سیستم می‌شود.
به عنوان مثال، یک مهاجم می‌تواند از پیام‌های خطای LLM، به منظور جمع‌آوری اطلاعات حساس یا جزئیات سیستم سوءاستفاده کند که این امر او را قادر می‌سازد تا یک حمله هدفمند را انجام دهد یا از آسیب‌پذیری‌های شناخته شده سوء استفاده کند. به گفته OWASP، از طرف دیگر، یک توسعه‌دهنده می‌تواند به‌طور تصادفی اطلاعات دیباگ را در معرض استخراج قرار دهد. همین کار به مهاجم اجازه می‌دهد تا بردارهای حمله احتمالی یا آسیب‌پذیری‌ها را در سیستم شناسایی کند. چنین خطراتی را می‌توان با اقدامات زیر کاهش داد:

• برای اطمینان از کشف، ثبت و رسیدگی به خطاها، مکانیزم های مدیریت خطا را اجرا کنید.
• اطمینان حاصل کنید که پیام‌های خطا و اطلاعات دیباگ، اطلاعات حساس یا جزئیات سیستم را افشا نمی‌کنند. در حالی که اطلاعات دقیق خطا را برای توسعه دهندگان و مدیران ثبت می‌کنید، استفاده از پیام‌های خطای عمومی را نیز برای کاربران در نظر بگیرید.

10     مسمومیت اطلاعات آموزشی
مسمومیت اطلاعات آموزشی  زمانی است که مهاجم داده‌های آموزشی یا رویه‌های تنظیم دقیق یک LLM را دستکاری می‌کند. مهاجم این کار را به منظور معرفی آسیب‌پذیری‌ها، درب‌های پشتی یا سوگیری‌هایی که می‌توانند امنیت، اثربخشی یا رفتار اخلاقی مدل را به خطر بیندازند انجام می‌دهد. مسائل رایج مربوط به مسمومیت اطلاعات آموزشی شامل این موارد است: معرفی درب‌های پشتی یا آسیب‌پذیری‌ها به LLM از طریق اطلاعات آموزشی دستکاری شده و تزریق سوگیری‌ها به LLM، که باعث ایجاد پاسخ‌های غیرمنطقی یا نامناسب می‌شود.
این اقدامات می‌تواند به جلوگیری از این خطر کمک کند:

• با به دست آوردن اطلاعات آموزشی از منابع قابل اعتماد و تأیید کیفیت این اطلاعات، از یکپارچگی آن اطمینان حاصل کنید.
• برای حذف آسیب‌پذیری‌ها یا سوگیری‌های احتمالی از اطلاعات آموزشی، تکنیک‌های پاکسازی و پیش‌پردازش قوی داده‌ها را اجرا کنید.
• برای تشخیص رفتار غیرمعمول یا مسائل عملکردی در LLM، از مکانیسم‌های نظارت و هشدار، که به طور بالقوه نشان‌دهنده مسمومیت اطلاعات آموزشی است استفاده کنید.

توصیه‌های امنیتی

کارشناسان متفق القول هستند که رهبران/تیم‌های امنیتی و سازمان‌هایشان مسئول اطمینان از استفاده ایمن از رابط‌های چت هوش مصنوعی مولدی که از LLM استفاده می‌کنند هستند. یکی از تحلیلگران Gigamon، اخیراً به CSO گفت: «تیم‌های امنیتی و حقوقی باید برای یافتن بهترین مسیر رو به جلو برای سازمان‌های خود همکاری کنند تا بدون به خطر انداختن مالکیت معنوی یا امنیتی بتوانند از قابلیت‌های این فناوری‌ها استفاده کنند.«
Joshua Kaiser، مدیر اجرایی فناوری هوش مصنوعی و مدیر عامل Tovie AI اضافه کرد: ربات‌های چت مجهز به هوش مصنوعی به به‌روزرسانی‌های منظم نیاز دارند تا بتوانند در برابر تهدیدات، مؤثر بمانند و نظارت انسانی برای اطمینان از عملکرد صحیح LLM ضروری است. علاوه بر این، LLM ها برای ارائه پاسخ های دقیق و بررسی هر گونه مسائل امنیتی نیاز به درک متن محور دارند و باید به طور مرتب آزمایش و ارزیابی شوند تا نقاط ضعف یا آسیب‌پذیری‌های احتمالی آن‌ها شناسایی شود.