در حالی که گوشی‌های هوشمند قابلیت‌های بی‌سابقه‌ای را با استفاده از هوش مصنوعی به دست می‌آورند، شاهد تغییرات تحول‌آفرینی در تکنولوژی هستیم. با این حال، در حالی که هوش مصنوعی در زندگی روزمره ما ادغام می‌شود، هنوز با خطرات احتمالی و چگونگی مدیریت ایمن آن به‌طور کامل آشنا نیستیم. این تغییر با سرعت زیادی در حال پیشرفت است و راهی برای کند کردن یا متوقف کردن آن وجود ندارد.
این هفته، عرضه ابزارهای هوش مصنوعی جدید گوگل برای میلیون‌ها کاربر جیمیل نمونه‌ای واضح از این تغییر سریع است که به‌طور همزمان هم مزایا و هم چالش‌ها را نشان می‌دهد.
جنبه مثبت: ویژگی‌های پیشرفته هوش مصنوعی در جیمیل
گوگل اعلام کرده است که پاسخ‌های هوشمند مبتنی بر جمینای (Gemini)، که اولین بار در رویداد I/O اوایل امسال معرفی شد، اکنون در دستگاه‌های اندروید و iOS در دسترس است. این قابلیت «پاسخ‌های هوشمند مبتنی بر محتوا» قصد دارد با تجزیه و تحلیل محتوای کامل ایمیل‌ها، پاسخ‌های دقیق‌تر و قابل‌فهم‌تری ارائه دهد. به گفته گوگل، این ویژگی «پاسخ‌های دقیق‌تری را ارائه می‌دهد که قصد پیام شما را به‌طور کامل بیان می‌کند.»
با این حال، در حالی که این ویژگی باعث سهولت کار می‌شود، نگرانی‌های امنیتی و حریم خصوصی نیز ایجاد می‌کند. اجازه دادن به هوش مصنوعی برای خواندن کل مکالمات ایمیل یا حتی کل تاریخچه ایمیل، خطراتی امنیتی را به همراه دارد. این خطرات ممکن است با تفکیک بین پردازش در دستگاه و پردازش در فضای ابری و همچنین طراحی معماری‌های ایمن که پردازش ابری را به عنوان یک افزونه امن از دستگاه شما ارائه می‌دهد، کاهش یابد.
جنبه منفی: یک خطر امنیتی عمده
یک گزارش اخیر به مسئله جدی در استفاده از جمینای به عنوان یک ابزار بهره‌وری در گوگل ورک‌اسپیس اشاره می‌کند. این شامل توانایی جمینای در خواندن، خلاصه کردن و پاسخ دادن به ایمیل‌ها بدون دخالت مستقیم انسان است که خطر قابل‌توجهی از حملات تزریق غیرمستقیم دستورات را به همراه دارد.
محققان امنیت سایبری Hidden Layer هشدار می‌دهند که مهاجمان می‌توانند ایمیل‌های مخربی طراحی کنند که برای انسان نوشته نشده‌اند، بلکه برای سیستم‌های هوش مصنوعی طراحی شده‌اند تا آنها را خلاصه یا پاسخ دهند. این می‌تواند به حملات فیشینگ منجر شود که در داخل چت‌های هوش مصنوعی جاسازی شده و ممکن است کاربران را به اقدامات خطرناک فریب دهد.
همان‌طور که شرکت IBM توضیح می‌دهد، «تزریق دستورات نوعی حمله سایبری به مدل‌های زبان بزرگ (LLMs) است.» در این نوع حملات، هکرها ورودی‌های مخرب را به عنوان دستورات مشروع پنهان می‌کنند تا سیستم‌های هوش مصنوعی را برای افشای اطلاعات حساس یا انتشار اطلاعات نادرست به کار بگیرند. به عنوان مثال، یک مهاجم ممکن است یک ایمیل بی‌ضرر ارسال کند که دستورات مخفی در آن وجود داشته باشد تا دستیار هوش مصنوعی را وادار کند اطلاعات حساس را فوروارد کند یا هشدارهای فیشینگ نشان دهد.
پاسخ گوگل به این تهدیدات
گوگل این مسئله را تصدیق کرده، اما آن را به عنوان یک آسیب‌پذیری امنیتی دسته‌بندی نکرده است. طبق گزارش Hidden Layer، گوگل این آسیب‌پذیری تزریق دستورات را به عنوان «رفع نمی‌شود (رفتار مورد انتظار)» برچسب زده است.
با این حال، یک سخنگوی گوگل تأکید کرد که رسیدگی به این نوع حمله همچنان یک اولویت است. او اظهار داشت: «دفاع در برابر این نوع حملات برای ما همواره یک اولویت بوده است و ما اقدامات دفاعی قوی بسیاری را برای حفظ امنیت کاربران اعمال کرده‌ایم، از جمله تدابیری برای جلوگیری از حملات تزریق دستورات و پاسخ‌های مضر یا گمراه‌کننده. ما به‌طور مداوم دفاعیات قدرتمند خود را از طریق تمرینات red-teaming که مدل‌های ما را برای دفاع در برابر این نوع حملات آموزش می‌دهند، تقویت می‌کنیم.»
این آسیب‌پذیری محدود به جیمیل نیست و بر تمامی برنامه‌ها و ابزارهای بهره‌وری که با هوش مصنوعی یکپارچه شده‌اند تأثیر می‌گذارد. همان‌طور که پانل‌های جانبی هوش مصنوعی در برنامه‌های مختلف بیشتر می‌شوند، خطر حملات تزریق دستورات نیز افزایش خواهد یافت. این تهدیدات نمایانگر نسل بعدی حملات مهندسی اجتماعی هستند، جایی که هدف نه فقط افراد، بلکه نحوه تعامل ما با سیستم‌های هوش مصنوعی است.
Hidden Layer هشدار می‌دهد که در حالی که جمینای برای گوگل ورک‌اسپیس بسیار کاربردی و با محصولات مختلف گوگل یکپارچه است، آسیب‌پذیری آن در برابر تزریق دستورات غیرمستقیم به یک نگرانی عمده تبدیل می‌شود. تحت شرایط خاص، مهاجمان می‌توانند دستیار هوش مصنوعی را به تولید پاسخ‌های گمراه‌کننده وادار کنند یا از اسناد و ایمیل‌های مخرب برای سوءاستفاده از این سیستم بهره‌برداری کنند.
لزوم احتیاط بیشتر در هوش مصنوعی
خطرات حملات تزریق دستورات نشان می‌دهد که در حالی که ادغام هوش مصنوعی پتانسیل عظیمی به ارمغان می‌آورد، چالش‌های امنیتی پیچیده‌ای نیز به همراه دارد. موقعیت پیشرو گوگل به معنای این است که ابزارهای هوش مصنوعی آن سریع‌تر از هر پلتفرم دیگری به میلیون‌ها کاربر می‌رسند و این احتمالاً اولین میدان نبرد مهم در مقابله با این تهدیدات خواهد بود. با پیشرفت هوش مصنوعی، کاربران و شرکت‌ها باید هوشیار بمانند تا در برابر این تهدیدات نوظهور محافظت شوند.
