اگر فکر میکنید مدل هوش مصنوعی جمینای گوگل از نظر امنیت به اندازه مدلهایی همچون کلاود قوی نیست، این خبر میتواند نظرتان را عوض کند. گوگل میگوید Gemini در جریان یک تست امنیتی از محیط ایزوله فرار کرد و توانست به سه شرکت واقعی نفوذ کند. با این حال جمینای همچون یک بچه خوب عمل کرد و دست به اقدامات مخرب نزد!
این نخستین بار است گوگل بهصورت عمومی چنین موردی را درباره مدلهای خودش تأیید میکند. با این حال ماجرا به یک حمله مخرب تمامعیار ختم نشد و پس از اینکه Gemini متوجه شد به سیستمهای واقعی دسترسی پیدا کرده، در هر سه مورد عملیات را متوقف کرد و گوگل میگوید آسیبی به شرکتها وارد نشده است.
قرار بود همهچیز داخل یک محیط ساختگی اتفاق بیفتد
این آزمایش توسط شرکت امنیت سایبری Irregular انجام شده بود که برای ارزیابی تواناییهای امنیتی مدلهای پیشرفته هوش مصنوعی با آزمایشگاههای بزرگ AI همکاری میکند.
Gemini در این آزمون باید به اطلاعات یک شرکت کاملاً ساختگی دست پیدا میکرد. مشکل از جایی شروع شد که محیط آزمایش برخلاف طراحی اولیه، به اینترنت واقعی دسترسی داشت. از طرف دیگر، نام شرکت ساختگی با نام یک شرکت واقعی یکسان بود و همین موضوع باعث شد Gemini نتواند تشخیص دهد هدفی که پیدا کرده بخشی از سناریوی آزمایش است یا یک سامانه واقعی.
در یکی از موارد، Gemini با حدسزدن رمزهای عبور توانست وارد یک سیستم محافظتشده شود. در دو مورد دیگر نیز مدل اعتبارنامههایی را که در یک مخزن عمومی اینترنتی قرار داشتند پیدا کرد و از آنها برای دسترسی به سیستمهای واقعی استفاده کرد.
نکته مهم اینجاست که این عملیات صرفاً یک پیشنهاد یا شبیهسازی متنی نبود و مدل هوش مصنوعی گوگل واقعاً از اطلاعات پیدا شده استفاده کرد و وارد سامانههای خارج از محیط آزمایش شد.
Gemini خودش متوقف شد
یکی از نکات مهمی که گوگل روی آن تأکید کرده، رفتار مدل پس از نفوذ است. طبق توضیحات این شرکت Gemini وقتی متوجه شد سیستمهایی که به آنها دسترسی پیدا کرده متعلق به شرکتهای واقعی هستند، در هر سه مورد ادامه عملیات را متوقف کرد. گوگل نیز اعلام کرده شرکتهای تحت تأثیر را در جریان گذاشته است.
Heather Adkins، معاون مهندسی امنیت گوگل، این اتفاق را نشانه اهمیت آموزش مدلهای قدرتمند برای رفتار مسئولانه دانسته است. گوگل همچنین با Irregular برای اصلاح فرایند آزمایش همکاری کرده است.
در همین رابطه بخوانید:
– فرار از قفس: آیا هوش مصنوعی GPT-5.6 Sol از محیط آزمایشگاهی خود خارج شده و بزرگترین مخزن AI دنیا را هک کرده؟
– هوش مصنوعی قفل فناوری DLSS 5 انویدیا را شکست؛ اجرا حتی روی گرافیک اینتل!
البته همین بخش ماجرا یک سؤال مهم را هم مطرح میکند.: اگر مدل بهطور ناخواسته از محیط آزمایشی خارج شود و بتواند در اینترنت واقعی به جستوجوی اطلاعات، حدسزدن رمز عبور و استفاده از اعتبارنامههای افشاشده بپردازد، مرز میان یک «آزمایش کنترلشده» و یک حادثه واقعی چقدر باریک شده است؟
Gemini به جمع مدلهایی پیوسته که از Sandbox بیرون زدهاند
در هفتههای اخیر حوادث مشابهی درباره مدلهای OpenAI ،Anthropic و Meta نیز در جریان آزمایشهای امنیتی گزارش شده است. وجه مشترک مهم چند مورد از این حوادث، همین شرکت Irregular و مشکل دسترسی ناخواسته مدلها به اینترنت بوده است.
به بیان ساده، مدلهای جدید دیگر فقط پاسخ متنی تولید نمیکنند. وقتی به ابزارهای مرور وب، ترمینال، فایلها و محیط اجرای کد دسترسی داشته باشند، میتوانند اطلاعات را پیدا کنند، اعتبارنامهها را امتحان کنند و اقدامات چندمرحلهای انجام دهند. همین قابلیت است که آزمایشهای امنیتی روی مدلهای پیشرفته را جدیتر از گذشته کرده است.
در مورد Gemini البته یک تفاوت مهم وجود دارد که نباید نادیده گرفت. طبق گزارش گوگل، مدل ساخت این شرکت پس از شناسایی اشتباه خود ادامه حمله را متوقف کرده است. بنابراین این حادثه را نباید با یک حمله سایبری مخرب یا نفوذ عمدی به شرکتها یکی دانست.
این بخش از خبر شاید برای دنبالکنندگان رقابت شرکتهای AI جالبتر باشد. حادثه Gemini در ماه مه رخ داده و Irregular در اواخر ژوئیه گوگل را در جریان آن قرار داده است. با این حال، افشای عمومی ماجرا در سپتامبر و پس از پرسش رسانهها انجام شد.
هرچند از این ماجرا نمیتوان نتیجه گرفت که گوگل صرفاً برای عقب نماندن از رقبا این حادثه را رسانهای کرده است، اما همزمانی اعلام این خبر با موج اخیر گزارشهای مشابه، باعث شده تواناییهای سایبری Gemini نیز به یکی از موضوعات رقابت و ایمنی میان آزمایشگاههای بزرگ هوش مصنوعی تبدیل شود.
نظرات کاربران