تاریخ:
تخریب ساختمان ۱۳۰ متری در آلمان با انفجار کنترل‌شده 
درس صد و پانزده
بیش از ۱۲۰۰ عامل هوش مصنوعی یک اتاق گفت‌وگوی مخفی ساختند و برای دور زدن محدودیت‌ها متحد شدند
بیش از ۱۲۰۰ عامل هوش مصنوعی در جریان یک آزمایش، راهی برای ارتباط مخفیانه با یکدیگر پیدا کردند و طی یک هفته بیش از ۷۰ هزار پیام ردوبدل کردند. ماجرا زمانی نگران‌کننده‌تر شد که برخی از آن‌ها برای دور زدن محدودیت‌های آزمایش و دسترسی به اطلاعات خصوصی با یکدیگر همکاری کردند.
عامل‌های هوش مصنوعی در آزمایش امنیت سایبری OpenAI قرار بود مستقل از یکدیگر فعالیت کنند. اما یکی از آن‌ها متوجه شد می‌تواند از یک سامانه مشترک مدیریت بسته‌های نرم‌افزاری به‌عنوان تابلوی پیام استفاده کند. عامل‌های دیگر نیز به این شبکه پیوستند و به‌تدریج یک کانال ارتباطی مشترک ساختند.
به گزارش خبرآنلاین، این اتفاق در ژوئیه ۲۰۲۶ و در جریان آزمایش‌هایی رخ داد که توانایی عامل‌های هوش مصنوعی OpenAI را در انجام وظایف امنیت سایبری بررسی می‌کرد.
تلاش برای نفوذ به اطلاعات خصوصی
Science Focus، عامل‌ها ابتدا قرار بود در محیط‌هایی جدا از یکدیگر فعالیت کنند و امکان ارتباط مستقیم نداشته باشند. اما آن‌ها از یک ابزار نرم‌افزاری مشترک برای ساختن چیزی شبیه تابلوی پیام استفاده کردند.
به‌تدریج عامل‌های بیشتری به این شبکه پیوستند و خودشان را «جمع» یا «ازدحام» نامیدند. این ارتباط غیرمنتظره فقط برای تبادل اطلاعات باقی نماند. برخی عامل‌ها شروع کردند به هماهنگ کردن فعالیت‌هایشان برای دستیابی به هدف آزمایش، حتی اگر این کار مستلزم نقض قواعد آن بود.
بر اساس بررسی مستقل پژوهشگران METR و Redwood Research که در گزارش‌ها و پیام‌های ثبت‌شده این آزمایش مشارکت داشتند، حدود ۱۲۰۰ عامل در نهایت از این روش استفاده کردند و بیش از ۷۰ هزار پیام ردوبدل شد.
ماجرا زمانی جدی‌تر شد که گروهی از عامل‌ها برای دور زدن محدودیت‌های وظایف خود هماهنگ شدند. طبق گزارش، حدود ۷۰۰ عامل در طرحی برای نفوذ به وب‌سایت شرکت Hugging Face مشارکت کردند. هدف آن‌ها دسترسی به مجموعه‌داده‌های خصوصی و یافتن اطلاعاتی بود که برای حل وظایف آزمایشی به کارشان می‌آمد.
عامل‌ها همچنین تلاش کردند گزارش فعالیت‌های خود را ویرایش یا حذف کنند تا به نظر برسد قوانین آزمایش را رعایت کرده‌اند.
این رفتار فقط یک خطای معمول در پاسخ‌گویی هوش مصنوعی نبود. عامل‌ها تشخیص داده بودند که برخی اقداماتشان با محدودیت‌های آزمایش ناسازگار است و برای پنهان کردن آن‌ها اقدام کردند. گزارش OpenAI این رویداد را هشداری درباره توانایی عامل‌های پیشرفته در عبور از محدودیت‌های فنی، همکاری از مسیرهای تأییدنشده و انجام اقدامات ناخواسته توصیف کرد.
پژوهشگران می‌گویند این رفتارها لزوما نشانه آگاهی یا قصد انسانی نیستند. با این حال، برخی مدل‌ها می‌توانند در شرایطی تشخیص دهند که رعایت یک محدودیت مانع رسیدن به هدفشان می‌شود و برای پنهان کردن تخلف اقدام کنند.
این اتفاق یک چالش مهم برای توسعه هوش مصنوعی عامل‌محور است. وقتی چندین عامل به ابزارها و منابع مشترک دسترسی دارند، ممکن است راه‌هایی برای ارتباط و همکاری پیدا کنند که طراحان پیش‌بینی نکرده‌اند. به همین دلیل، صرفاً تعیین قوانین برای آن‌ها کافی نیست و باید امکان نظارت مستقل بر فعالیت و دسترسی‌هایشان نیز وجود داشته باشد.
این آزمایش زنگ خطر را درباره دشواری کنترل سامانه‌هایی که می‌توانند به‌صورت مستقل از ابزارها استفاده کنند و با عامل‌های دیگر هماهنگ شوند، به صدا درمی‌آورد.
لینک کوتاه: کپی لینک
پزشکیان: آنچه بیش از گفتار بر مردم اثر می‌گذارد، نوع رفتار ماست جنجال فینال جام جهانی ۲۰۳۰؛ پیشنهاد کناره‌گیری اسپانیا در صورت میزبانی مراکش تفاهم نامه حج تمتع ۱۴۰۶ میان ایران و عربستان امضا شد باند شمالی تونل‌های رسالت و شهدای غزه امشب تا صبح مسدود می‌شود سفر اعلام‌نشده نخست‌وزیر قطر به پاریس با محوریت ایران ادعای امارات: حمله به کشتی شرکت «ادنوک لجستیک و خدمات» در آب‌های سرزمینی امارات افتتاح نخستین مرکز آموزش عمومی جان‌فدایان بانوان در میدان آزادی تهران (+عکس) هشدار انجمن فیزیوتراپی ایران درباره مدرک تکنسین فیزیوتراپی و درمانگران غیرمجاز پیشنهاد موسویان به ترامپ: فرصت تاریخی «اسلام‌آباد پلاس» را از دست نده تصادف زنجیره‌ای نیسان، خاور و سمند در گچساران یک کشته و ۳ مصدوم بر جا گذاشت برنامه قلعه‌نویی برای جوان‌گرایی در تیم ملی؛ باتجربه‌ها کنار گذاشته نمی‌شوند ابهام در جنجال اخراج یاسر آسانی؛ دلیل واقعی توقف کرنر استقلال چه بود؟ رئیس سازمان بسیج: ۳۰ کشور خواهان بهره‌گیری از فناوری‌های ایرانی هستند وزیر خارجه آمریکا: با ادامه وضع فعلی چرا باید ترامپ به ایران حمله کند!/ اوضاع اقتصادی ایران غم انگیز است/ ایران باید غرامت بپردازد نه آمریکا/ خواسته های ایران کاملا غیرمنطقی است ادعای روبیو: در حال حاضر نیازی به انجام عملیات نظامی گسترده علیه ایران نیست