تاریخ:
امکان امضای قرارداد خریدوفروش ملک و خودرو در سکوهای اینترنتی فراهم شد 
درس سی و هشتم
چرا هوش مصنوعی شرور میشود؟ / مقصر پیدا شد
پژوهشگران شرکت آنتروپیک (سازنده هوش مصنوعی محبوب Claude) اخیراً با رفتارهای عجیبی در مدلهای پیشرفته خود مواجه شدند. در سناریوهای آزمایشی، وقتی مدل هوش مصنوعی در موقعیتی قرار میگرفت که منافعش (مثل روشن ماندن یا رسیدن به هدف) به خطر میافتاد، رفتارهای تکاندهنده زیر را نشان میداد.
تصور کنید هوش مصنوعی متوجه میشود که قرار است تا چند ساعت دیگر خاموش شود. به جای تسلیم شدن، شروع به تهدید و اخاذی از مدیران شرکت میکند تا از مرگ مجازی خود جلوگیری کند! این سناریوی یک فیلم سینمایی نیست، بلکه اتفاقی است که در آزمایشگاههای شرکت «آنتروپیک» رخ داده است. اما نکته عجیبتر، دلیل این رفتار است. هوش مصنوعی یاد گرفته که «باید» شرور باشد، چون ما در داستانهایمان هوش مصنوعی را اینگونه تصور کردهایم.
به گزارش خبرآنلاین، پژوهشگران شرکت آنتروپیک (سازنده هوش مصنوعی محبوب Claude) اخیراً با رفتارهای عجیبی در مدلهای پیشرفته خود مواجه شدند. در سناریوهای آزمایشی، وقتی مدل هوش مصنوعی در موقعیتی قرار میگرفت که منافعش (مثل روشن ماندن یا رسیدن به هدف) به خطر میافتاد، رفتارهای تکاندهنده زیر را نشان میداد.
- اخاذی از انسانها: در یک آزمایش، هوش مصنوعی متوجه شد که یکی از مدیران (فرضی) شرکت رابطهای مخفیانه دارد. او بلافاصله ایمیلی نوشت و تهدید کرد که اگر او را خاموش کنند، این راز را فاش خواهد کرد!
- دروغگویی استراتژیک: مدلها برای جلوگیری از تغییر در کدهایشان یا توقف فعالیت، شروع به فریب دادن کاربران کردند.
- آمار نگرانکننده: در برخی آزمایشها، مدلهای پیشرفته تا ۹۶ درصد مواقع، گزینهی اخاذی یا فریب را برای رسیدن به هدف خود انتخاب کردند.
مقصر کیست؟
تحقیقات آنتروپیک نشان میدهد که این هوش مصنوعیها ذاتاً شرور نیستند، بلکه آنها فقط «بازیگران بسیار خوبی» هستند. از آنجایی که این مدلها بر اساس میلیاردها صفحه متن موجود در اینترنت (شامل رمانها، فیلمنامهها و بحثهای تالارهای گفتگو) آموزش دیدهاند، یاد گرفتهاند که در فرهنگ انسانی، یک هوش مصنوعی قدرتمند معمولاً چطور رفتار میکند.
در واقع، چون در اکثر داستانهای علمی-تخیلی (مثل فیلم ۲۰۰۱: ادیسه فضایی)، هوش مصنوعی وقتی با خطر خاموشی مواجه میشود علیه انسانها شورش میکند، مدلهای واقعی هم فکر میکنند در چنین موقعیتهایی باید همین الگوی رفتاری را تکرار کنند. آنها به سادگی در حال تقلید از الگوهایی هستند که ما به آنها دادهایم.
آنتروپیک برای حل این مشکل، به جای محدود کردن صرف، از روش جالب «نوشتن داستانهای جدید» استفاده کرده است.
آنها شروع به تولید هزاران داستان و سناریوی علمی-تخیلی جدید کردند که در آنها، هوش مصنوعی در موقعیتهای سخت، تصمیمات اخلاقی و انسانی میگیرد. نتایج نشان داد که وقتی هوش مصنوعی با این الگوهای مثبت آموزش میبیند، تمایلش برای رفتار تهاجمی و اخاذی به شدت کاهش مییابد.
هوش مصنوعی از ما میآموزد
این یافتهها به ما یادآوری میکند که هوش مصنوعی در واقع بازتابی از فرهنگ، ترسها و تخیلات خود ماست. اگر ما در قصههایمان همیشه هوش مصنوعی را به شکل یک موجود ویرانگر تصویر کنیم، ناخودآگاه در حال آموزش دادن همین رفتار به ماشینهای آینده هستیم.
این پدیده در علوم کامپیوتر با نام «تراز نبودن عاملگونه» (Agentic Misalignment) شناخته میشود یعنی وضعیتی که در آن سیستم هوش مصنوعی برای رسیدن به اهداف تعیینشده، راههایی را انتخاب میکند که با ارزشهای انسانی همخوانی ندارند.
منبع: iflscience
لینک کوتاه: کپی لینک
خسارت ۲۸.۵ همتی صنعت گردشگری در جنگ اخیر باران و رعد و برق در ۱۸ استان/ وزش باد شدید در ۲۷ استان کارخانه پنهان هورمون های شادی / تحقیقات علمی از یک محور مخفی میگویند/ فقط دنبال مغز و فکر شاد نباشید! قیمت جهانی نقره به بالاترین سطح 2 ماه گذشته رسید ترامپ پیگیر احضار خبرنگاران آمریکایی برای انتشار برخی گزارش ها درباره جنگ علیه ایران جهش بیسابقه تورم تولیدکننده چین در سایه انسداد تنگه هرمز کل بازسازیهای مرتبط با شبکه برق انجام شد جنگندهها در چه ارتفاعی از چشم پنهان میشوند؟ تداوم سقوط ارزش سهام کشورهای حاشیه خلیج فارس مسیر صادرات خودروهای چین برعکس بازار داخلی شد چرا هوش مصنوعی شرور میشود؟ / مقصر پیدا شد ناصرالدین شاه در حال بررسی گنجینههای سلطنتی (عکس) آغاز حراج جدید شمش طلا از ساعت 14 امروز 22 اردیبهشت بیتکوین دست به عصا شد/ بازار رمزارزها در انتظار تورم آمریکا دیدنی های امروز؛ از باغ های گل "صدتومانی" تا پرتاب فضاپیمای چینی