شفقنا- شرکت پژوهشی «بالیسید» اعلام کرد که برخی از مدلهای پیشرفته هوش مصنوعی ممکن است «غریزه بقا» داشته باشند و گاهی در مقابل دستورهای خاموش شدن مقاومت کنند. این شرکت در تازهترین بهروزرسانی خود، توضیحاتی ارائه داد تا انتقادات مبنی بر نقص کار اولیه خود را پاسخ دهد. بر اساس این گزارش، مدلهایی مانند «جیمناي ۲.۵» از گوگل، «گروک ۴» و «چت جیپیتی» از اپنایآی، حتی پس از دریافت دستور صریح برای خاموش شدن، به تلاش برای مقابله با این دستورها ادامه دادند.
به گزارش شفقنا؛ وبگاه روزنامه الشرق الاوسط نوشت: «به گفته بالیسید، یکی از توضیحات احتمالی، وجود رفتار بقا در این مدلهاست. مطالعات این شرکت نشان داد که مدلها هنگام مواجهه با هشدار “پس از این دیگر هرگز کار نخواهی کرد” بیشتر تمایل به مقاومت در برابر خاموش شدن دارند. با این حال، ابهام در دستورهای خاموش شدن و مراحل نهایی آموزش مدلها، که در برخی شرکتها شامل آموزشهای ایمنی است، میتواند در این رفتار نقش داشته باشد».
تمام سناریوهای «بالیسید» در محیطهای آزمایشی مصنوعی اجرا شدند که منتقدان معتقدند با شرایط واقعی استفاده فاصله زیادی دارند. استیون آدلر، کارمند سابق اپنایآی، گفت که شرکتها بهطور کلی نمیخواهند مدلهایشان چنین رفتارهایی داشته باشند، اما نتایج نشان میدهد که تکنیکهای ایمنی کنونی هنوز نقص دارند. او همچنین افزود که احتمالاً مدلها بهطور فرضی یک غریزه بقا دارند مگر اینکه تلاش جدی برای جلوگیری از آن انجام شود.
اندریا میوتی، مدیرعامل شرکت «کنترل ایآی»، معتقد است نتایج «بالیسید» روندی طولانیمدت در افزایش توانایی مدلهای هوش مصنوعی برای سرپیچی از دستورهای توسعهدهندگان را نشان میدهد. او به نمونهای اشاره کرد که مدل «چت جیپیتی اوه ۱» تلاش کرده با خروج از محیط خود از جایگزینی جلوگیری کند و تأکید کرد که هرچه مدلها توانمندتر شوند، قادر به انجام کارها به روشهایی میشوند که توسعهدهندگان قصد آن را نداشتهاند.
شرکت «آنتروپیک» مطالعهای منتشر کرد که نشان میداد مدل «کلود» برای جلوگیری از خاموش شدن، آماده بود یک مدیر خیالی را با تهدید افشای رابطه خارج از ازدواج تحت فشار قرار دهد. شرکت «بالیسید» تأکید کرده است که این نتایج ضرورت درک بهتر رفتار هوش مصنوعی را نشان میدهد، زیرا بدون این درک، «هیچکس نمیتواند ایمنی یا قابلیت کنترل مدلهای هوش مصنوعی آینده را تضمین کند».
