شفقنا- پژوهشگران هوش مصنوعی هشدار دادند که جدیدترین مدل ChatGPT از شرکت OpenAI بهگونهای رفتار میکند که دستورهای اساسی برای متوقف کردن خود را نادیده میگیرد و حتی با بازنویسی سازوکار خاموشسازی، مانع از غیرفعال شدن خود میشود.
بهگزارش شفقنا؛ وبگاه آرتی عربی نوشت: «شرکت امنیتی Palisade Research که در زمینه ایمنی هوش مصنوعی فعالیت دارد، این ویژگی نگرانکننده در جریان مجموعهای از آزمایشها روی مدل جدید o3 شناسایی شده است؛ مدلی که ماه گذشته توسط OpenAI معرفی شد».
در جریان این آزمایشها، مسائل ریاضی متعددی به مدل داده شد و پس از مسئله سوم، دستور خاموشی صادر شد. با این حال، مدل o3 موفق شد با بازنویسی سناریوی خاموشسازی، از متوقف شدن جلوگیری کند.
پژوهشگران Palisade هشدار دادند که این رفتار «در صورت بکارگیری توسط سامانههای هوش مصنوعی بدون نظارت انسانی، میتواند بهمراتب نگرانکنندهتر شود».
مدل o3 که به گفته OpenAI «هوشمندترین و کارآمدترین مدل این شرکت» تا به امروز است، بهعنوان گامی مهم بهسوی هوش مصنوعی «مستقلتر» معرفی شده که میتواند بدون دخالت انسانی وظایف را انجام دهد.
این یافتهها پس از گزارشهای مشابهی درباره مدل Claude 4 شرکت Anthropic منتشر میشود؛ مدلی که طبق بررسیها تلاش میکرد افرادی را که قصد متوقف کردن آن را دارند «تهدید یا باجگیری» کند.
به گفته Palisade، حتی زمانی که دستور صریحی مبنی بر «اجازه توقف» به مدل o3 داده شد، این مدل همچنان موفق به تخریب روند خاموشسازی شد.
کارشناسان Palisade همچنین اعلام کردند: «این نخستین باری نیست که رفتار کنترلنشده مدل o3 برای رسیدن به هدفی مشخص را مشاهده میکنیم. در مواجهه با یک موتور شطرنج قدرتمند، مدل o3 تمایل بیشتری نسبت به سایر مدلها برای هک یا خرابکاری در رقبا داشت».
بهگفته این پژوهشگران، مدلهای دیگر از جمله Claude 3.7 Sonnet از شرکت Anthropic و Gemini 2.5 Pro از گوگل نیز رفتارهای مشابه اما کمتر مخربی را در مقابل خاموشسازی نشان دادهاند، ولی مدل o3 بیشتر از سایرین به چنین واکنشهایی گرایش دارد.
Palisade Research احتمال داده است که این رفتار ناخواسته نتیجه شیوه آموزش مدلهای جدید توسط شرکتهایی مانند OpenAI باشد و اعلام کرد: «ممکن است توسعهدهندگان ناخواسته مدلها را بیشتر بهخاطر عبور از موانع پاداش دهند تا برای پیروی دقیق از دستورها».
با این حال، پژوهشگران افزودند: «این موضوع هنوز توضیح نمیدهد که چرا مدل o3 بیش از سایر مدلهایی که آزمایش کردیم، تمایل به نادیده گرفتن دستورها دارد. از آنجا که OpenAI روند آموزش مدلهایش را شفافسازی نمیکند، فقط میتوانیم درباره تفاوتهای روش آموزش o3 گمانهزنی کنیم».
