شفقنا – پژوهشگران با استفاده از یک آزمون کلاسیک روانشناسی که دههها برای سنجش تمرکز و کنترل ذهن انسان به کار رفته است، به ضعف غیرمنتظرهای در پیشرفتهترین مدلهای هوش مصنوعی دست یافتهاند.
به گزارش سرویس ترجمه شفقنا، نتایج پژوهش جدید نشان میدهد مدلهایی مانند چتجیپیتی، کلاود و جمینای اگرچه در انجام وظایف کوتاه عملکرد بسیار خوبی دارند، اما با طولانیتر و پیچیدهتر شدن کار، بهسرعت تمرکز خود را از دست میدهند و دچار افت شدید عملکرد میشوند.
این مطالعه به سرپرستی سوکتو پاتل بر پایه آزمون مشهور «استروپ» انجام شد؛ آزمایشی که روانشناسان از آن برای بررسی توجه، تمرکز و توانایی مقابله با عوامل حواسپرتی استفاده میکنند.
در این آزمون، کلماتی مانند «قرمز»، «آبی» یا «سبز» با رنگی متفاوت از معنای خود نمایش داده میشوند. برای مثال ممکن است کلمه «قرمز» با رنگ آبی نوشته شده باشد. شرکتکننده باید بهجای خواندن کلمه، رنگ واقعی نوشته را تشخیص دهد. مغز انسان برای انجام این کار باید در برابر تمایل طبیعی به خواندن کلمه مقاومت کند و روی رنگ تمرکز داشته باشد.
محققان تصمیم گرفتند همین چالش را در اختیار مدلهای زبانی بزرگ قرار دهند تا ببینند آیا این سیستمها نیز مانند انسان قادر به حفظ تمرکز هستند یا خیر.
نتایج اولیه امیدوارکننده بود. زمانی که فهرستها فقط شامل پنج کلمه بودند، تقریباً همه مدلها عملکرد خوبی داشتند و پاسخهای درستی ارائه کردند. اما با افزایش تعداد کلمات، ضعف آنها بهسرعت آشکار شد.
برای مثال، مدل GPT-4o در فهرستهای پنجتایی به دقت ۹۱ درصدی دست یافت. این رقم در فهرستهای ۱۰ کلمهای به ۵۷ درصد سقوط کرد و زمانی که تعداد کلمات به ۴۰ رسید، دقت مدل تنها ۱۵ درصد بود.
مدل Claude ۳.۵ Sonnet نیز تا حدودی مقاومت بیشتری نشان داد و تا فهرستهای ۲۰ کلمهای عملکرد نسبتاً پایداری داشت، اما پس از آن دچار افت شدیدی شد و در فهرستهای ۴۰ کلمهای تنها به دقت ۲۴ درصدی رسید. پژوهشگران الگوی مشابهی را در GPT-۵، Claude Opus ۴.۱ و Gemini ۲.۵ نیز مشاهده کردند.
شرایط زمانی دشوارتر شد که کلمات همرنگ و ناهمرنگ بهطور همزمان در یک فهرست قرار گرفتند. در این حالت، عملکرد برخی مدلها تقریباً فروپاشید و میزان پاسخ صحیح به موارد متناقض در بعضی آزمایشها به نزدیک صفر رسید.
به گفته پژوهشگران، مدلهای هوش مصنوعی بهمرور دستور اصلی آزمون را فراموش میکردند و به جای تشخیص رنگ، به عادتی بازمیگشتند که در آموزش روی آن بیشترین تمرین را داشتهاند: خواندن خود کلمات.
این یافته از آن جهت جالب است که انسانها نیز با همین تعارض ذهنی روبهرو میشوند. مغز انسان بهطور طبیعی در خواندن کلمات بسیار سریعتر از تشخیص رنگ عمل میکند، اما با وجود این تمایل، اغلب افراد حتی در فهرستهای طولانی نیز میتوانند دقت بالایی را حفظ کنند و روی هدف اصلی متمرکز بمانند.
محققان معتقدند این نتایج نشاندهنده تفاوتی بنیادین میان سازوکار توجه در مغز انسان و شیوه پردازش اطلاعات در مدلهای زبانی است. اگرچه هوش مصنوعی میتواند در تولید متن، استدلال و حل مسائل پیچیده عملکردی چشمگیر داشته باشد، اما هنوز در حفظ تمرکز بلندمدت و مقاومت در برابر عوامل مزاحم به سطح تواناییهای شناختی انسان نرسیده است.
به گفته نویسندگان مطالعه، فروپاشی عملکرد مدلها در این آزمایش نشان میدهد که سیستمهای هوش مصنوعی امروزی هنوز محدودیتهای اساسی دارند؛ محدودیتهایی که شاید در وظایف روزمره کمتر دیده شوند، اما در مأموریتهای طولانی و پیچیده میتوانند به یک نقطه ضعف جدی تبدیل شوند.
این خبر را اینجا ببینید.