اوپنایآی و گوگل به تازگی با رونمایی از توانمندیهای «استدلال» پیشرفته، این قابلیت را به عنوان گام بعدی مدلهای هوش مصنوعی خود ارائه کردهاند. اما مطالعه جدیدی توسط شش تن از مهندسین اپل نشان میدهد که «استدلال» ریاضیاتی این مدلهای پیشرفته زبانی تا چه اندازه در مواجهه با تغییرات ناچیز سنجهها پوشالی و غیرقابل اعتماد جلوه میدهد.
به گزارش پیوست به نقل از وایرد، شکنندگی بالای این نتایج تایید تحقیقات گذشتهای است که نشان میدهند استفاده از الگوی اتصال احتمالمحور LLMها تا چه اندازه خالی از درک مفاهیم پیش زمینهای برای رسیدن به توانمندیهای درست استدلال ریاضیاتی است. پژوهشگران براساس نتایج به دست آمده این فرضیه را مطرح کردند که: «LLMهای امروزی توان استدلال منطقی واقعی را ندارند. آنها در عوض سعی میکنند تا گامهای استدلال مشاهده شده در دادههای آموزشی را تقلید کنند.»