دوشنبه 19 خرداد 1404 – 15:50
مطالعهای مشترک از سوی پژوهشگران متا، گوگل، انویدیا و دانشگاه کرنل برای نخستینبار به صورت دقیق نشان داده است که حافظه مدلهای زبانی بزرگ (LLM) چه میزان از دادههای آموزشی خود را «حفظ» میکنند.
به گزارش تکناک، نتایج این تحقیق نشان میدهد که مدلهای مبتنی بر ساختار GPT ظرفیت ثابتی برای حافظهسپاری دارند، که برابر با ۳.۶ بیت به ازای هر پارامتر است. به بیان دیگر، یک مدل با ۱.۵ میلیارد پارامتر، تنها حدود ۶۷۵ مگابایت اطلاعات خام را به صورت مستقیم ذخیره میکند؛ رقمی که در مقایسه با مجموعه دادههای تریلیونواژهای بسیار ناچیز به نظر میرسد.
برای مشاهده کامل مطب کلیک کنید