چهارشنبه 18 تیر 1404 – 11:55
تکناک
مدلهای زبانی بزرگ، مانند چتباتها یا دستیارهای هوشمند، برای تولید هر پاسخ، نیاز دارند به حجم عظیمی از دادههای قبلی مراجعه کنند، که با آن مکالمه صورت گرفته است. این دادهها در حافظهای به نام KV cache ذخیره میشوند و هر بار که مدل میخواهد کلمهای تولید کند، باید این حافظه را اسکن نماید.
فناوری Helix انویدیا با استفاده از دو نوآوری کلیدی، کارایی مدلهای هوش مصنوعی را به سطح جدیدی رسانده است:
برای مشاهده کامل مطب کلیک کنید