شنبه 31 مرداد 1405 – 12:25
شرکت انویدیا با معرفی فناوری انتقال میانمدلی KV Cache، راهکاری مبتنی بر ریاضیات خطی ارائه کرده است که میتواند بدون پردازش دوباره مکالمات، جابهجایی بین مدلهای هوش مصنوعی را تا ۲۵ برابر سریعتر و ارزانتر کند.مدلهای هوش مصنوعی
به گزارش سرویس هوش مصنوعی تکناک، در سیستمهای هوش مصنوعی، زمانی که یک وظیفه میان مدلهای مختلف جابهجا میشود، هزینه پنهانی سنگینی ایجاد میشود. برای مثال، وقتی یک مدل کوچکتر کاری را به یک مدل قدرتمندتر واگذار میکند یا پس از پایان پردازش دوباره به مدل ارزانتر بازمیگردد، مدل مقصد باید کل تاریخچه مکالمه را از ابتدا پردازش کند. این بازپردازش کامل، مصرف منابع محاسباتی و زمان پاسخدهی را افزایش میدهد و به یک گلوگاه جدی برای شرکتهایی تبدیل شده است که روی گردشهای کاری طولانیمدت و چندمدلی هوش مصنوعی کار میکنند.
بیشتر بخوانید: رشد OpenAI در بین کاربران سازمانی آمریکا سریعتر شد
برای مشاهده کامل مطب کلیک کنید