انتشار مدل جدید دیپ سیک با کاهش چشمگیر هزینه استنتاج

سه‌شنبه 8 مهر 1404 – 11:55تک‌ناک

مهم‌ترین ویژگی این مدل، فناوری جدیدی به نام DeepSeek Sparse Attention است. در این سیستم، یک ماژول موسوم به lightning indexer بخش‌های کلیدی از پنجره متنی را اولویت‌بندی می‌کند. سپس سامانه دیگری با عنوان fine-grained token selection system توکن‌های دقیق‌تری را از میان آن بخش‌ها انتخاب و وارد پنجره توجه محدود مدل می‌کند. ترکیب این دو فرایند باعث می‌شود که مدل بتواند بخش‌های وسیعی از متن را با بار محاسباتی و هزینه سرور بسیار کمتر پردازش کند.

منبع  : تک ناک

برای مشاهده کامل مطب کلیک کنید