چهارشنبه 12 آذر 1404 – 21:35
GB200 بلکول NVL72۱۰ برابر
مدلهای هوش مصنوعی MoE بهدلیل بهینگی محاسباتی، بهسرعت درحال تبدیلشدن به استانداردی مهم در دنیای هوش مصنوعی هستند. این مدلها برخلاف مدلهای زبان بزرگ سنتی که برای هر پرسوجو تمام پارامترهای خود را فعال میکنند، تنها بخش کوچکی از «متخصصان» خود را متناسب با نوع درخواست به کار میگیرند. بااینحال، افزایش مقیاس و بزرگترکردن این مدلها همواره با گلوگاه محاسباتی بزرگی همراه بوده است که از بهرهبرداری کامل از پتانسیل آنها مانع میشد.
راز این موفقیت در رویکرد «طراحی مشترک» انویدیا نهفته است. این شرکت با بهینهسازی همزمان سختافزار و نرمافزار، توانسته است بر محدودیتهای ارتباطی غلبه کند. پیکربندی GB200 با ۷۲ تراشه و ۳۰ ترابایت حافظه سریع مشترک، امکان موازیسازی تخصصی را در سطحی بیسابقه فراهم میکند. این ساختار تضمین میکند که دستههای توکن بهطور مداوم و بهینه میان پردازندههای گرافیکی تقسیم شوند و حجم ارتباطات غیرضروری کاهش یابد.
برای مشاهده کامل مطب کلیک کنید