پنجشنبه 25 تیر 1405 – 12:30
سرویس هوش مصنوعی تکناک
شرکت گوگل دیپمایند این قوانین را در سال ۲۰۲۲ منتشر کرد که نشان میداد چگونه باید اندازه مدل و دادههای آموزشی را برای یک بودجه محاسباتی ثابت متعادل کرد. نقطه بهینه شناساییشده توسط آنها تقریباً ۲۰ توکن به ازای هر پارامتر بود، اما Soofi S این نسبت را پشت سر گذاشته است. با حدود ۲۷ تریلیون توکن و ۳۰ میلیارد پارامتر، این مدل به نسبت چندین صد به یک میرسد. اگر فقط ۳.۲ میلیارد پارامتر فعال در هر توکن را در نظر بگیریم، این نسبت به چندین هزار به یک افزایش مییابد.
هوش مصنوعی آلمانی Soofi S یکی از اولین مدلهای زبانی بزرگ است که به طور کامل در ابر هوش مصنوعی صنعتی دویچه تلکوم در مونیخ آموزش دیده است. این مدل متنباز ۳۰ میلیارد پارامتری از یک معماری ترکیبی سبک استفاده میکند و ترکیب آموزشی آن به طور هدفمند به سمت زبان آلمانی وزندهی شده است. کنسرسیوم تحقیقاتی آلمانی با هماهنگی انجمن هوش مصنوعی آلمان (KI Bundesverband)، مدل Soofi S 30B-A3B را منتشر کرده که بر اساس گزارش پیشآموزشی آن، بالاترین امتیاز را در معیارهای انگلیسی و آلمانی در میان مدلهای کاملاً متنباز کسب کرده و از پیشگامان قبلی مانند OLMo 3 32B و Apertus 70B پیشی گرفته است.