چهارشنبه 27 فروردین 1404 – 20:35
تککرانچ مینویسد که بیتنتها مدلهای فشردهای هستند که بهویژه برای اجرا روی سختافزارهای سبک طراحی شدهاند. در مدلهای استاندارد، وزنها که مقادیر تعریفکننده ساختار داخلی مدل هستند، معمولاً کمّیسازی (Quantize) میشوند تا بتوانند بهخوبی روی طیف وسیعی از ماشینها اجرا شوند. کمّیسازی وزنها موجب کاهش تعداد بیتها میشود که کوچکترین واحدهایی هستند که کامپیوتر میتوانند آنها را پردازش کنند و این کار به مدلها امکان میدهد تا روی چیپهای با حافظه کمتر سریعتر اجرا شوند.
طبق آزمایشهای انجامشده، مدل BitNet b1.58 2B4T توانسته است از مدلهای مشابه با دومیلیارد پارامتر ازجمله Llama 3.2 1B متا و Gemma 3 1B گوگل و Qwen 2.5 1.5B علیبابا پیشی بگیرد. این مدل در بنچمارکهایی همچون GSM8K که مسائل ریاضی سطح ابتدایی را بررسی میکند و PIQA که مهارتهای استدلال فیزیکی را آزمایش میکند، عملکرد بهتری از خود نشان است.
برای مشاهده کامل مطب کلیک کنید