آزمایشگاه سیستمهای محاسباتی هواوی در شهر زوریخ از یک روش نوین و متنباز رونمایی کرده است که میتواند مصرف حافظه در مدلهای زبانی بزرگ (LLMs) را تا حد قابل توجهی کاهش داده و در نتیجه هزینه سختافزاری را کمتر کند. این روش که بدون افت محسوس در کیفیت خروجی مصرف حافظه را کاشه میدهد، اجرای مدلهای عظیم هوش مصنوعی را بر روی سختافزارهای بسیار ارزانتر ممکن میکند.
به گزارش پیوست به نقل از ونچربیت، این فناوری که با نام SINQ مخفف عبارت Sinkhorn-Normalized Quantization معرفی شده است، به گفتهی تیم پژوهشگران شرکت هواوی، مصرف حافظه مدلهای زبانی را بین ۶۰ تا ۷۰ درصد کاهش میدهد و درنتیجه توسعهدهندگان میتوانند مدلهایی که پیشتر برای اجرا به بیش از ۶۰ گیگابایت حافظه نیاز داشتند را اکنون در تنظیمات حدود ۲۰ گیگابایتی اجرا کنند.
این کاهش مصرف حافظه، بهویژه برای کسانی که مدلهای زبانی را روی پردازندههای گرافیکی بازار مصرفی همچون Nvidia RTX 4090 اجرا میکنند، بسیار ارزشمند است.