سهشنبه 14 اسفند 1403 – 12:40
تکناک
در حال حاضر، این امکان که مدلهای 7B و 14B به طور محلی روی کامپیوترهای +Copilot مایکروسافت اجرا شوند، به توسعهدهندگان این امکان را میدهد که برنامههای جدیدی با قدرت هوش مصنوعی بسازند، که پیشتر امکانپذیر نبود.
شرکت مایکروسافت اشاره کرد که از Aqua (ابزاری داخلی برای کموزنسازی خودکار)، برای کموزنسازی تمامی واریانتهای مدل DeepSeek به وزنهای int4 استفاده کرده است. متأسفانه، سرعت توکن مدلها بسیار پایین است. مایکروسافت گزارش کرده است، که مدل 14B تنها 8 توکن در ثانیه و مدل 1.5B نزدیک به 40 توکن در ثانیه سرعت دارند. این شرکت بیان کرد که در حال انجام بهینهسازیهای بیشتر برای بهبود سرعت است. انتظار میرود که با ادامه بهینهسازی عملکرد، تأثیر این مدلها بر کامپیوترهای +Copilot به طور چشمگیری افزایش یابد.
برای مشاهده کامل مطب کلیک کنید