آموزش هوش مصنوعی DeepSeek با هزار تراشه Ascend 910C هواوی انجام شد

سرویس هوش مصنوعی تک‌ناک

یکشنبه 17 خرداد 1405 – 09:55آموزش هوش مصنوعی DeepSeek با هزار تراشه Ascend 910C هواوی انجام شدسرویس هوش مصنوعی تک‌ناک

در حال حاضر Ascend 910C، پرچم‌دار شتاب‌دهنده‌های هوش مصنوعی هواوی محسوب می‌شود؛ تراشه‌ای دو‌دایه که در آزمایش‌های قبلی DeepSeek حدود 60 درصد از عملکرد استنتاج Nvidia H100 را ارائه داده بود. تراشه‌های چینی در حوزه استنتاج، یعنی مرحله‌ای که مدل آموزش‌دیده به پرسش‌ها پاسخ می‌دهد، عملکرد رقابتی داشته‌اند، اما در بخش آموزش که طی آن وزن‌های مدل بر اساس مجموعه‌داده‌های عظیم بازمحاسبه می‌شود، ضعیف‌تر ظاهر شده‌اند. تیم تحقیقاتی اعلام کرده که در این پروژه، پس‌آموزش کامل پارامترهای DeepSeek V4‑Pro با 1.6 تریلیون پارامتر انجام شده است، به این معنا که تمام وزن‌های مدل به‌روزرسانی شده‌اند و صرفا یک لایه نازک تطبیقی به مدل افزوده نشده است.

در ماه اوت گزارش شده بود که DeepSeek نتوانسته است حتی با حضور مهندسان هواوی در محل یک اجرای موفق آموزش برای مدل R2 خود را روی تراشه‌های Ascend تکمیل کند. دلیل این مسئله عملکرد ناپایدار، ارتباط کند میان تراشه‌ها و کاستی‌هایی در پشته نرم‌افزاری CANN هواوی عنوان شده بود که جایگزین CUDA انویدیا محسوب می‌شود. در آن زمان، این شرکت برای آموزش به استفاده از پردازنده‌های گرافیکی انویدیا بازگشت و تراشه‌های Ascend را تنها برای استنتاج به کار گرفت. بر اساس گزارش تامز هاردور، مدل هوش مصنوعی DeepSeek‑V4‑Pro که در ماه آوریل منتشر شد، نخستین مدل DeepSeek بود که از ابتدا بر پایه Ascend توسعه یافت.

منبع  : تک ناک

برای مشاهده کامل مطب کلیک کنید

اشتراک‌گذاری

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *