توضیحات
Build a Mini llama.cpp in Pure C: LLM Inference Engine from دوره آموزشی نحوه ساخت یک موتور استنتاج مدل زبان بزرگ (LLM) سبک وزن با زبان C می باشد که توسط آکادمی آنلاین یودمی منتشر شده است. این دوره که برای مهندسان نرم‌افزار، توسعه‌دهندگان هوش مصنوعی، برنامه‌نویسان سیستم و علاقه‌مندان به علوم کامپیوتر طراحی شده است، اصول اصلی استنتاج LLM کارآمد را بدون تکیه بر چارچوب‌های یادگیری ماشین سطح بالا توضیح می‌دهد. افراد یاد خواهند گرفت که چگونه مدل‌های تبدیل‌کننده استنتاج را انجام می‌دهند، عملیات تانسور را پیاده‌سازی می‌کنند، وزن‌های مدل را بارگذاری می‌کنند، ورودی را توکنیزه می‌کنند، حافظه را به طور کارآمد مدیریت می‌کنند، محاسبات ماتریس را بهینه می‌کنند و با استفاده از رمزگشایی خودهمبستگی، متن تولید می‌کنند.