دوره LLM Serving, Deployment & Scaling – Ollama, vLLM & Ray Serve. این دوره آموزشی یک برنامه جامع و پیشرفته برای یادگیری اصول سرویسدهی، استقرار و مقیاسپذیری مدلهای زبانی بزرگ با استفاده از ابزارهایی مانند Ollama، vLLM و Ray Serve است. این دوره تخصصی از مجموعه Uplatz روی فناوریها، مفاهیم و الگوهای معماری کاربردی تمرکز دارد که برای اجرا، سرویسدهی، استقرار و مقیاسپذیری مدلهای زبانی بزرگ (LLM) به کار گرفته میشوند. مدلهای زبانی بزرگ زمانی کارایی لازم را از خود نشان میدهند که به شکلی مطمئن و بهینه در اختیار برنامهها، کاربران و سیستمهای تجاری قرار گیرند. فراگیران در این دوره آموزشی با مبانی پایهای استنتاج (Inference) و سرویسدهی از جمله توکنایزیشن، تولید توکن، تاخیر (Latency)، توان عملیاتی (Throughput)، دستهبندی درخواستها (Batching)، حافظه پنهان KV (KV Cache)، کوانتایزیشن (Quantisation) و پاسخهای جریانی (Streaming Responses) آشنا میشوند. در ادامه، ابزار Ollama به عنوان یک بستر ساده و در دسترس برای اجرای محلی مدلها معرفی میشود و شرکتکنندگان نحوه نصب، مدیریت مدلها، استفاده از محیط خط فرمان، فراخوانی API و یکپارچهسازی مدلهای محلی با پایتون را میآموزند. همچنین استانداردهای مربوط به APIهای سازگار با OpenAI آموزش داده میشود تا برنامهها بتوانند با استفاده از فرمتهای استاندارد درخواست و پاسخ، با زیرساختهای مختلف ارتباط برقرار کنند. بخش بعدی دوره بر سرویسدهی با عملکرد بالا به وسیله vLLM متمرکز است که شامل مفاهیمی چون PagedAttention، دستهبندی پیوسته (Continuous Batching) و بهینهسازی حافظه GPU میشود. سپس Ray Serve برای استقرار توزیعشده، ارکستراسیون، مسیریابی درخواستها، مقیاسپذیری خودکار (Autoscaling) و مدیریت خطا معرفی میگردد. در نهایت، با استفاده از FastAPI، Docker و Docker Compose اجزای مختلف سیستم بستهبندی شده و دوره با یک پروژه جامع تولیدی به پایان میرسد.