در رقابت برای توسعه مدلهای هوش مصنوعی کارآمدتر و کمهزینهتر، شرکتهای پیشرو مانند اوپنایآی، مایکروسافت و متا به ترفند جدیدی به نام «تقطیر دانش» یا Distillation روی آوردهاند. چین و شرکت دیپسیک از جمله اولین بازیگرانی بودند که از چنین ترفندی برای تولید مدلهای قدرتمند خود استفاده کردند، موضوعی که باعث کاهش ارزش سهام شرکتهای فناوری بزرگ در سیلیکون ولی شد. با اینکه استفاده از چنین ترفندی برای شرکتهای فناوری مزایای زیادی دارد و راهکاری است برای توسعه مدلهای کوچک و کارآمد، اما ارزش سرمایهگذاریهای میلیارد دلاری پیشگامان این صنعت با فراگیر شدن چنین ترفندی زیر سوال میرود.
به گزارش پیوست، پس از عرضه مدل R1 از شرکت دیپسیک، توجه بسیاری به کاهش هزینهها جلب شد و پس از یک وقفه کوتاه اوپنایآی مدعی شد که دیپسیک با تقطیر دانش مدلهای این شرکت موفق به توسعه مدلهای ارزانقیمت شده است. این ترفند که پس از موفقیت شرکت چینی بسیاری را شگفتزده کرد به شرکتها اجازه میدهد تا مدلهایی را در مقیاس کوچکتر و کمهزینهتر توسعه دهند و در عین حال قابلیتهای قدرتمند مدلهای بزرگ را حفظ کنند.
در فرآیند تقطیر دانش، یک مدل بزرگ زبانی در نقش آموزگار (Teacher Model) دادههایی را تولید میکند که سپس برای آموزش یک مدل کوچکتر در نقش دانشآموز (Student Model) مورد استفاده قرار میگیرد. نتیجه این کار، مدلهایی است که سرعت پردازش بالاتر و هزینهی کمتری دارند، در حالی که در برخی کاربردهای خاص همچنان عملکرد قابلتوجهی از خود نشان میدهند.