جمعه 19 اردیبهشت 1404 – 09:15
کشینگ، که یک روش استاندارد در صنعت هوش مصنوعی است، به طور کلی به معنای ذخیرهسازی دادههای تکراری یا محاسبات از پیش انجامشده است تا نیاز به پردازش مجدد اطلاعات کاهش یابد. بهعنوان مثال، اگر کاربری سوالی را از یک مدل هوش مصنوعی بپرسد که قبلاً پاسخ داده شده است، کش میتواند آن پاسخ را ذخیره کرده و دوباره محاسبه نشود.
به نقل از تککرانچ، گوگل در پست وبلاگی خود توضیح داد که زمانی که یک درخواست جدید به مدلهای جمنی ۲.۵ ارسال میشود و آن درخواست با یکی از درخواستهای قبلی همپوشانی داشته باشد، هزینههای مربوط به آن درخواست کاهش پیدا میکند. این ویژگی از حداقل ۱۰۲۴ توکن برای مدل ۲.۵ فلش و ۲۰۴۸ توکن برای مدل ۲.۵ پرو پشتیبانی میکند. توکنها در واقع بخشهای دادهای هستند که مدلهای هوش مصنوعی با آنها کار میکنند، و ۱۰۰۰ توکن معادل حدود ۷۵۰ کلمه است.
برای مشاهده کامل مطب کلیک کنید