همکاری مهندسان اوپن‌ای‌آی و تیم قرمز چطور به ایمن‌سازی ChatGPT Agent کمک کرد؟

شرکت اوپن‌ای‌آی چند روز پیش از عامل هوش مصنوعی جدیدی به نام «ChatGPT Agent» رونمایی کرد که به کاربران پولی این شرکت اجازه می‌دهد با استفاده از بخش «ابزارها» یا «Tools» در این چت‌بات و انتخاب حالتی که به هوش مصنوعی عاملیت می‌دهد به نام «Agent mode» بتوانند وظایفی مثل پاسخ به ایمیل، دانلود، اصلاح فایل و غیره را به هوش مصنوعی واگذار کنند.

شرکت اوپن‌ای‌آی چند روز پیش از عامل هوش مصنوعی جدیدی به نام «ChatGPT Agent» رونمایی کرد که به کاربران پولی این شرکت اجازه می‌دهد با استفاده از بخش «ابزارها» یا «Tools» در این چت‌بات و انتخاب حالتی که به هوش مصنوعی عاملیت می‌دهد به نام «Agent mode» بتوانند وظایفی مثل پاسخ به ایمیل، دانلود، اصلاح فایل و غیره را به هوش مصنوعی واگذار کنند.

به گزارش پیوست، معرفی یک عامل هوش مصنوعی گامی مهم برای توسعه دهنده پرمخطاب‌ترین چت‌بات جهان است اما در حالی که عامل‌های هوش مصنوعی می‌توانند وظایفی را از سمت کاربر برعهده گرفته و به انجام برسانند، حساسیت امنیتی آنها افزایش می‌یابد. ابزاری که حالا با اجازه شما به حساب‌های مختلف کاربری مثل ایمیل دسترسی دارد و خود دستوراتی را به اجرا می‌گذارد، در صورت اشتباه تبعات مهمی را به دنبال دارد.

اهمیت این مساله باعث شده است تا تیم ویژه‌ای در اوپن‌ای‌آی بر تضمین امنیت این ابزار تمرکز کنند. برای مقابله با این چالش‌ها، اوپن‌ای‌آی از یک تیم خبره موسوم به «تیم قرمز» (Red Team) بهره گرفته است؛ گروهی متشکل از ۱۶ پژوهشگر امنیتی با مدرک دکترای مرتبط با ایمنی زیستی که وظیفه داشتند در یک بازه‌ زمانی ۴۰ ساعته، سامانه را به طور کامل آزمایش و نقاط ضعف آن را شناسایی کنند.

منبع  : ماهنامه پیوست

برای مشاهده کامل مطلب کلیک کنید

اشتراک‌گذاری

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *