شنبه 9 فروردین 1404 – 19:50
براساس گزارش Ars Technica، این تکنیک را تیمی از دانشگاههای UC San Diego و ویسکانسین توسعه دادهاند و نرخ موفقیت حملات تزریق دستور را افزایش درخورتوجهی میدهد. در این نوع حملات، هکرها دستورهای پنهانی را در متنی که مدل هوش مصنوعی مطالعه میکند، جای میدهند تا عملکردش را تغییر دهند. نتایج این حملات میتواند شامل افشای اطلاعات و ارائه پاسخهای نادرست یا اجرای دستورهای خارج از محدوده مجاز باشد.
مبنای این آسیبپذیری نحوه عملکرد فرایند تنظیم دقیق است. در این فرایند، مدل با عددی به نام «امتیاز خطا» بازخورد دریافت میکند؛ عددی که فاصله پاسخ مدل با نتیجه مطلوب را نشان میدهد. مهاجمان میتوانند از همین بازخورد برای اصلاح و بهینهسازی حملات خود بهره ببرند تا زمانی که به دستوری موفق دست یابند.
برای مشاهده کامل مطب کلیک کنید