گاهی یک نام اشتباه در پاسخ هوش مصنوعی میتواند به چیزی بسیار بزرگتر از یک خطای ساده تبدیل شود. مدلهای زبانی ممکن است بهجای توقف و اعلام ناتوانی، اطلاعات موجود را با دادههای احتمالی ترکیب کرده و روایتی ظاهراً منطقی بسازند.
این مشکل به پدیدهای موسوم به توهم هوش مصنوعی (AI Hallucination) مربوط میشود؛ یعنی زمانی که مدل پاسخی نادرست یا ساختگی ارائه میکند، اما آن را با لحنی مطمئن و شبیه یک واقعیت بیان میکند.