Hallucination چیست ؟
گاهی یک مدل هوش مصنوعی پاسخی میدهد که خیلی مطمئن و مرتب به نظر میرسد، اما بخشی از آن واقعیت ندارد. به این اتفاق در دنیای AI معمولاً Hallucination یا توهم مدل گفته میشود.
مثلاً ممکن است از مدل درباره یک کتاب سؤال کنید و نام نویسندهای را بگوید که اصلاً نویسنده آن کتاب نیست، یا منبعی را معرفی کند که وجود ندارد. مشکل اینجاست که لحن پاسخ میتواند آنقدر طبیعی باشد که اشتباه فوراً دیده نشود.
مدلهای مولد معمولاً خروجی را بر اساس الگوها و احتمالها میسازند. آنها یک موتور جستوجوی کامل یا پایگاه داده تضمینشده از واقعیت نیستند. بنابراین روانبودن جمله با درستبودن آن یکی نیست.
برای کاهش این مشکل میتوان اطلاعات مهم را از منبع معتبر بررسی کرد، مدل را به اسناد مشخص متصل کرد، از روشهایی مثل RAG استفاده کرد یا پاسخها را با Evals و بررسی انسانی آزمایش کرد. با این حال هیچ روش سادهای تضمین نمیکند توهم همیشه صفر شود.
پس اگر AI درباره عدد، تاریخ، قانون، نقلقول، آدرس قرارداد یا هر موضوع حساس دیگری ادعایی کرد، بهتر است آن را صرفاً به دلیل لحن مطمئن قبول نکنید. اعتماد به پاسخ باید از بررسی منبع بیاید، نه از اعتمادبهنفس ظاهری مدل.