با گسترش استفاده از مدل‌های زبانی بزرگ (LLM) و ابزار‌های مبتنی بر این مدل‌ها مانند ChatGPT ، کاربران گاهی با پدیده غیرمنتظره تغییر ناگهانی زبان، خروجی‌های ناهماهنگ و پاسخ‌های نامربوط مواجه می‌شوند. این مسئله به‌ویژه در گفتگوهای طولانی بیشتر خود را نشان می‌دهد.
دکتر «امیر محمد صالح‌اوف»، تیم پردازش زبان طبیعی در مرکز تحقیقات هوش مصنوعی پارت، ضمن تأیید بروز این اختلال، توضیح می‌دهد که پدیده‌ای که کاربران با آن روبه‌رو می‌شوند، به اصطلاح Off language شهرت دارد. این اتفاق زمانی رخ می‌دهد که مدل در حین تولید خروجی، درکی نادرست از زبان و بستر مکالمه پیدا کرده و دچار اختلال در ادامه طبیعی گفت‌وگو می‌شود. این مشکل حتی در صورت تعیین زبان مشخص، مانند فارسی، باز هم ممکن است بروز کند.
به گفته او، این مسئله نه مختص مدل‌های کوچک یا داخلی، بلکه در اکثر مدل‌های بزرگ و بین‌المللی نیز مشاهده می‌شود. دلیل اصلی آن به ساختار چندزبانه مدل‌ها بازمی‌گردد. این مدل‌ها زبان‌ها را به شکل تفکیک‌شده مانند انسان نمی‌آموزند و همین موضوع باعث می‌شود که نتوانند به‌صورت دقیق تشخیص دهند که یک جمله باید صرفاً در چارچوب یک زبان باقی بماند.
مدل‌های زبانی بر اساس احتمالات عمل می‌کنند. در هر مرحله از تولید متن، انتخاب کلمه بعدی بر مبنای بالاترین احتمال صورت می‌گیرد. گاهی در این فرآیند، کاراکترهایی از زبان‌های دیگر مانند ژاپنی یا چینی ظاهر می‌شوند که اگر ترجمه آن‌ها بررسی شود، حتی ممکن است با مفهوم مورد نظر منطبق باشد. با این حال، مدل‌ها هنوز در تولید خروجی با ساختار زبانی یکپارچه ضعف دارند و نمی‌توانند مفهوم را آن‌طور که انسان درک می‌کند، منتقل کنند.
این پدیده، یک مشکل جدید نیست و از زمان ظهور مدل‌های زبانی چندزبانه وجود داشته است. با وجود تلاش‌های فراوان در صنعت هوش مصنوعی، تاکنون راه‌حل روشن و جامعی برای رفع این چالش ارائه نشده و همچنان یکی از مسائل پیچیده در توسعه LLMها به شمار می‌رود.
