این مطالعه با گفتن «ما مؤدبانه اصرار می‌کنیم: مدل زبان بزرگ شما باید هنر ایرانی تعارف را بیاموزد» به بازدید کارکرد مدل‌های زبانی همانند GPT-۴o، Claude ۳.۵، Llama ۳ و نسخه فارسی‌محور «درنا» در موقعیت‌های اجتماعی پرداخت.

یافته‌ها مشخص می کند که این مدل‌ها در فهمیدن تعارف‌های ظریف ایرانی، جایی که «نه» امکان پذیر به معنی «بله» باشد، عملکردی زیاد ضعیف دارند و دقت آن‌ها تنها بین ۳۴ تا ۴۲ درصد است، در حالی که فارسی‌زبانان بومی در ۸۲ درصد اوقات جواب درست خواهند داد.

تعارف ایرانی، بخشی از آداب روزمره است که در تعامل های روزانه، از تاکسی و بازار گرفته تا مهمانی‌ها و گفتگوهای دوستانه دیده می‌شود. یک مثال ساده آن، موقعیت تاکسی است؛ هنگامی راننده می‌گوید «مهمان ما باشید»، یک غیرایرانی امکان پذیر فکر کند که باید سپاس کند و کرایه را پرداخت نکند، اما ایرانی‌ها می‌دانند که جواب درست، مؤدبانه اصرار کردن برای پرداخت است. این رقص کلامی و فرهنگی، نشان‌دهنده فاصله بین گفتار و خواسته است و در زبان‌شناسی به «کاربردشناسی بین‌فرهنگی» معروف است.

نتایج این پژوهش نشان داد که حتی مدل‌هایی که از نظر مؤدب بودن بیشترین رتبه‌ها را کسب کردند، در موقعیت‌های تعارف به‌طور نظام‌مند ناکام ماندند. برای مثال، Llama 3 با ابزار Polite Guard، در حالی که ۸۴٫۵ درصد جواب‌هایش مؤدب تشخیص داده شد، تنها ۴۱٫۷ درصد آن‌ها انتظارات فرهنگی ایرانیان را برآورده کرد. پژوهشگران این شکاف را ناشی از تمایل مدل‌ها به جواب‌های صریح و مستقیم می‌دانند، در حالی که فرهنگ ایرانی بر توازن بین امتناع و اصرار، فروتنی و ادب پافشاری دارد.

این مطالعه هشدار می‌دهد که خطاهای فرهنگی در هوش مصنوعی، به اختصاصی در موقعیت‌های حساس و بین‌فرهنگی، می‌تواند تبدیل سوءتفاهم، خدشه‌دار شدن روابط و تحکیم کلیشه‌ها شود. پژوهشگران بر این باورند که برای هوش مصنوعی‌ای که در سطح جهانی به‌کار گرفته می‌شود، توانایی فهمیدن ظرایف فرهنگی از جمله تعارف ایرانی، الزام و چالش جدی است.

این تحقیق، نخستین معیار سنجش «بنچمارک تعارف» را معارفه می‌کند و مسیر تازه‌ای برای آموزش هوش مصنوعی در تعامل های فرهنگی و اجتماعی باز کرده است.