Язык запроса меняет политический уклон ответов LLM

Одна и та же модель по-разному оценивает войну в Украине, если поменять язык запроса. Эффект повторился у GPT, Claude и Gemini на 112 языках; препринт Maxim Chupilkin не прошёл рецензирование, а приведённые числа получил сам автор. Для глобального продукта это означает, что единая модель не гарантирует одинакового поведения во всех локализациях.

Моделям предложили оценить 20 утверждений о войне и собрали 67 200 ответов. Затем ответы разделили на склоняющиеся к позиции России или Украины и сравнили их соотношение между языками.

Когда языки сгруппировали по странам, где они имеют официальный статус, ответы стали напоминать реальные геополитические линии раздела. Более благоприятное отношение общества к России сочеталось с большей долей ответов, склоняющихся к российской позиции. Та же связь прослеживалась со степенью поддержки Украины при голосованиях в ООН и объёмом помощи стране.

Общая картина сохранилась у всех трёх моделей и не исчезла, когда из анализа по очереди убирали отдельные пары утверждений. Это снижает вероятность того, что результат создала одна неудачная формулировка, но не доказывает предложенный механизм: политически окрашенные тексты могли попасть в обучающие данные, однако причинную связь работа не устанавливает.

Проверяли только оценки войны в Украине на GPT, Claude и Gemini; поскольку заметка подготовлена по абстракту, по нему нельзя восстановить точные формулировки запросов и правила классификации ответов. Масштаб различий между отдельными языками в доступном описании также не указан.

Для разработки главный вывод практический: язык следует проверять как фактор поведения модели, а не только как настройку интерфейса. Если продукт отвечает на политические, исторические или общественно значимые вопросы, тесты на одном языке не показывают, что увидят пользователи остальных версий.

Источники

• Geopolitical Divisions Across Languages in Large Language Models