Журнал · Rit.work

Ближайший правильный ответ не даёт циклической модели смешивать решения

Proximal Targets меняет учебную цель каждого прохода и позволяет одной циклической модели находить разные допустимые решения вместо их неверной смеси.

Rit.work
Студия разработки
18 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Малую модель научили последовательно исправлять черновик задачи с несколькими правильными ответами, не смешивая их в один неверный. В препринте Syed Affan Daimi из IIIT Hyderabad, где работа не прошла рецензирование, а числа получил сам автор, модель с новой учебной целью решила 98,8% многовариантных Sudoku против 2,5% у стандартного подхода. Для команд это переносит проблему с размера модели на выбор цели обучения: архитектуру можно оставить прежней.

Почему один сохранённый ответ мешает обучению

Циклическая модель-уточнитель начинает со случайного или пустого черновика и несколько раз применяет к нему одну небольшую сеть. Каждый проход читает условие, текущий ответ и внутреннее состояние, после чего записывает исправленный вариант.

Обычно каждый проход сравнивают с единственным ответом, сохранённым в датасете. Для задачи с уникальным решением это разумная цель. Если допустимых ответов несколько, выбор конкретного варианта часто нельзя восстановить из условия или текущего черновика.

Тогда модель учится не исправлять черновик, а угадывать произвольный выбор генератора данных. В простом случае с двумя ячейками и двумя ответами, где символы стоят в разном порядке, оптимальный прогноз распределяет вероятность между обоими символами. После выбора самых вероятных значений получается их смесь, которая не соответствует ни одному допустимому ответу.

У такого обучения возникает ненулевой минимальный штраф, который нельзя убрать увеличением сети. В экспериментах увеличение числа параметров вчетверо почти не изменило результат. Случайный выбор другого сохранённого ответа на каждом проходе тоже не помог: цель по-прежнему не зависела от состояния, которое видит модель.

Как ближайшая цель превращает проход в ремонт

Proximal Targets выбирает для каждого прохода правильный ответ, ближайший к его входному черновику. Модель больше не должна угадывать, какой вариант записан в датасете: цель однозначно определяется состоянием, которое она уже получила.

Если черновик сам является правильным ответом, он становится собственной целью. Поэтому каждый допустимый вариант служит устойчивой фиксированной точкой: следующий проход должен сохранить его, а не переписать в другой ответ. Разные случайные старты могут попасть к разным решениям без отдельной вероятностной сети.

Модели не нужно решать всю задачу за один проход. Достаточно оставить меньше ошибочных ячеек, чем было во входном черновике. Если проход исправляет часть ячеек в сторону выбранного ответа, цель не меняется, поэтому последовательные исправления складываются, а не тянут модель к разным вариантам.

Цель можно получить тремя способами. При небольшом числе решений обучение перебирает полный список и выбирает ближайшее. Если список слишком велик, поиск запускают с текущего черновика и используют первый найденный ответ. Для решений разного качества задают допустимый диапазон рейтинга, а затем ищут ближайший вариант внутри него.

На разреженных Sudoku с множеством решений цель через поисковый алгоритм дала 93,8% решённых задач, тогда как стандартная цель не решила ни одной. В раскраске графов модель сохранила результат 90,9% на графах вчетверо крупнее учебных; стандартный вариант достиг 36,9%. Случайные старты при этом приводили не только к правильным, но и к разным ответам.

Когда команде стоит менять план обучения

Работа меняет план, если продукт уже использует короткий цикл уточнения, контролирует каждый проход и допускает несколько равноценных результатов. Это относится к решателям ограничений, генерации расписаний, конфигурациям и игровым ходам, если для них можно построить точный проверяющий или поисковый алгоритм.

Менять саму сеть не требуется. Основные опыты использовали TRM примерно на 1,73 млн параметров и восемь проходов; различалась учебная цель. Поиск нужен во время подготовки каждого прохода, но при применении остаётся только обученная модель и её обычный цикл.

Главное инженерное условие — доступ к полному множеству ответов или к алгоритму, который умеет продолжить поиск из произвольного черновика. Неполная случайная выборка решений возвращает смешивание: модель снова не понимает, почему один близкий ответ присутствует в данных, а другой отсутствует. Для управления качеством также нужен надёжный рейтинг допустимых результатов.

Границы проверки узкие: Sudoku, раскраска графов и Scrabble, небольшие специализированные сети и комбинаторные ответы, которые можно строго проверить. На отдельном тесте с N-Queens модель почти не переносилась на семейства решений, которых не видела при обучении, а GRAM немного лучше покрыл варианты на собственном тесте раскраски.

Поэтому работа не обосновывает смену архитектуры универсальной LLM. Она предлагает более локальное решение: если циклический решатель застревает между несколькими допустимыми ответами, сначала стоит заменить цель каждого прохода, а не наращивать параметры или добавлять шум. Проверять нужно две метрики отдельно — долю корректных запусков и число разных допустимых решений.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу