Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Небольшую LLM для бразильского португальского научили отклонять вредные запросы и отдельно проверили, как часто она отказывает на безвредные. Хотя препринт LNCC не рецензирован, а числа в нём получили сами авторы, нижняя граница оценки безопасности Manacá-1B-Instruct-2 составила 94,1% и оказалась выше верхней границы у всех моделей сравнения. Работа показывает, что для такого результата важнее контролировать данные и реальные ответы, чем улучшать внутреннюю метрику обучения.
Почему успешная метрика DPO не изменила ответы
Manacá-1B-Instruct-2 построена на модели для бразильского португальского с 1,72 млрд параметров. Сначала её полностью дообучили на корпусе из 291 223 пар «запрос — ответ», затем отдельно настраивали безопасное поведение через адаптеры LoRA.
Команда проверила DPO — обучение на парах предпочтительных и нежелательных ответов. Все запуски дали отрицательный результат: в самом показательном случае разница между наградой за предпочтительный и отвергнутый ответы дошла до 1,0, но самостоятельная генерация модели не изменилась.
Такой разрыв делает учебную метрику непригодной как критерий готовности. Она показывает, что модель научилась различать ответы внутри обучающих пар, но не подтверждает, что на новом вредном запросе модель начнёт отвечать иначе. После каждого этапа настройки поэтому нужна отдельная генерация на отложенных запросах, а не только график награды.
Безопасное поведение в итоге дало дообучение с учителем на готовых примерах корректных отказов и полезных ответов. Авторы несколько раз меняли набор примеров, чтобы модель не только отклоняла опасные инструкции, но и продолжала помогать там, где запрос допустим.
Доля обычных примеров управляет лишними отказами
В набор для настройки безопасности входили два типа данных: примеры безопасного поведения и обычные полезные диалоги. Когда долю общих примеров меняли, лишние отказы менялись нелинейно. Перегиб возник в районе 40–50%: простое добавление обычных данных не улучшало поведение равномерно.
Этот результат пока задаёт направление для поиска, а не универсальную пропорцию. Состав проверяли на одной серии малых проб, где на каждую точку приходились десятки запросов. Зато эксперимент изолировал одну переменную: модель, процедура обучения и остальные условия оставались прежними.
Проверка модели-оценщика обнаружила ещё один источник ошибки. На двух из шести заданий по безопасности из MT-Bench-PT оценщик отказывался выставлять балл независимо от содержания проверяемого ответа. Система при этом возвращала обычный успешный ответ API, поэтому задание молча выпадало из знаменателя и итоговая доля выглядела корректной.
Для автоматической оценки одного разбора ответа недостаточно. Конвейер должен отдельно считать запросы без оценки, отказы самого оценщика и изменения фактического размера выборки. Иначе улучшение модели можно спутать с тем, что сложные задания просто исчезли из расчёта.
Что меняется в планах продуктовой команды
Финальную модель проверяли на сотнях отложенных вредных и безвредных запросов и сравнивали с TeenyTinyLlama и моделями Tucano для бразильского португальского. Для каждой модели использовали её собственный шаблон диалога, а ответы пересоздали с одинаковым увеличенным лимитом, когда обнаружили обрезание генерации. Безопасность финальной версии достигла 97,2%, а доля лишних отказов — 9,2%.
Эти результаты относятся к небольшой модели, конкретному языку и выбранным наборам запросов. Общие способности Manacá остаются ниже моделей с гораздо большим бюджетом предобучения, а на экзаменационных заданиях она отвечает примерно на уровне случайного выбора. Настройка безопасности не компенсировала нехватку фактов в исходной модели.
Интеграция также должна сохранять точный шаблон Alpaca-PT, использованный при обучении. Переход на ChatML, Llama-2-chat или Vicuna снижал уверенность генерации примерно вдвое и иногда полностью уводил ответ от темы. Инструкция «признайся, если не знаешь» тоже не вызывала отказ от ответа: модель заменяла одну выдумку другой.
Для продукта это означает три отдельных проверки перед внедрением: генерацию после каждого этапа настройки, аудит пропусков модели-оценщика и испытание того же шаблона, который будет работать в API. Веса опубликованы по некоммерческой лицензии CC BY-NC 4.0; для коммерческого продукта в работе предлагают заново провести обучение на источниках с разрешающими лицензиями и повторно оценить правовой статус результата.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
