Журнал · Rit.work
RAG простыми словами: как научить LLM работать с файлами
RAG (Retrieval-Augmented Generation) — технология, которая решает эту проблему. В этом видео разбираем: — почему fine-tuning и контекстное окно не всегда подходят — как работает RAG: Retrieval → Augmented → Generation — что такое эмбеддинги и почему это «магия математики» — как правильно резать текст на чанки, чтобы не терять смысл — практический пример с Google File Search
← Ко всем материалам
В обрезанной MoE решает не только маска экспертов
Сравнение на фиксированных масках показало, как замена удалённых экспертов и масштаб весов маршрутизатора меняют качество сжатой MoE.
Теория объяснила пределы позиционного кодирования на длинных последовательностях
Формальная модель показывает, почему относительное кодирование переносит постоянные смещения, а абсолютное — фиксированные позиции, и где оба подхода перестают работать.
Калибровка вероятностей улучшила выбор биологических экспериментов
На EDB-Bio модель Ibis0 точнее оценивала биологические гипотезы и эффективнее выбирала следующий эксперимент, но результат пока ограничен тремя типами биологических данных.