Коротко про LLM

От нейрона Мак-Каллока до on-device LLM

Нейросети развивались не линейно: были взлёты, были долгие паузы. Каждый следующий шаг решал ограничение предыдущего — примерно как авиация шла от планеров к реактивным двигателям. Пройдитесь по таймлайну: на каждой точке — короткая история.

BERT, GPT и T5 — три разных подхода к одной задаче

Прежде чем говорить «модель», полезно понять: моделей три разных типа, и они решают разные задачи. Это три философии — смотреть на текст целиком, продолжать его слева направо, или переписывать одно в другое.

Создание модели: от корпуса текстов до первой генерации

Большая языковая модель не пишется вручную — её обучают на огромных массивах текста. Это называется pre-training. Модель не «запоминает факты», она выучивает статистику: какие последовательности слов естественны.

Пять этапов

• Сбор корпуса: книги, википедия, код, форумы, документация. Триллионы токенов.
• Обучение токенизатора: он режет текст на кусочки — токены. Модель работает именно с ними, а не с буквами.
• Выбор архитектуры: сколько слоёв, сколько «голов» внимания, какая ширина вектора.
• Pre-training: модель учится предсказывать следующий токен на триллионах примеров.
• Оценка качества: бенчмарки, «красные команды», проверка на утечки данных.

Аналогия: pre-training — это как прочитать всю библиотеку и запомнить не содержание книг, а то, «как устроен язык». После этого модель умеет говорить складно, но ещё не знает, чего вы от неё хотите.

Датасет и обучение: чему и как учится модель

Модель учится на примерах. Набор таких примеров называется датасетом. От того, что в нём лежит, зависит всё: если в данных ошибки, шум или повторы — модель выучит ошибки, шум и повторы. Это и означает «мусор на входе — мусор на выходе».

Путь сырых данных

Сырой текст — это любой текст: книги, статьи, форумы, документация, код. Прежде чем стать датасетом, он проходит четыре шага: очистка → удаление дубликатов → токенизация → превращение в упражнения «вход — цель».

Очистка — убрать мусор: рекламу, скрипты, битые куски HTML. Удаление дубликатов — убрать повторы, иначе модель увидит один и тот же текст тысячи раз и решит, что это самое важное в мире.

Токенизация — разбить текст на маленькие кусочки (токены). Модель работает не с буквами и не со словами целиком, а с токенами — это может быть слово, часть слова или знак препинания.

Упражнения «вход — цель» — из текста делают задания. Например, показывают начало предложения и просят угадать, что идёт дальше. Так модель учится на каждом предложении, а не просто «читает».

Два этапа обучения

Pre-training (предварительное обучение). Модель миллиарды раз видит: «Кошка сидела на …» — и учится предсказывать «коврике». Никто не подсказывает ей правильный ответ в явном виде: он взят из реального текста. Так модель осваивает язык — грамматику, факты, стиль — но пока не умеет отвечать на вопросы.

Instruction tuning (дообучение на инструкциях). Второй этап: модель учат не просто продолжать текст, а выполнять задания. Для этого собирают пары «вопрос → ответ» — их пишут люди или генерируют с помощью другой LLM. Так модель превращается из «продолжателя текста» в «помощника».

Как модель учится

• Loss (ошибка) — число, которое показывает, насколько сильно модель ошиблась на текущем примере. Чем меньше это число, тем точнее модель угадывает. Ошибку измеряют на каждом примере и на всём датасете.
• Gradient descent (метод градиентного спуска) — способ исправлять ошибку. Модель смотрит, где ошиблась, и чуть-чуть подкручивает свои внутренние настройки в нужную сторону. Потом снова делает предсказание — и снова подкручивает. Аналогия: ребёнок учится бросать мяч в корзину. Первый бросок — мимо, он чуть меняет силу и угол. Второй — ближе. И так сотни раз, пока не начнёт попадать стабильно.
• Переобучение (overfitting) — модель зазубрила конкретные примеры из датасета, но не поняла общий принцип. Как школьник, который выучил ответы на билеты и не может решить похожую задачу с другими числами. Лечится так: дать модели больше разнообразных примеров и следить, чтобы она учила правило, а не заучивала каждый ответ.

Токены, эмбеддинги, внимание

Трансформер — архитектура, лежащая в основе всех современных LLM. Три ключевые идеи: разбить текст на токены, превратить их в векторы (эмбеддинги) и дать каждому токену «посмотреть» на остальные (внимание).

Внимание: кто на кого смотрит

Внимание — это механизм, благодаря которому каждый токен учитывает остальные и решает, что важно. Аналогия: на совещании вы слушаете не всех одинаково, а тех, кто ближе к вашему вопросу. Кликните по слову — увидите, к кому оно обращается.

Что ещё внутри слоя

Между блоками внимания стоит feed-forward сеть — она обрабатывает каждый токен отдельно. Плюс residual-связи и нормализация, чтобы обучение не «разваливалось». Стек из десятков таких слоёв и есть трансформер.

Как научить готовую модель вашей задаче

Базовая модель знает язык, но не знает вашу задачу. Дообучение — способ сказать ей: «вот примеры того, как я хочу, чтобы ты отвечала». Есть три уровня, от простого к сложному.

• Prompting — вы просто пишете хороший запрос. Нулевое обучение, работает часто.
• PEFT / LoRA — обучаем небольшую «нашлёпку» поверх модели. Аналогия: не переучивать врача с нуля, а дать курс по новой специализации.
• Full fine-tuning — переобучаем все веса. Дорого, редко нужно.
• RLHF / DPO — выравнивание по предпочтениям. Наставник показывает, какой ответ лучше, и модель подстраивается.

Ориентир: если задача — «дать знания», обычно лучше RAG (см. ниже), а не дообучение. Если задача — «изменить стиль или формат» — LoRA. Если «научить новому поведению» — RLHF/DPO.

RAG, MCP, harness, агенты: четыре слоя вокруг модели

Расширить LLM — значит дать ей доступ к знаниям, инструментам и памяти. Это делается не одним инструментом, а четырьмя слоями, которые работают только в связке. RAG (Retrieval-Augmented Generation) отвечает за знания: модель достаёт факты из внешней базы. MCP (Model Context Protocol) — за протокол: единый стандарт подключения инструментов. Harness — за инфраструктуру: правила, память, цикл шагов. Агенты — за поведение: режим, в котором модель сама решает, что вызвать. Слои дополняют друг друга: знания без протокола не подключить, инфраструктура без поведения статична.

Итог

LLM — не магия, а многослойная конструкция: статистика языка + механизм внимания + обучение на данных + инструменты. Поняв каждый слой отдельно, вы перестаёте удивляться, почему модель иногда ошибается, — и начинаете использовать её осознанно.

Пишите, если хотите обсудить проект или предложить сотрудничество.