Что означает «большая»

Слово «большая» относится к количеству параметров модели и объёму обучающих данных. Параметры — числовые величины, которые настраиваются при обучении и влияют на результат работы нейросети. Строгого порога, после которого языковая модель считается большой, нет. [S1, S2]

Большая языковая модель, сокращённо БЯМ или LLM, — один из инструментов искусственного интеллекта, а не синоним всей этой области. Одна модель может выполнять разные задачи: от перевода до ответов на вопросы. Но широкий набор возможностей сам по себе не делает её универсальным интеллектом. [S1, S2]

Как текст превращается в ответ

Сначала текст разбивается на токены — слова, части слов, символы или знаки. Этот процесс называется токенизацией. Токенам присваиваются числовые обозначения, с которыми и работает нейросеть. [S1, S2]

Большинство БЯМ использует трансформер — архитектуру нейросети с механизмом внимания. Этот механизм помогает учитывать связи между токенами в доступном фрагменте текста, который называют контекстным окном. Генеративные модели типа GPT предсказывают следующий токен по предыдущим и так последовательно строят ответ. [S1, S2]

Как модель обучают

Во время предварительного обучения модель обрабатывает большие массивы текста и осваивает языковые закономерности. Например, GPT учится предсказывать продолжение, а BERT — восстанавливать пропущенные части текста. Для такой подготовки не требуется, чтобы человек отдельно размечал каждый пример: учебная задача формируется из самого текста. [S1, S2]

Затем модель могут дополнительно обучить следовать инструкциям — это называется тонкой настройкой. Один из методов, RLHF, использует обратную связь от людей: сначала по их оценкам обучают отдельную модель предсказывать, какие ответы предпочтительнее. После этого языковую модель настраивают так, чтобы её ответы лучше соответствовали этим оценкам. [S2]

Где используют языковые модели

БЯМ помогают переводить тексты, составлять краткие пересказы, извлекать сведения и отвечать на вопросы. Их также применяют для создания контента и программного кода. Задачу часто можно задать обычной текстовой инструкцией, при необходимости добавив примеры нужного результата. [S1, S2]

Модель может быть частью более сложной программной системы. Дополнительные программы дают ей доступ к веб-поиску, внешним данным и другим инструментам. Поэтому возможности готового чат-бота зависят не только от самой нейросети, но и от того, с чем она соединена. [S2]

Что важно знать сейчас

Языковые модели могут наследовать неточности и предвзятости обучающих данных. Их ответы поэтому не всегда надёжны: способность связно продолжать текст не гарантирует фактической точности. Для оценки моделей используют тесты, проверяющие в том числе точность, рассуждения и безопасность. [S1, S2]

Многие современные модели работают не только с текстом, но и с изображениями, звуком или видео — такие системы называют мультимодальными. При этом модель не обязательно запускается в удалённом центре обработки данных: некоторые модели с открытыми весами, то есть доступными для скачивания значениями параметров, можно использовать на личном компьютере. Возможность локального запуска зависит от модели и доступной памяти. [S1, S2]