Спросите языковую модель, сколько будет два плюс два, — она ответит «четыре». Но внутри не происходит ни сложения, ни «понимания» арифметики в привычном смысле. Модель решает одну-единственную задачу: по данному тексту оценить вероятность каждого возможного продолжения — и выбрать одно из наиболее вероятных. Потом ещё одно. И ещё. Весь диалог с ИИ — это цепочка таких предсказаний.

Токены — алфавит модели

Модель не видит ни букв, ни слов. Текст сначала режется на токены — куски, которые встречаются в языке достаточно часто: целые слова, части слов, знаки препинания. Русское «электростанция» может развалиться на три-четыре токена, английское «the» — почти всегда один. Каждому токену соответствует вектор — длинный список чисел, и дальше модель работает только с этими числами.

На выходе — снова числа: по одному на каждый токен словаря. Их превращают в вероятности, и из верхушки распределения выбирается продолжение:

# суть выходного слоя модели — в три строки
logits = model(context)          # оценка каждого токена словаря
probs = softmax(logits)          # оценки -> вероятности (в сумме 1)
next_token = sample(probs)       # выбор продолжения из верхушки

Параметр «температура», который встречается в настройках, управляет именно этим последним шагом: низкая температура заставляет модель брать самый вероятный токен (предсказуемо, суховато), высокая — чаще рисковать (живее, но легче соврать).

Откуда тогда берётся «ум»

Кажется, что предсказатель следующего слова — это автозаполнение-переросток. Фокус в масштабе. Чтобы хорошо предсказывать продолжение любого человеческого текста, модели приходится выучить очень многое о мире: грамматику, факты, стиль, логические связи, структуру программного кода. Всё это упаковывается в сотни миллиардов числовых параметров во время обучения.

Модель никогда не «решает задачу». Она порождает текст, который статистически похож на решение задачи. Удивительно то, как часто этого достаточно.

Механизм, который сделал это возможным, называется вниманием (attention): на каждом шаге модель взвешивает, какие из предыдущих токенов важны для предсказания следующего. Именно внимание позволяет ей помнить, что «он» в конце абзаца отсылает к «профессору» в начале, и согласовывать скобки в коде на сотой строке.

Что из этого следует читателю

  • Модель не различает «знаю» и «звучит правдоподобно» — проверка фактов остаётся на человеке.
  • Она не учится в разговоре: параметры заморожены, «память» — это просто текст, который ей показывают заново.
  • Качество ответа сильно зависит от контекста: чем точнее сформулирована задача, тем у́же распределение вероятностей — и тем меньше пространства для фантазий.

Понимание этой механики — лучшая прививка и от восторга «оно разумно!», и от скепсиса «это просто попугай». Это ни то ни другое: это новый тип инструмента, у которого стоит знать устройство.