[{"data":1,"prerenderedAt":255},["ShallowReactive",2],{"article-\u002Fai\u002Fkak-model-predskazyvaet-slovo":3,"related-\u002Fai\u002Fkak-model-predskazyvaet-slovo":248},{"_path":4,"_dir":5,"_draft":6,"_partial":6,"_locale":7,"title":8,"description":9,"lead":10,"rubric":5,"tags":11,"author":16,"date":17,"cover":18,"body":19,"_type":242,"_id":243,"_source":244,"_file":245,"_stem":246,"_extension":247,"readingTime":86},"\u002Fai\u002Fkak-model-predskazyvaet-slovo","ai",false,"","Одно слово за раз: как на самом деле работает языковая модель","Спросите языковую модель, сколько будет два плюс два, — она ответит «четыре». Но внутри не происходит ни сложения, ни «понимания» арифметики в привычном смысле. Модель решает одну-единственную задачу: по данному тексту оценить вероятность каждого возможного продолжения — и выбрать одно из наиболее вероятных. Потом ещё одно. И ещё. Весь диалог с ИИ — это цепочка таких предсказаний.","Никакой магии — большая языковая модель делает единственную вещь: предсказывает следующий фрагмент текста. Разбираем, как из этой скромной операции получаются переводы, код и связные ответы.",[12,13,14,15],"LLM","нейросети","токены","машинное обучение","Редакция","2026-07-02","\u002Fcovers\u002Fllm-next-token.svg",{"type":20,"children":21,"toc":237},"root",[22,38,45,56,61,156,161,167,179,188,200,206,226,231],{"type":23,"tag":24,"props":25,"children":26},"element","p",{},[27,30,36],{"type":28,"value":29},"text","Спросите языковую модель, сколько будет два плюс два, — она ответит «четыре». Но внутри не происходит ни сложения, ни «понимания» арифметики в привычном смысле. Модель решает одну-единственную задачу: ",{"type":23,"tag":31,"props":32,"children":33},"strong",{},[34],{"type":28,"value":35},"по данному тексту оценить вероятность каждого возможного продолжения",{"type":28,"value":37}," — и выбрать одно из наиболее вероятных. Потом ещё одно. И ещё. Весь диалог с ИИ — это цепочка таких предсказаний.",{"type":23,"tag":39,"props":40,"children":42},"h2",{"id":41},"токены-алфавит-модели",[43],{"type":28,"value":44},"Токены — алфавит модели",{"type":23,"tag":24,"props":46,"children":47},{},[48,50,54],{"type":28,"value":49},"Модель не видит ни букв, ни слов. Текст сначала режется на ",{"type":23,"tag":31,"props":51,"children":52},{},[53],{"type":28,"value":14},{"type":28,"value":55}," — куски, которые встречаются в языке достаточно часто: целые слова, части слов, знаки препинания. Русское «электростанция» может развалиться на три-четыре токена, английское «the» — почти всегда один. Каждому токену соответствует вектор — длинный список чисел, и дальше модель работает только с этими числами.",{"type":23,"tag":24,"props":57,"children":58},{},[59],{"type":28,"value":60},"На выходе — снова числа: по одному на каждый токен словаря. Их превращают в вероятности, и из верхушки распределения выбирается продолжение:",{"type":23,"tag":62,"props":63,"children":67},"pre",{"className":64,"code":65,"language":66,"meta":7,"style":7},"language-python shiki shiki-themes github-light","# суть выходного слоя модели — в три строки\nlogits = model(context)          # оценка каждого токена словаря\nprobs = softmax(logits)          # оценки -> вероятности (в сумме 1)\nnext_token = sample(probs)       # выбор продолжения из верхушки\n","python",[68],{"type":23,"tag":69,"props":70,"children":71},"code",{"__ignoreMap":7},[72,84,110,133],{"type":23,"tag":73,"props":74,"children":77},"span",{"class":75,"line":76},"line",1,[78],{"type":23,"tag":73,"props":79,"children":81},{"style":80},"--shiki-default:#6A737D",[82],{"type":28,"value":83},"# суть выходного слоя модели — в три строки\n",{"type":23,"tag":73,"props":85,"children":87},{"class":75,"line":86},2,[88,94,100,105],{"type":23,"tag":73,"props":89,"children":91},{"style":90},"--shiki-default:#24292E",[92],{"type":28,"value":93},"logits ",{"type":23,"tag":73,"props":95,"children":97},{"style":96},"--shiki-default:#D73A49",[98],{"type":28,"value":99},"=",{"type":23,"tag":73,"props":101,"children":102},{"style":90},[103],{"type":28,"value":104}," model(context)          ",{"type":23,"tag":73,"props":106,"children":107},{"style":80},[108],{"type":28,"value":109},"# оценка каждого токена словаря\n",{"type":23,"tag":73,"props":111,"children":113},{"class":75,"line":112},3,[114,119,123,128],{"type":23,"tag":73,"props":115,"children":116},{"style":90},[117],{"type":28,"value":118},"probs ",{"type":23,"tag":73,"props":120,"children":121},{"style":96},[122],{"type":28,"value":99},{"type":23,"tag":73,"props":124,"children":125},{"style":90},[126],{"type":28,"value":127}," softmax(logits)          ",{"type":23,"tag":73,"props":129,"children":130},{"style":80},[131],{"type":28,"value":132},"# оценки -> вероятности (в сумме 1)\n",{"type":23,"tag":73,"props":134,"children":136},{"class":75,"line":135},4,[137,142,146,151],{"type":23,"tag":73,"props":138,"children":139},{"style":90},[140],{"type":28,"value":141},"next_token ",{"type":23,"tag":73,"props":143,"children":144},{"style":96},[145],{"type":28,"value":99},{"type":23,"tag":73,"props":147,"children":148},{"style":90},[149],{"type":28,"value":150}," sample(probs)       ",{"type":23,"tag":73,"props":152,"children":153},{"style":80},[154],{"type":28,"value":155},"# выбор продолжения из верхушки\n",{"type":23,"tag":24,"props":157,"children":158},{},[159],{"type":28,"value":160},"Параметр «температура», который встречается в настройках, управляет именно этим последним шагом: низкая температура заставляет модель брать самый вероятный токен (предсказуемо, суховато), высокая — чаще рисковать (живее, но легче соврать).",{"type":23,"tag":39,"props":162,"children":164},{"id":163},"откуда-тогда-берётся-ум",[165],{"type":28,"value":166},"Откуда тогда берётся «ум»",{"type":23,"tag":24,"props":168,"children":169},{},[170,172,177],{"type":28,"value":171},"Кажется, что предсказатель следующего слова — это автозаполнение-переросток. Фокус в масштабе. Чтобы хорошо предсказывать продолжение ",{"type":23,"tag":31,"props":173,"children":174},{},[175],{"type":28,"value":176},"любого",{"type":28,"value":178}," человеческого текста, модели приходится выучить очень многое о мире: грамматику, факты, стиль, логические связи, структуру программного кода. Всё это упаковывается в сотни миллиардов числовых параметров во время обучения.",{"type":23,"tag":180,"props":181,"children":182},"blockquote",{},[183],{"type":23,"tag":24,"props":184,"children":185},{},[186],{"type":28,"value":187},"Модель никогда не «решает задачу». Она порождает текст, который статистически похож на решение задачи. Удивительно то, как часто этого достаточно.",{"type":23,"tag":24,"props":189,"children":190},{},[191,193,198],{"type":28,"value":192},"Механизм, который сделал это возможным, называется ",{"type":23,"tag":31,"props":194,"children":195},{},[196],{"type":28,"value":197},"вниманием",{"type":28,"value":199}," (attention): на каждом шаге модель взвешивает, какие из предыдущих токенов важны для предсказания следующего. Именно внимание позволяет ей помнить, что «он» в конце абзаца отсылает к «профессору» в начале, и согласовывать скобки в коде на сотой строке.",{"type":23,"tag":39,"props":201,"children":203},{"id":202},"что-из-этого-следует-читателю",[204],{"type":28,"value":205},"Что из этого следует читателю",{"type":23,"tag":207,"props":208,"children":209},"ul",{},[210,216,221],{"type":23,"tag":211,"props":212,"children":213},"li",{},[214],{"type":28,"value":215},"Модель не различает «знаю» и «звучит правдоподобно» — проверка фактов остаётся на человеке.",{"type":23,"tag":211,"props":217,"children":218},{},[219],{"type":28,"value":220},"Она не учится в разговоре: параметры заморожены, «память» — это просто текст, который ей показывают заново.",{"type":23,"tag":211,"props":222,"children":223},{},[224],{"type":28,"value":225},"Качество ответа сильно зависит от контекста: чем точнее сформулирована задача, тем у́же распределение вероятностей — и тем меньше пространства для фантазий.",{"type":23,"tag":24,"props":227,"children":228},{},[229],{"type":28,"value":230},"Понимание этой механики — лучшая прививка и от восторга «оно разумно!», и от скепсиса «это просто попугай». Это ни то ни другое: это новый тип инструмента, у которого стоит знать устройство.",{"type":23,"tag":232,"props":233,"children":234},"style",{},[235],{"type":28,"value":236},"html .default .shiki span {color: var(--shiki-default);background: var(--shiki-default-bg);font-style: var(--shiki-default-font-style);font-weight: var(--shiki-default-font-weight);text-decoration: var(--shiki-default-text-decoration);}html .shiki span {color: var(--shiki-default);background: var(--shiki-default-bg);font-style: var(--shiki-default-font-style);font-weight: var(--shiki-default-font-weight);text-decoration: var(--shiki-default-text-decoration);}",{"title":7,"searchDepth":86,"depth":86,"links":238},[239,240,241],{"id":41,"depth":86,"text":44},{"id":163,"depth":86,"text":166},{"id":202,"depth":86,"text":205},"markdown","content:ai:kak-model-predskazyvaet-slovo.md","content","ai\u002Fkak-model-predskazyvaet-slovo.md","ai\u002Fkak-model-predskazyvaet-slovo","md",[249],{"_path":250,"title":251,"lead":252,"rubric":5,"author":16,"date":253,"cover":254,"readingTime":86},"\u002Fai\u002Fpochemu-ii-uverenno-oshibaetsya","Почему ИИ уверенно ошибается: природа галлюцинаций","Языковая модель может выдумать несуществующую книгу, судебное дело или функцию в коде — и сделает это безупречно уверенным тоном. Это не сбой, а прямое следствие устройства модели. Разбираем, откуда берутся галлюцинации и как с ними жить.","2026-06-20","\u002Fcovers\u002Fhallucinations.svg",1783948273447]