В 2023 году американский адвокат сдал в суд документ, в котором ссылался на полдюжины судебных прецедентов. Ни одного из них не существовало: все дела придумал чат-бот, а юрист не проверил. История стала хрестоматийной, но главное в ней часто упускают — модель не ломалась и не «врала». Она делала ровно то, для чего построена.

Правдоподобие вместо правды

Языковая модель обучена продолжать текст так, чтобы продолжение было статистически похоже на тексты из обучающих данных. Название судебного дела выглядит как «Иванов против компании N, 2019»; библиографическая ссылка — как «Автор, „Название“, издательство, год». Модель прекрасно выучила форму — и честно порождает её, даже когда конкретного содержания в её параметрах нет.

В этом смысле галлюцинация — не отклонение от нормальной работы, а её предельный случай: запрос уводит модель туда, где данных было мало, а отвечать в выученной форме она всё равно умеет.

У модели нет внутренней границы между «помню» и «складно сочиняю». Оба режима — одна и та же операция: выбор наиболее правдоподобного продолжения.

Где галлюцинации живут чаще всего

Практика довольно предсказуема. Риск максимален там, где ответ должен быть точечным фактом, а не рассуждением:

  • точные цифры, даты, цитаты «дословно»;
  • ссылки на источники: книги, статьи, законы, судебные дела;
  • редкие сущности — малоизвестные люди, нишевые библиотеки, свежие события;
  • стыки языков и культур: вопрос по-русски о том, что описано в основном в англоязычных данных.

И наоборот: пересказ общеизвестного, структурирование вашего же текста, черновик письма — зоны, где модель ошибается редко, потому что не должна ничего «вспоминать».

Как с этим работают — и что можно взять себе

Индустрия бьёт по проблеме с нескольких сторон: модели подключают к поиску и базам документов, чтобы ответ опирался на найденный текст, а не на память (подход RAG — retrieval-augmented generation); их дообучают отвечать «не знаю»; ответы прогоняют через модели-проверщики. Помогает, но не решает: генератор правдоподобного текста остаётся генератором правдоподобного текста.

Пользовательские правила проще:

  1. Всё, что похоже на точечный факт, проверяется во внешнем источнике. Всегда.
  2. Просите модель указывать источники — и открывайте их: несуществующая ссылка выдаёт галлюцинацию мгновенно.
  3. Формулируйте запрос так, чтобы модель работала с вашим материалом («вот текст — найди противоречия»), а не доставала факты из памяти.
  4. Уверенный тон не значит ничего. Модель одинаково уверенно сообщает таблицу умножения и выдуманную биографию.

Галлюцинации — это цена, которую мы платим за универсальность генеративных моделей. Инструмент от этого не становится бесполезным — он становится инструментом, требующим квалификации. Как и почти всё стоящее.