Почему ИИ «выдумывает» и как это остановить

Нейросеть может уверенно процитировать книгу, которой не существует, или дать ссылку на выдуманную статью. Это называют галлюцинациями, и это не поломка конкретной модели, а свойство самой технологии. Разберёмся, откуда они берутся и как держать их под контролем.

Почему модель «выдумывает»

Языковая модель не ищет ответ в базе фактов — она предсказывает, какое слово вероятнее всего идёт следующим. Её учили давать правдоподобные и связные ответы, а не сверяться с реальностью. Поэтому там, где знаний не хватает, модель не останавливается, а достраивает картину: получается гладкий текст, который звучит убедительно, но фактам не соответствует. Добавь сюда то, что знания модели ограничены датой обучения, — и свежие события становятся отдельной зоной риска.

Где галлюцинации вероятнее всего

• Точные цифры, даты и статистика.
• Цитаты, названия книг и научных работ.
• Номера законов, статей и судебных решений.
• Узкие профессиональные темы, по которым мало открытых данных.
• Всё, что произошло недавно.

Чем конкретнее фактура, которую ты просишь, тем внимательнее стоит проверять ответ.

Как снизить риск

Разреши модели не знать. Добавь в промпт: «Если не уверен — так и скажи, не придумывай». Звучит наивно, но это заметно меняет поведение: модель чаще признаётся в пробелах, вместо того чтобы их маскировать.

Дай источник сам. Вставь в запрос документ, отчёт или статью и попроси отвечать только по этому тексту. Когда у модели есть материал, ей незачем фантазировать.

Включи веб-поиск. Для свежих фактов и цен нужен доступ к актуальным страницам, а не память модели.

Перепроверяй критичное. Всё, что пойдёт в договор, отчёт или публикацию, сверяй с первоисточником. Быстрый приём — задать тот же вопрос другой модели: если ответы разошлись, это сигнал копать глубже.

Проси обоснование. «Объясни, на чём основан вывод» — если модель не может подкрепить утверждение, доверять ему не стоит.

Что галлюцинации не отменяют

Для мозгового штурма, черновиков, переформулировок и структурирования галлюцинации почти не мешают — там нет фактов, которые можно переврать. Риск важен именно в фактических вопросах, и им вполне можно управлять.

В Орбите для этого есть два инструмента: веб-поиск, чтобы модель опиралась на актуальные страницы, и База знаний — загрузи свои документы, и ответы будут строиться на них, а не на догадках модели.