Почему языковые модели нам врут

Есть один факт, который немного меняет ожидания от нейросетей разом. Клод Шеннон сформулировал его в 1948 году, задолго до появления GPT и вообще какого-либо машинного обучения: задача предсказания следующего символа и задача сжатия данных - математически неотличимы друг от друга.

Хороший предсказатель - хороший компрессор. Это одно и то же.

Значит, когда языковая модель учится предсказывать следующий токен, она фактически строит алгоритм сжатия. Набор весов, который скачивают с Hugging Face - это и есть сжатый файл. Архив. Только вместо картинок или документов внутри - 10 с лишним терабайт текста, ужатые до 70 гигабайт.

Любой, кто сохранял фотографию в JPEG с минимальным качеством, знает результат. Лица остаются узнаваемыми, общий контур сцены читается, но вот детали превращаются в кашу.

Номерной знак машины на фоне - нечитаемые квадраты. Мелкий текст на вывеске - смазанные пятна. Иногда на границах блоков появляются цвета, которых в оригинале вообще не было. И выглядят они при этом достаточно убедительно, чтобы не замечать их с первого взгляда.

Галлюцинация в LLM - это то же самое. Модель сохранила общую структуру знания. Здесь должна быть научная статья с автором, годом и названием. Но конкретные биты - фамилия, журнал, номер страницы - не поместились при сжатии. Кодек достраивает правдоподобное. Уверенно. Без пометки, что - это домысел.

Именно поэтому GPT называет несуществующие источники с реальными авторами. Структура паттерна сохранена, детали - нет.

Код модели дается легче всего. Этоо один из наиболее структурированных видов текста. Строгий синтаксис, конечный словарь ключевых слов, миллионы одинаковых конструкций в обучающей выборке. for i in range(n) повторяется столько раз, что кодек запомнил его почти без потерь. Паттерн четкий - деградации мало.

Точная арифметика - другая история. 23 × 47 = 1081 для модели выглядит как три случайных числа без внутренней связи. Нет паттерна - нет возможности сжать без потерь. Остается только восстановить что-то числовое, похожее на ответ.

Масштаб модели здесь работает прямолинейно. Больше параметров - выше битрейт и меньше потерь. GPT-175B ошибается заметно чаще, чем модели с на порядок большим числом параметров. Это не абстрактное лучше обучили - это буквально больше бит на единицу знания.

Temperature = 0 - команда декодеру всегда выбирать наиболее вероятный токен. Ответы становятся точнее по паттерну, но артефакты проявляются четче. Высокая temperature добавляет шум: галлюцинации размываются, зато и предсказуемость падает. То, что принято называть творческим режимом - это семплирование из менее вероятных реконструкций. Не воображение. Статистический шум.

RAG (поиск с дополнением) - вы буквально вставляете в запрос фрагмент без потерь. Не полагаетесь на то, как кодек запомнил факт, а даете ему оригинал напрямую. Дорого по токенам, зато артефактов нет.

Fine-tuning - перекодирование с новым распределением приоритетов. "Мне не нужны рецепты и стихи, сожми лучше юридические документы". Не дообучение в том смысле, что он стал умнее - перераспределение битового бюджета.

Промпт с указанием роли - это не психология, а навигация. "Ты - юрист" говорит декодеру: восстанавливай из того блока сжатого пространства, где плотнее всего лежат юридические паттерны. Работает именно потому, что пространство реально структурировано по семантике.

Здесь нет простого решения, и это математически обоснованный факт. Данные нельзя сжать ниже их энтропии без потерь - это теорема Шеннона. Пока модель хранит 10 ТБ знаний в 70 ГБ весов, часть информации неизбежно теряется. Увеличение модели снижает потери, но не устраняет их. RAG закрывает конкретные дыры, но не весь объем. Лучшая архитектура уменьшает артефакты, но не обнуляет.

Каждый раз, когда кто-то обещает полностью решить проблему галлюцинаций без оговорки о том, за счет чего именно - это либо непонимание теории информации, либо маркетинг.

Вы помните, что ели в прошлый вторник? Помните, что именно сказал коллега три дня назад - дословно?

Человеческая память работает по тем же принципам. Мы не записываем опыт побайтово - мы сжимаем его в нейронные паттерны с потерями, а пробелы заполняем правдоподобными домыслами. Психологи называют это конфабуляцией. По факту - те же артефакты сжатия, только биологические.

Разница одна. У нас на отладку этого кодека ушли миллионы лет эволюции. У LLM - чуть больше четырех.

Полезнее всего воспринимать языковые модели не как интеллект и не как базу данных, а как очень объемную и неизбежно дырявую память. Принимая это, понимаешь и ограничения, и инструменты. Где нужна точность - подкладывай оригинал,.де нужен масштаб - наращивай битрейт, и не жди от кодека того, что может дать только исходник.