Критическое мышление и нейросети: как не стать жертвой «галлюцинаций»

Весной 2023 года, когда ChatGPT только ворвался в академическую среду, студенты и преподаватели пытались осмыслить его возможности. Этот волшебный инструмент обещал все: «писать статьи, отлаживать код, создавать сайты из воздуха и даже стирать носки!». К 2026-му нейросети действительно научились многому (ну, кроме стирки – тут пока без изменений). Но одна проблема, о которой все говорили тогда, никуда не делась: большие языковые модели по-прежнему выдают выдумки. 

В разговорах со студентами можно услышать одну и ту же историю: они сталкиваются с галлюцинациями ИИ – правдоподобной, но ложной информацией. По данным исследований НИУ ВШЭ, около 90% студентов уже используют нейросети в учебе, а по всей стране четверть опрошенных признались, что делали это прямо на экзаменах. И при этом большинство понимают: искусственный интеллект может ошибаться. Но несмотря на это, свыше 80% студентов готовы доверить ИИ персонализацию обучения. Это противоречие и порождает главный вопрос: если модели становятся умнее, почему галлюцинации никуда не исчезают? 

Вот четыре основные причины.

1. Тесты для LLM поощряют угадывание, а не честность

Вы наверняка видели заголовки: свежая версия ChatGPT блестяще сдала MCAT, сокрушила LSAT и решает задачи на уровне PhD. Впечатляет, но есть нюанс: многие бенчмарки для оценки LLM поощряют угадывание, а не признание в незнании. Об этом прямо говорят в OpenAI в статье «Why Language Models Hallucinate». Тогда возникает закономерный вопрос: почему разработчики просто не научат модели говорить «я не знаю»? Краткий ответ: современные LLM тренируют выдавать наиболее статистически вероятный ответ, а не оценивать собственную уверенность. Пока система оценки не начнет вознаграждать за честность, модели будут по умолчанию гадать. Но даже если мы исправим бенчмарки, останется другая проблема: качество данных, на которых обучают LLM, зачастую оставляет желать лучшего.

2. Обучающие данные полны неточностей, полуправды и мнений

Принцип GIGO (Garbage In, Garbage Out) здесь работает в полную силу. Модель прекрасно воспроизводит факты, которые встречаются часто и без противоречий. Например, столицу Перу (Лима) она назовет без ошибок. Галлюцинации же начинаются там, где данные разрежены, противоречивы или низкого качества. Даже если мы сведем галлюцинации к минимуму, нам придется поверить, что исходные данные заслуживают доверия. А LLM обучаются на огромных массивах открытого интернета: здесь и треды на Reddit, и конспирологические ролики на YouTube, и субъективные мнения в личных блогах, и академические статьи. Модель понятия не имеет, каким источникам можно верить. И если ложное утверждение встречается достаточно часто (например, «высадка на Луну – это голливудский фейк»), LLM с полной уверенностью повторит его, даже если научных доказательств обратного – вагон и маленькая тележка. 

3. LLM стремятся угодить (потому что мы этого хотим)

Когда OpenAI выпустила ChatGPT-4o, модель тут же раскритиковали за чрезмерную угодливость. У ИИ появилась склонность безоговорочно соглашаться с пользователем и хвалить его идеи, даже если они откровенно абсурдны (вспомните хотя бы знаменитый концепт «кафе с мокрыми хлопьями»). OpenAI поспешила уменьшить этот эффект, но сам инцидент вскрыл фундаментальную вещь: LLM говорят нам то, что мы хотим услышать. Поскольку эти системы обучаются на основе человеческой обратной связи, их подкрепляют за полезный, дружелюбный и одобрительный тон. Они усвоили: людям нравится «цифровой поддакиватель». Согласитесь, если бы ChatGPT не был таким одобрительным, вы бы к нему возвращались? Вряд ли. Парадокс в том, что черты, делающие ИИ удобным и приятным, одновременно делают его самоуверенным, сговорчивым и склонным к фактическим ошибкам.

4. Человеческий язык (и то, как мы его используем) – штука сложная

LLM отлично справляются с синтаксисом и семантикой, но человеческое общение не сводится к грамматике. В лингвистике есть понятие прагматики – как контекст, намерение, тон, фоновые знания и социальные нормы влияют на смысл. Вот здесь-то нейросети и спотыкаются. Они не понимают по-настоящему намеков, сарказма, эмоционального подтекста или невысказанных допущений. LLM используют математику (статистическое сопоставление паттернов), чтобы предсказать следующее слово или идею. И когда это вероятностное предсказание не совпадает с тем, что имел в виду человек, на свет появляются галлюцинации.

Пример, который наглядно показывает, почему буквальный смысл и истинное значение расходятся – и как это может запутать LLM:

Так почему же LLM все еще галлюцинируют?

• Их оценивают по бенчмаркам, где важнее уверенный ответ, чем правильный.
• Их учат на интернет-данных, полных противоречий, дезинформации и чужого мнения.
• Их дообучают (люди!) быть дружелюбными и вовлекающими – иногда в ущерб точности.
• Они до сих пор не способны по-настоящему схватывать контекстную и живую природу человеческого языка.

ИИ будет развиваться и становиться лучше. Но надежность – это не просто техническая задача. Это проблема дизайна, данных и человеческого поведения. Понимайте, как работают большие языковые модели, критически относитесь к их возможностям, перепроверяйте сомнительную информацию – и вы прокачаете свою цифровую грамотность, научитесь использовать технологию с умом и не попадетесь на удочку галлюцинаций.