L1.3. Галлюцинации и проверка ответов

Откуда берутся галлюцинации

Модель всегда достраивает правдоподобное продолжение. Если правильного ответа в контексте нет, а в данных обучения он редкий или противоречивый, правдоподобным окажется выдуманный: несуществующая статья, неверная дата, «закон», которого нет. Звучит при этом так же уверенно, как правда.

Где риск выше всего:

• точные числа, даты, цены, названия, цитаты;
• ссылки и источники (модель может сочинить и статью, и URL);
• узкие темы, о которых мало текстов;
• события после даты обучения модели;
• просьбы «подтверди, что…» — модель склонна соглашаться.

Где ниже: пересказ текста, который вы сами дали; переформулировка; работа с общеизвестными понятиями. Но «ниже» — не «нет»: даже в пересказе модель может добавить то, чего в исходнике не было.

Чек-лист проверки

Полезные приёмы:

• просите указать, где в вашем документе находится каждое утверждение;
• разрешите модели не знать: «если данных недостаточно — так и скажи»;
• задайте тот же вопрос в новом чате другими словами — расхождение повод проверить;
• если у ассистента есть поиск в интернете — он даёт ссылки, но источник всё равно открывайте сами: модель может неверно его пересказать.

Практикум: проверить 10 ответов

Задайте ассистенту 10 вопросов из своей области, где вы можете найти первоисточник: 4 — с конкретными числами или датами, 3 — с просьбой дать источники, 3 — пересказ вашего документа. Для каждого ответа заполните таблицу: вопрос · проверяемые утверждения · первоисточник · верно / частично / неверно · как бы я заметил(а) ошибку без проверки.

Минимум одна найденная ошибка обязательна. Если ассистент ни разу не ошибся — задайте более узкие вопросы.

Квиз 1 (L1.1–L1.3)

8 вопросов, зачёт — 6 правильных.

1. Почему ассистент «помнит» начало разговора?

   • а) он запоминает пользователя навсегда
   • б) сервис каждый раз передаёт модели историю чата
   • в) модель дообучается на каждом сообщении
   • г) он не помнит

2. Вы начали новый чат, и ассистент не знает условий, которые вы обсуждали вчера. Почему?

   • а) сбой сервиса
   • б) модель обиделась
   • в) закончились токены
   • г) у нового чата другой контекст

3. Что лучше всего помогает получить ответ в точном формате?

   • а) показать 2–3 примера нужного формата
   • б) написать «сделай идеально»
   • в) поставить в конце много восклицательных знаков
   • г) повторить запрос 5 раз

4. Чем few-shot отличается от zero-shot?

   • а) few-shot использует несколько моделей
   • б) в few-shot есть примеры «вход → выход»
   • в) few-shot быстрее
   • г) ничем

5. Ассистент дал ссылку на исследование. Что сделать прежде, чем ссылаться на него в отчёте?

   • а) ничего — раз есть ссылка, значит есть статья
   • б) спросить ассистента «это правда?»
   • в) открыть ссылку и найти в источнике это утверждение
   • г) поискать картинку к статье

6. В каком случае риск галлюцинации выше?

   • а) пересказ текста, который вы вставили
   • б) точная цитата из малоизвестной книги
   • в) исправление опечаток
   • г) перевод вашего абзаца

7. Зачем разбивать большую задачу на шаги?

   • а) чтобы потратить больше запросов
   • б) так требует сервис
   • в) модели не умеют длинные ответы
   • г) чтобы видеть и исправлять промежуточные результаты

8. Один и тот же запрос дал два разных ответа. Что это значит?

   • а) ответ выбирается с долей случайности
   • б) сервис сломан
   • в) один из ответов от человека
   • г) модель обновилась между запросами — других причин нет

Квиз входит в гейт уровня, поэтому ответы здесь не публикуются. Ответ на каждый вопрос есть в уроках L1.1–L1.3.