L1.1. Диалог с LLM: контекст, история, окно

Что понадобится на уровне L1. Любой чат-ассистент на основе LLM с возможностью загружать файлы и изображения и с «постоянными инструкциями» или «проектами». Бесплатного тарифа обычно достаточно. Названия функций у разных сервисов отличаются — ищите по смыслу. Программировать не нужно.

Модель предсказывает продолжение

Языковая модель получает текст и по одному кусочку (токену — это слово или часть слова) достраивает продолжение: каждый раз выбирает, что вероятнее всего пойдёт дальше. «Ответ на вопрос» — это продолжение текста, в котором стоит ваш вопрос.

Из этого следует почти всё, что нужно знать пользователю:

• Модель отвечает на то, что видит. Нет в тексте нужных сведений — она их не «вспомнит», а дорисует правдоподобное.
• Формулировка меняет ответ. Другой вопрос — другое продолжение.
• Ответ «звучит» как то, на чём модель училась. Попросите «как юрист» — получите юридический стиль, но не юридическую гарантию.

Контекст, история, окно

Всё, что модель видит в момент ответа, называется контекстом: системные инструкции сервиса, ваши прошлые сообщения в этом чате, её прошлые ответы, загруженные файлы и новое сообщение.

• История — это часть контекста. Модель «помнит» разговор только потому, что сервис каждый раз отправляет ей всю переписку заново.
• Новый чат — чистый лист. Сведения из другого чата модель не видит (если сервис специально не подключил «память» — проверьте настройки).
• Окно контекста ограничено. У каждой модели есть предел — сколько текста она обрабатывает за раз. В очень длинном чате ранние сообщения могут обрезаться или учитываться хуже. Практическое правило: новая задача — новый чат, а важные условия повторяйте.

«Температура» и случайность

Модель выбирает продолжение с долей случайности. Во многих API этой случайностью управляет параметр температура: ниже — ответы предсказуемее и однообразнее, выше — разнообразнее и рискованнее. В обычном чат-интерфейсе его, как правило, не видно, а у части новых моделей его нельзя изменить даже через API: глубину и стиль задают иначе.

Пользователю отсюда важно одно: один и тот же запрос может дать разные ответы. Нужен стабильный результат — задавайте формат и примеры (L1.2) и проверяйте (L1.3). Нужны идеи — попросите несколько вариантов или перегенерируйте ответ.

Практикум: одна задача в трёх постановках

Возьмите задачу из своей жизни или работы (письмо, план, объяснение темы). Отправьте её в трёх отдельных новых чатах:

1. Одной строкой, как спросили бы коллегу на бегу.
2. С контекстом: кто вы, для кого результат, зачем он нужен.
3. С контекстом и форматом: длина, структура, тон, что точно должно и не должно быть.

Затем отправьте вариант 3 ещё раз в новом чате. Запишите: чем отличались ответы 1–3, насколько похожи два ответа на вариант 3, какой вывод вы сделали.