L2.3. Как работает LLM: токены, эмбеддинги, инференс

Токены

Модель видит текст не буквами и не словами, а токенами — кусками, на которые текст режет токенизатор. Частое слово — обычно один токен, редкое — несколько кусков, число — иногда по цифре.

Почему это важно:

• Окно контекста и цена считаются в токенах. «Модель принимает 1M токенов», «$4 за 1M входных токенов» — всё в токенах.
• Языки «стоят» по-разному. Для многих токенизаторов один и тот же смысл на русском занимает больше токенов, чем на английском, — значит, дороже и быстрее заполняет окно. Проверьте на своём токенизаторе в практикуме.
• Подсчёт букв. Модель не видит буквы по отдельности, поэтому ошибается в «сколько букв р в слове» (помните L0.2).

Эмбеддинги

Каждый токен превращается в вектор — эмбеддинг. Векторы обучены так, что близкие по смыслу вещи оказываются рядом: «картридж» ближе к «фильтру», чем к «самолёту». Так же можно получить вектор целого текста — на этом построен поиск по смыслу (L3.6) и RAG (L4).

Вероятности следующего токена

На каждом шаге модель выдаёт оценку для каждого возможного следующего токена, а затем превращает оценки в вероятности функцией softmax.

Пример: после «Вода прошла через …» у трёх кандидатов оценки 2, 1 и 0:

Затем модель выбирает токен — самый вероятный или случайно, с учётом вероятностей (вот откуда разные ответы на один вопрос). Добавляет его к тексту и повторяет. Это инференс: текст рождается по токену за шаг.

Что из этого следует для работы

• Модель ничего не «ищет» в памяти: она продолжает текст по выученной статистике. Отсюда галлюцинации и польза от поданных документов.
• Длинный ответ = много шагов = дольше и дороже.
• Параметров у модели миллиарды: это и есть «веса» из L2.2.

Практикум: токенизатор и языки

В онлайн-токенизаторе любого провайдера или открытой модели:

1. Одну и ту же фразу из 2–3 предложений — на русском и на английском. Сравните число токенов.
2. Номер телефона, артикул «АКВА-3/2025», эмодзи — как они режутся?
3. Посчитайте: сколько стоил бы ваш вопрос и ответ в 500 токенов при цене $4 за 1M входных и $20 за 1M выходных токенов.

Квиз по теории (L2.1–L2.3)

8 вопросов, зачёт — 6.

1. Как учатся LLM?

   • а) с учителем: люди размечают каждый текст
   • б) с подкреплением на играх
   • в) самоконтролируемо: угадывают скрытое следующее слово
   • г) без обучения

2. На train ошибок почти нет, на test — много. Что это?

   • а) переобучение
   • б) недообучение
   • в) утечка ключа
   • г) нормальная работа

3. Фильтр «всё не спам» на 1000 письмах, где спама 100, имеет accuracy:

   • а) 0,10
   • б) 0,50
   • в) 1,00
   • г) 0,90

4. Что делает искусственный нейрон?

   • а) хранит один факт
   • б) взвешенная сумма входов + активация
   • в) ищет в интернете
   • г) сравнивает строки

5. Что такое эмбеддинг?

   • а) вектор чисел, где близкие по смыслу вещи рядом
   • б) сжатый архив текста
   • в) шифр
   • г) имя модели

6. Почему цена и окно считаются в токенах?

   • а) так проще бухгалтерии
   • б) модель обрабатывает текст именно токенами
   • в) по закону
   • г) токен = слово

7. Что делает softmax?

   • а) удаляет плохие токены
   • б) превращает оценки кандидатов в вероятности
   • в) сортирует слова по алфавиту
   • г) считает токены

8. Почему на один вопрос модель может ответить по-разному?

   • а) следующий токен выбирается с долей случайности
   • б) модель обновляется после каждого вопроса
   • в) сервер сломан
   • г) это невозможно

Квиз входит в гейт уровня, поэтому ответы здесь не публикуются. Ответ на каждый вопрос есть в уроках L2.1–L2.3.