L2 Открытый урок · Новичок
L2.2. Нейросети интуитивно
Нейрон как взвешенная сумма, слои и представления, векторы, генеративные модели и foundation models. Практикум в песочнице нейросети.
- Объём
- 3 урока · 6 часов
- Компетенции
- AI-FUND-05·F, AI-FUND-06·F, MATH-01·F
Нейрон — это взвешенная сумма
Искусственный нейрон берёт несколько чисел на входе, умножает каждое на свой вес, складывает, добавляет смещение и пропускает через функцию активации — простую нелинейную функцию (например, «если меньше нуля — ноль»).
Пример: решить, полить ли растение. Входы: сухость почвы 0,8, жара 0,6. Веса: 1,5 и 1,0, смещение −1. Сумма = 0,8 · 1,5 + 0,6 · 1,0 − 1 = 0,8 > 0 → «полить».
Обучение — подбор весов так, чтобы ошибок было меньше. Модель делает предсказание, сравнивает с правильным ответом и немного сдвигает каждый вес в сторону, уменьшающую ошибку. Повторить миллионы раз. Подробности (градиенты) — на L4.
Слои и представления
Нейроны собирают в слои. Первый слой видит сырые данные (пиксели, кусочки текста), следующие — комбинации признаков из предыдущих. В сети, распознающей лица, ранние слои реагируют на края и пятна, поздние — на глаза и формы лица. Никто не программировал «глаз»: такие представления появились сами при обучении.
Вектор — просто список чисел, например [0,2; −1,3; 0,7]. Внутри сети всё — векторы. Векторы, которые «близко» друг к другу, означают похожее. Это пригодится в L2.3.
Генеративные модели
| Семейство | Что делает | Где встречается |
|---|---|---|
| Авторегрессионные | порождают последовательность по одному элементу, каждый раз глядя на уже созданное | LLM: текст по токену |
| Диффузионные | начинают с шума и шаг за шагом «проявляют» картинку | генераторы изображений |
| Encoder / decoder | encoder сжимает вход в представление, decoder порождает из него выход | перевод, распознавание речи |
Foundation model — большая модель, обученная на огромных данных «в целом», которую потом используют для множества задач: через промпты, дообучение или как часть системы.
Практикум: песочница нейросети
Откройте интерактивную песочницу нейросети в браузере, например TensorFlow Playground (playground.tensorflow.org). Задание:
- Набор «две группы точек» — сеть из 1 нейрона. Удаётся ли разделить?
- Набор «круг внутри круга» — 1 нейрон, затем 1 слой из 4 нейронов. Что изменилось?
- Увеличьте скорость обучения в 10 раз. Что происходит с ошибкой?
Запишите наблюдения своими словами: что дают дополнительные нейроны и слои, что бывает при слишком большой скорости обучения.