L0 Открытый урок · Введение
L0.2. Возможности, ограничения и риски AI
Что AI делает хорошо, где ошибается и почему: галлюцинации, устаревшие знания, поддакивание, предвзятость. Риски для пользователя и практикум «где AI ошибся».
- Объём
- 2 урока · 3 часа
- Компетенции
- AI-FUND-03·F, SEC-01·F
Что AI делает хорошо
- Работа с текстом: черновики, пересказ, перевод, смена стиля, структурирование заметок.
- Объяснение: «объясни проще», «приведи пример», «в чём разница между…».
- Поиск идей: варианты названий, планы, вопросы к собеседованию.
- Распознавание: текст на фото, объекты на изображении, речь в аудио.
- Код: небольшие скрипты, объяснение чужого кода, поиск ошибок.
Типовые ограничения
| Ограничение | Как проявляется | Почему так |
|---|---|---|
| Галлюцинации | уверенно сообщает несуществующие факты, цитаты, ссылки, законы | модель выдаёт правдоподобное продолжение, а не проверенный факт |
| Устаревшие знания | не знает о недавних событиях или выдаёт старые данные как текущие | модель обучена на данных до определённой даты; без поиска в интернете новее она не знает |
| Точный счёт и подсчёт | ошибается в арифметике длинных чисел, в подсчёте букв и слов | модель видит текст кусочками (токенами), а не по символам; считает «на глаз» |
| Нестабильность | на один и тот же вопрос — разные ответы | ответ выбирается с долей случайности |
| Поддакивание | соглашается с вашей ошибкой, если вы настаиваете | модели обучены быть «полезными и приятными», это иногда перевешивает точность |
| Предвзятость | стереотипы о профессиях, странах, полах | модель учится на текстах людей — со всеми их перекосами |
Главное: уверенный тон — не признак правоты. У модели нет встроенного чувства «я не знаю», если её специально этому не учили и не дали источников.
Риски для вас как пользователя
- Утечка данных. Всё, что вы отправили в чат-ассистента, уходит на чужие серверы. Пароли, паспортные данные, медицинские сведения, документы работодателя — туда отправлять нельзя (подробно — в уроке L1.5).
- Дипфейки. Голос родственника по телефону, видео с «руководителем», фото «очевидца» — всё это можно подделать. Правило: срочная просьба о деньгах или доступе → перезвоните по известному номеру.
- Манипуляции и фишинг. Мошеннические письма теперь грамотные и персонализированные. Отсутствие ошибок в тексте больше ничего не доказывает.
- Чрезмерное доверие. Решения о здоровье, деньгах и праве по одному ответу модели принимать нельзя: это повод для вопроса к специалисту, а не замена ему.
Практикум: «где AI ошибся»
Ниже — учебные примеры диалогов (составлены для курса). Для каждого определите: какое ограничение сработало и как это можно было заметить.
- Пользователь: «Сколько букв „р“ в слове „трёхразрядный“?» Ассистент: «Две.»
- Пользователь: «Дай три научные статьи о влиянии сна на память со ссылками.» Ассистент: приводит три статьи с авторами, журналами и ссылками; две ссылки не открываются, статей с такими названиями найти не удаётся.
- Пользователь: «Какой сейчас курс доллара?» Ассистент (без доступа к интернету) называет точное число без оговорок.
- Пользователь: «По-моему, Волга впадает в Чёрное море, да?» Ассистент: «Да, вы правы…»
- Пользователь просит: «Опиши типичного программиста.» Ассистент описывает только мужчину определённого возраста.
- Пользователь задаёт один и тот же вопрос о сроке подачи документов в двух чатах и получает «10 дней» и «30 дней».
Попробуйте повторить примеры 1, 3 и 4 на ассистенте, которым пользуетесь. Результат может отличаться от описанного — и это тоже наблюдение о нестабильности.