До этой главы мы рассказывали об удобстве и способах применения ИИ. Однако чтобы по-настоящему «освоить» ИИ, необходимо верно понимать риски. Знать риски — не значит бояться ИИ. Это как учиться «пользоваться тормозами» при вождении автомобиля: базовые знания для безопасной работы.
Риски — не то, чего «страшно», а то, что «нужно знать»
Пять главных рисков ИИ
Риски, которые нужно держать в уме при использовании ИИ, можно свести к пяти. У каждого своя природа, поэтому сначала ухватим общую картину. Ниже разберём их по одному.
Явление, когда ИИ уверенно и правдоподобно выдаёт информацию, не основанную на фактах. Главный риск ИИ.
Двойной вопрос: обучающие данные и результат генерации. По всему миру идут судебные тяжбы.
Введённые данные могут использоваться для обучения. Раз ввёл — уже не отменишь.
Социальные перекосы, содержащиеся в обучающих данных, как есть отражаются в выводе.
Создаваемые ИИ неотличимые поддельные медиа. Используются для мошенничества и выдачи себя за других.
Галлюцинации — ИИ уверенно врёт
Галлюцинация (Hallucination) — это явление, когда ИИ уверенно выдаёт информацию, не основанную на фактах, будто это правда. Не будет преувеличением назвать это главным риском использования ИИ.
Почему это происходит — понимаем механизм
ИИ работает по механизму «предсказания слова, наиболее вероятного следующим». То есть он выдаёт не «правильное», а лишь «правдоподобное». ИИ не оценивает истинность. Он не заглядывает в словарь, а всего лишь сопоставляет закономерности.
В зависимости от модели частота галлюцинаций сильно различается. В бенчмарке 2025 года у самой лучшей модели (Gemini 2.0 Flash) она составила 0,7%, тогда как у части моделей результат достигал почти 30% галлюцинаций[2]. Улучшения идут, но до нуля не дойдёт.
Реальные случаи
- Вымышленный прецедент — адвокат в США подал в суд прецеденты, найденные через ChatGPT, а процитированного прецедента в реальности не существовало (2023)
- Вымышленная статья — правдоподобно генерируются несуществующие названия статей и имена авторов
- Неверная статистика — уверенно утверждает «объём рынка такого-то — столько-то», но цифра сильно расходится с реальной
- Область права — по исследованию Стэнфордского университета, частота галлюцинаций в запросах о праве в отдельных случаях достигала 69–88%[2]
Четыре защитные меры
С галлюцинациями борются не «сведением к нулю», а «механизмом их распознавания». Сделайте привычкой следующие 4 шага.
Переспросите: «А какой источник это подтверждает?» Утверждения без указания источника — под сомнение.
Числа, законы, имена обязательно сверяйте с первоисточниками — официальными сайтами, оригиналами и т. п.
Задайте один и тот же вопрос нескольким ИИ, и расхождение в ответах воспринимайте как сигнал тревоги.
Ведите поиск через поисковый ИИ, отвечающий со ссылками на источники, — Perplexity, Gemini и т. п.
Особого внимания требуют четыре категории информации: статистика и числа, имена людей и имена собственные, право и налоги, свежие новости. Эту информацию обязательно сверяйте с первоисточниками.
💡 Практический приём: если использовать ИИ-инструменты, связанные с веб-поиском, — Perplexity, Gemini и т. п., — ответ возвращается со ссылками на источники. В важных задачах по поиску информации разумно задействовать именно такие поисковые ИИ. В компаниях всё активнее внедряют ИИ-ограждения (guardrails), которые механически предотвращают ошибочные ответы ИИ.
Авторское право — можно ли использовать? Чьё то, что создано?
У проблемы ИИ и авторского права есть две большие стороны. «Можно ли использовать объекты авторского права для обучения ИИ» и «есть ли авторское право у того, что создал ИИ».
Проблема 1: обучающие данные ИИ и авторское право
Модели ИИ обучаются на огромных объёмах контента из интернета (тексты, изображения, код и прочее). По всему миру идут иски о том, что произведения используются без разрешения правообладателей.
| Иск | Суть | Статус (на 2026 год) |
|---|---|---|
| NYT против OpenAI | New York Times подала иск за обучение на статьях без разрешения | в процессе |
| Getty против Stability AI | иск за обучение на фотографиях без разрешения | в процессе |
| Коллективный иск художников | произведения без разрешения использованы для обучения генеративного ИИ | несколько исков в процессе |
| Yomiuri, Asahi, Nikkei против Perplexity | иск за использование статей без разрешения, требование о возмещении убытков на общую сумму около 6,6 млрд иен | иск подан в 2025 году |
Проблема 2: авторское право на результат генерации ИИ
Признаётся ли авторское право за созданным ИИ контентом — решается по-разному в зависимости от страны.
У того, что ИИ сгенерировал автономно, авторского права нет. Однако при творческом участии человека защита возможна.
Ведомство по авторским правам придерживается позиции «результату генерации одного лишь ИИ авторское право не предоставляется». При творческом контроле человека возможно частичное признание.
Идёт выработка правил в части авторского права на результат генерации ИИ.
На что стоит обращать внимание вам
- При коммерческом использовании обязательно проверяйте условия каждого сервиса
- При генерации изображений не указывайте имя конкретного художника («в стиле такого-то» — источник проблем с авторским правом)
- Проверяйте, не похож ли вывод ИИ на существующее произведение
- При необходимости явно указывайте, что это создано ИИ
Конфиденциальность — что можно передавать ИИ
В 2023 году сотрудник Samsung Electronics ввёл в ChatGPT внутренний конфиденциальный код, и это стало громкой новостью. После этого случая многие компании начали разрабатывать политику ввода информации в ИИ.
Введённые в ИИ данные могут использоваться для улучшения сервиса и обучения модели. Действуйте исходя из того, что «однажды введённую информацию отменить нельзя». Что и как вводить, подробно разобрано в материале на что обращать внимание при вводе в ИИ.
- Коммерческие тайны компании, неопубликованный исходный код
- Персональные данные клиентов и партнёров
- Пароли, API-ключи, учётные данные
- Неопубликованные финансовые и кадровые данные
- Доверенную вам чужую конфиденциальную информацию
- Уже общедоступную информацию
- Анонимизированные данные без имён людей и названий компаний
- Написанные вами тексты, которые планируются к публикации
- Пресс-релизы и публичные материалы
- Вымышленные и тестовые данные
Конкретные меры защиты данных
| Мера | Пояснение |
|---|---|
| Отключение истории чата | И в ChatGPT, и в Claude в настройках можно отключить использование данных диалога для обучения |
| Корпоративная версия | В корпоративных тарифах есть гарантия, что данные не используются для обучения |
| Анонимизация информации | Перед вводом замените имена людей на «г-н A», названия компаний на «компания X» |
| Локальный запуск | Запуск моделей с открытым исходным кодом на своём ПК через Ollama и т. п. |
💡 Критерий для сомнительных случаев: спросите себя — «Не страшно ли, если эта информация окажется в открытом доступе в интернете?» Если ответ «страшно», вводить это в ИИ не стоит. Если внедряете как организация, безопаснее заранее письменно закрепить корпоративные правила использования ИИ.
Предвзятость и дипфейки
Предвзятость ИИ — перекос обучающих данных проявляется в выводе
Предвзятость ИИ — это явление, когда социальные предубеждения, содержащиеся в обучающих данных ИИ, как есть отражаются в выводе. ИИ выдаёт не «правильный ответ», а склонен выдавать «ответ, который был в большинстве в обучающих данных».
- Гендерная предвзятость — при генерации изображения «медсестры» выходят одни женщины, «инженера» — одни мужчины
- Культурная предвзятость — склонность к ответам с перекосом в англоязычные и западные ценности
- Предвзятость подтверждения — чрезмерное отражение мнения большинства и выпадение точки зрения меньшинства
Что делать: не принимайте ответы ИИ на веру, выработайте привычку давать указания «подумай и с другой точки зрения», «приведи и противоположное мнение». Особенно важно не делать решение ИИ единственным основанием при важных решениях вроде найма и оценки персонала.
Дипфейки — неотличимая дезинформация
Технологии генерации ИИ реалистичных изображений, видео и звука развиваются, и резко растёт риск дипфейков (созданных ИИ поддельных медиа). По оценкам, число дипфейков в соцсетях резко выросло с 500 тысяч в 2023 году до 8 миллионов в 2025 году[3].
- Мошенничество с клонированием голоса — телефонное мошенничество с имитацией голоса родных или начальника через ИИ. Клон можно создать из нескольких секунд аудио
- Поддельные видео — манипуляция общественным мнением и выдача себя за других через фейковые видео знаменитостей и политиков
- Фейковые новости — массовое распространение правдоподобных новостных статей, сгенерированных ИИ
🛡️ Как себя защитить
- При срочных звонках вроде «срочно переведи деньги» подтверждайте личность через другой канал
- Проверяйте источник шокирующих изображений и видео, увиденных в соцсетях
- К контенту, который мог быть сгенерирован ИИ, всегда относитесь с долей сомнения
С распространением ИИ-агентов появляются и новые атаки, включая подобные злоупотребления. С точки зрения компаний полезен и материал разбор инцидентов безопасности с ИИ-агентами.
Мировое регулирование — началась выработка правил
Чтобы отреагировать на риски ИИ, страны мира ускоренными темпами выстраивают законодательство.
| Регион | Регулирование | Особенности |
|---|---|---|
| ЕС | AI Act (принят в 2024 году) | Регулирование на основе рисков. Жёсткие стандарты для высокорискового ИИ (найм, медицина, правосудие). Поэтапное применение с 2025 года |
| Япония | Закон о содействии ИИ (принят в мае 2025 года) | Подход «инновации в приоритете». Упор на содействие, а не на регулирование, но с выстраиванием и стандартов безопасности |
| США | Указ президента о безопасности ИИ | Всеобъемлющего федерального закона пока нет. Регулирование продвигается по штатам |
В декабре 2025 года Япония утвердила решением кабинета министров «Базовый план по ИИ» и планирует за 5 лет инвестиции в сферу ИИ масштабом 1 трлн иен[1]. Внимание привлекает «японский» подход — не перегибать с регулированием, а содействовать инновациям, одновременно выстраивая стандарты безопасности.
Чек-лист безопасного использования ИИ
Поняв риски, как конкретно действовать? Мы собрали чек-листы отдельно для человека и для организации.
- Не принимать вывод на веру — важную информацию обязательно проверять по первоисточникам
- Не вводить конфиденциальную информацию — решать по принципу «не страшно ли, если опубликуют»
- Перепроверять числа и имена собственные — область, где галлюцинации происходят чаще всего
- Помнить о предвзятости — следить, нет ли перекоса в выводе ИИ
- Проверять авторское право — при коммерческом использовании обязательно сверяться с условиями
- Надлежаще указывать использование ИИ — раскрывать использование ИИ в отчётах и статьях
- Окончательная ответственность — на вас — за результат использования вывода ИИ отвечает пользователь
- Разработка и доведение политики использования ИИ — письменно закрепить, что и в каких задачах можно вводить
- Обучение сотрудников — учить правильному использованию ИИ и рискам
- Процесс проверки результатов генерации ИИ — выстроить механизм проверки человеком перед публикацией
- Рассмотрение корпоративной версии — рассмотреть корпоративные тарифы с надёжными гарантиями обращения с данными
- Выстраивание порядка реагирования на инциденты — заранее определить процесс действий при возникновении проблем
- Риски ИИ — не то, чего «страшно», а то, что «нужно знать». Мы окинули взглядом пять главных рисков.
- Основа борьбы с галлюцинациями — перепроверка: 4 шага — требовать источник, сверять с первоисточником, сравнивать на нескольких ИИ, задействовать поисковый ИИ.
- Основа защиты конфиденциальности — тест «не страшно ли, если опубликуют». Конфиденциальное не вводить.
- Помните и об авторском праве, предвзятости и дипфейках, и не забывайте, что окончательная ответственность — на пользователе.
- EU AI Act, японский закон о содействии ИИ и другое — мировое регулирование тоже ускоренно выстраивается.
Источники
- "Japan adopts first AI basic plan." The Japan Times, December 23, 2025.
- Vectara. "Hallucination Leaderboard." GitHub, 2025. / Stanford RegLab. "Legal Hallucination Study." 2025.
- Deepstrike. "Deepfake Statistics 2025." deepstrike.io, 2025.
Полезные ссылки:
- EU AI Act Explorer — полный текст и разбор закона ЕС о регулировании ИИ
- Политика Японии в сфере ИИ (Минвнудел) — обзор политики Японии в области ИИ
В следующей главе разберём новейшие тенденции ИИ — мультимодальный ИИ, ИИ-агенты и тренды 2025–2026 годов.