Реальные угрозы

От кибератак до манипуляции человеческим мозгом

Какие опасности может скрывать развитие искусственного интеллекта

5 мин

Искусственный интеллект сегодня  — не просто технология будущего, а  неотъемлемая часть нашей жизни : от медицины и финансов до соцсетей и бытовой техники. Но чем мощнее становится ИИ, тем острее встают вопросы: может ли он причинить вред самостоятельно и какие реальные угрозы несут современные практики его применения? Ответы на них — на стыке технологий, этики и человеческого фактора. Ну а ключевую роль в этой дискуссии играют эксперты, чьи мнения мы и собрали для этого материала.

«Самостоятельного злодея» пока нет, но его инструментарий опасен

«ИИ не обладает сознанием, желаниями или целями. Он инструмент, который делает то, что ему велели», — подчёркивает Кирилл Семион, генеральный директор АНО «Национальный центр компетенций по информационным системам управления холдингом» (НЦК ИСУ). По его словам, современные ИИ-системы не способны к бунту машин или осознанному вреду. Даже самые продвинутые модели не имеют внутренней мотивации или понимания добра и зла — они просто выполняют задачи, заложенные разработчиками.

Бионические протезы на фестивале науки и технологий Geek Picnic в Москве.

ИИ не обладает сознанием, но может быть использован как оружие злоумышленников, добавляет Алексей Сергеев, руководитель практики «Машинное обучение и искусственный интеллект» Axenix. По его мнению, реальные угрозы связаны не с восстанием машин, а с тем, какие цели ему ставят люди. Например, алгоритмы, которые помогают диагностировать заболевания, могут быть адаптированы для автоматизации фишинга или создания дипфейков.

Злоумышленники активно используют ИИ для кибератак, мошенничества и манипуляций. Вот самые распространённые сценарии, которые уже наносят ущерб бизнесу и обществу и на которые обращают внимание эксперты:

Фишинг и взлом паролей: ИИ как «ускоритель» преступников

Глобальная атака вируса-вымогателя в 2017 году поразила IT-системы компаний в нескольких странах мира

«ИИ ускоряет перебор символов (брутфорс), делая атаки на учётные записи и системы быстрее и сложнее для отражения», — говорит Андрей Заикин, директор по развитию бизнеса в «K2 Кибербезопасность». По его данным, ИИ может перебирать миллиарды паролей за минуту, что делает стандартные методы защиты (простые пароли) практически бесполезными.

Например, в 2023 году хакеры использовали ИИ для взлома системы видеонаблюдения в банке, перехватив данные клиентов через фишинговые письма, сгенерированные алгоритмом, имитирующим стиль банковских уведомлений.

Дипфейки и имперсонизация:
когда правда становится ложью

Сцена из спектакля «Кибер-Пушкин, digital-опера о царе Салтане» (режиссёр-постановщик Виталий Лабутин) в рамках «Опытов неадаптивного театра»

Генерация фальшивых видео, фото и аудио с реальными людьми позволяет мошенникам вымогать деньги или воровать данные. «Сейчас уже сложно отличить фейк от реальности — это разрушает доверие и подрывает правду», — комментирует Александр Лебедев.

В 2024 году сотрудник британской компании Arup перевёл 25 млн $ мошенникам, поверив в поддельную видеоконференцию, где все участники, включая финансового директора, были сгенерированы нейросетью. В России такие случаи тоже регистрируются: например, ИИ-голоса «родственников» обманывают пенсионеров, вымогая деньги на «лечение».

Атаки на критическую инфраструктуру: когда машины работают против нас

Передовой пункт управления самоходно-артиллерийского полка
Носители для разделённого ключа расшифрования,использующегося в процедуре дистанционного электронного голосования

Манипуляции общественным мнением: ИИ как оружие информационной войны

Алгоритмы соцсетей, ИИ-боты и астротурфинг создают иллюзию массовой поддержки идей, влияя на выборы, бизнес и даже личные отношения. «Искусственное сознание не нужно для этого — достаточно нейросети, которая имитирует человеческие посты и комментарии», — комментирует Виктор Сизов , сооснователь цифрового логистического оператора versta.io .

Риски для бизнеса:
автоматизация мошенничества и потеря доверия

«Злоумышленники используют ИИ для создания фейковых сайтов, имитирующих банки или магазины, — говорит Александр Сазанов , директор по продукту Hybe, Hybrid Ecosystem . — Клиенты вводят данные, их крадут, а компании теряют репутацию». По его оценке, ущерб от таких атак в России составляет миллиарды рублей ежегодно. Добавляет Михаил Копнин , директор департамента IT DCLogic : «ИИ может автоматизировать спам, фишинг и даже взлом аккаунтов через CAPTCHA — это снижает порог входа для преступников».

Чем опаснее ИИ, тем важнее защита: от регулирования до цифровой грамотности

Несмотря на риски, ИИ может стать и  инструментом защиты . Например, алгоритмы уже выявляют фишинговые письма, дипфейки и аномалии в сетевом трафике. «Современный ИИ — это как молоток: можно гвозди забивать, а можно... ну, вы поняли. Все зависит от того, в чьих руках он окажется», — отмечает Даниил Киреев , директор по ИИ MWS AI (входит в МТС Web Services).

Эксперт добавляет, что разработчики активно работают над системами, которые блокируют подозрительную активность: например, банки используют ИИ для распознавания дипфейков в видеочатах с клиентами, а корпорации — для мониторинга сетевого трафика.

Регулирование и стандарты: закон должен быть впереди технологий

Гендиректор ПАО «Аэрофлот» Сергей Александровский, гендиректор ГК «Роскосмос» Дмитрий Баканов и председатель правления ПАО «Газпром нефть» Александр Дюков (слева направо). Конференция «Цифровая индустрия промышленной России» в Нижнем Новгороде

«Государство должно регулировать ИИ , чтобы минимизировать риски», — уверен Сергей Боярский , председатель комитета Государственной думы Федерального собрания РФ по информационной политике, информационным технологиям и связи. По его словам, Госдума обсуждает требования к безопасности программного обеспечения, включая ИИ.

Например, в рамках 149-ФЗ разрабатываются стандарты для маркировки AI-контента : в рекламе или новостях должна быть чётко видна пометка, что материал создан нейросетью. Это поможет пользователям отличать фейки от реальности.

Образование и цифровая грамотность: учить не технологиям, а критике

«Люди должны проверять информацию: не переводить деньги по звонку „родственника“, не верить слишком убедительным новостям», — советует Татьяна Дешкина , заместитель директора VisionLabs . Она отмечает, что образовательные программы должны фокусироваться не на технических деталях (например, как распознать дипфейк), а на конкретных схемах мошенничества.

Например, для пожилых людей важно объяснить, что звонок «родственника» с просьбой перевести деньги — это повод перезвонить близкому или проверить историю переписки. Для подростков — научить их не поддаваться на шантаж в соцсетях и обращаться за помощью к взрослым.
Посетительница обучается финансовой грамотности в «Заповедном посольстве» парка Зарядье в Москве

Использование ИИ против ИИ: защита на уровне алгоритмов

Компании внедряют системы, которые анализируют угрозы, блокируют подозрительную активность и помогают специалистам принимать решения. «ИИ сокращает время на реакцию — это ключевой фактор в борьбе с кибератаками», — добавляет Андрей Заикин . Например, банки используют ИИ-алгоритмы для анализа поведения клиентов : если кто-то пытается войти в аккаунт с необычного IP-адреса, система блокирует доступ и отправляет уведомление владельцу.

Будущее нейросетей:
оптимизм vs реализм

«Апокалипсис от ИИ — это фантастика. Реальные угрозы в наших руках», — уверен Михаил Копнин. Эксперты сходятся во мнении: ИИ не станет злодеем, но его нужно контролировать. «Чем раньше мы начнём разрабатывать технологии безопасности и прививать цифровую грамотность, тем меньше шансов на катастрофы», — резюмирует Алексей Сергеев.

Глава СберБанка Герман Греф на Всемирном фестивале молодёжи рассказывает о развитии искусственного интеллекта в современном мире

Между прочим, основы ИИ, машинного обучения и Python теперь доступны даже новичкам!

Присоединяйтесь к программе «Код будущего. Искусственный интеллект» на «Госуслугах» (https://www.gosuslugi.ru/ai) и проведите каникулы с пользой.

Изучение технологий ИИ — новое направление проекта для тех, кто хочет поступать на IT-специальности в вузы. В 2025 году на нем смогут обучиться не менее 75 тыс. студентов.

Кто может подать заявку:

  • ученики 8–11-х классов
  • студенты колледжей и техникумов

Участники не должны быть выпускниками проекта «Код будущего».

Что ждёт учеников:

  • 6 топовых курсов от МФТИ, «Яндекса», «Т1», «Цифриума» и Школы программистов
  • 54 часа обучения в онлайн-формате
  • 4 месяца на прохождение программы

Набор на основные курсы «Код будущего», на которых подростки изучают популярные языки программирования, начнётся в августе этого года. Выпускники «Кода будущего. Искусственный интеллект» смогут подать заявку в основной набор проекта, выбрав только курсы программирования профессионального уровня.

Записаться на бесплатные курсы
 (https://www.gosuslugi.ru/ai)