Security Explainer: Как устроена безопасность AI в Яндексе
Мы запускаем Security Explainer — проект о том, как устроена информационная безопасность в Яндексе. Разберём процессы, архитектуру и нетривиальные угрозы: от промпт-инъекций до Threat Hunting. 👾 Первый выпуск — про AI Это направление, где классическая защита не работает, а пользователи сливают в промпты коммерческие тайны и персональные данные. Вместе с Андреем Романовским, руководителем команды Search & Geo Security, и Леонидом Морозовым, инженером по информационной безопасности Поисковых сервисов и ИИ, обсудим, как мы ресёрчим новые уязвимости в LLM. А также поговорим о том, почему безопасность модели нужно закладывать ещё до претрейна, а не вешать костылями сверху, и расскажем, как нам удалось запустить сложнейшую систему независимых AI-агентов без единого репорта на багбаунти. Больше материалов про безопасность в Яндексе: https://t.me/+JTCfxVJIkoc3NWIy 0:00 – Вступление. Бум нейросетей и новые риски утечки приватных данных 1:21 – Защита ИИ: промпт-инъекции, харднинг и как мы находим общий язык с ML-инженерами 5:35 – Как защищаем Алису на этапе обучения и внедряем безопасные модели в продукты 7:17 – Кейс Yandex AI: изоляция ИИ-агентов, внутренние угрозы и отсутствие мировых стандартов безопасности 10:19 – Неформальный блиц: рабочие будни в Яндексе и отмазки от встреч
Мы запускаем Security Explainer — проект о том, как устроена информационная безопасность в Яндексе. Разберём процессы, архитектуру и нетривиальные угрозы: от промпт-инъекций до Threat Hunting. 👾 Первый выпуск — про AI Это направление, где классическая защита не работает, а пользователи сливают в промпты коммерческие тайны и персональные данные. Вместе с Андреем Романовским, руководителем команды Search & Geo Security, и Леонидом Морозовым, инженером по информационной безопасности Поисковых сервисов и ИИ, обсудим, как мы ресёрчим новые уязвимости в LLM. А также поговорим о том, почему безопасность модели нужно закладывать ещё до претрейна, а не вешать костылями сверху, и расскажем, как нам удалось запустить сложнейшую систему независимых AI-агентов без единого репорта на багбаунти. Больше материалов про безопасность в Яндексе: https://t.me/+JTCfxVJIkoc3NWIy 0:00 – Вступление. Бум нейросетей и новые риски утечки приватных данных 1:21 – Защита ИИ: промпт-инъекции, харднинг и как мы находим общий язык с ML-инженерами 5:35 – Как защищаем Алису на этапе обучения и внедряем безопасные модели в продукты 7:17 – Кейс Yandex AI: изоляция ИИ-агентов, внутренние угрозы и отсутствие мировых стандартов безопасности 10:19 – Неформальный блиц: рабочие будни в Яндексе и отмазки от встреч