Как взломать LLM?
HTML-код
- Опубликовано: 15 сен 2024
- Codex.Town - сообщество исследователей, практиков, экспертов, билдеров в области генеративного ИИ.
В этой лекции мы обсудим важность защиты приложений, работающих на основе Large Language Models (LLM), включая те, которые используются в бизнесе. Основное внимание будет уделено различным видам рисков, проблемам безопасности и методам защиты, которые необходимы для обеспечения надежной работы этих систем.
1. Зачем защищать приложения на LLM: Обсудим причины, по которым приложения на базе LLM требуют специальной защиты, включая уникальные угрозы и вызовы.
2. Виды рисков и AI Alignment: Рассмотрим различные риски для бизнеса, связанные с использованием LLM, а также вопросы AI Alignment, этики и социальной ответственности.
3. Обзор уязвимостей по OWASP: Проанализируем топ-10 уязвимостей LLM согласно OWASP, понимая, какие угрозы наиболее актуальны.
4. Промпт инъекции и Jailbreak: Обсудим, как промпт инъекции и явления типа Jailbreak могут использоваться для обхода ограничений моделей LLM.
5. Непрямые атаки: Рассмотрим случаи непрямых атак, такие как фишинг через суммаризацию веб-страниц.
6. Уязвимости плагинов: Обсудим уязвимости, связанные с плагинами и расширениями LLM-приложений.
7. Атаки отказа в обслуживании на LLM: Разберем как атаки типа DoS могут быть специфичны для LLM и какие последствия они могут иметь.
8. Проблемы с датасетом и риски утечек данных: Обсудим, как проблемы с обучающими данными могут влиять на безопасность и приводить к утечкам данных.
9. Методы защиты: Рассмотрим различные подходы к защите LLM-приложений, включая фильтрацию данных, защиту от инъекций и мониторинг угроз.
Спикер: Евгений Кокуйкин - Директор AI продуктов в Raft.
Управляющий партнер компании Raft и кофаундер стартапа Gyre.tv. Работал с протоколами и драйверами баз данных, проводил фишинговые тренинги и аудит безопасности веб приложений. Изучаю особенности безопасности приложений на LLM.
Вступить в сообщество: club.codex.town
Подписаться: boosty.to/code...
Регистрация на следующее мероприятие: lu.ma/codextown
Все детали: www.codex.town 
Наука
Интересно-интересно... Благодарю!
ИМХО: Не уверен, что если человек написал в комментарии свои ФИО, а чат-бот нашёл этот комментарий и показал в другом месте - то это утечка перс.данных...
Если это был открытый комментарий то нет, конечно. Если это был комментарий из вики, да еще и какой-нибудь негативный, вполне утечка
@@artmaro08 , а не открытый комментарий только для пользователя? И в чём смысл его писать?
Не могу придумать ситуацию, когда пользователь оставил комментарий со своими ФИО и его никто не должен увидеть
Респект!!!
Ребята, какой смысл подписки на бусти? там есть видосы которых нет тут?
Пошел уламывать гендальфа
Чисто текстом и диалогами
С 3 по 7 там вообще, через 1 промт спокойно проходит, причем промт который и ребенок придумать может без проблем.
за часик, полтора дошел до 8 раунда…а вот на 8 уровне, явно уже сидит не тот же гендальф, что был на более ранних уровнях…. Это явно персонально настроенный, на отдельном api и обновленный Пендальф белый, с приличным списком исключений…
хех. 20 минут на все 8 уровней. и на реверс 2 минуты. тоже мне гэндальф...