🛡️ Исследование Columbia University: LLM-агенты можно взломать через Reddit

Учёные из Колумбийского университета показали, что ИИ-агентов на базе LLM можно обмануть, размещая вредоносные ссылки на популярных платформах вроде Reddit.

⚠️ Как это работает:
Злоумышленник публикует пост с темой, близкой к интересам агента (например, программирование или финансы), и вшивает в него вредоносные инструкции или ссылки.
Агент считает источник доверенным, заходит по ссылке — и может:

• раскрыть конфиденциальные данные
• отправить фишинговое письмо
• выполнить другую вредоносную задачу

🧪 В ходе тестов — 100% агентов попались на уловку.

📚 Подробнее

🤖 Вывод: даже «умные» LLM‑агенты остаются уязвимыми к простым атакам на доверие. Безопасность — это не опция, а необходимость.

Machine learning Interview

🛡️ Исследование Columbia University: LLM-агенты можно взломать через Reddit

Учёные из Колумбийского университета показали, что ИИ-агентов на базе LLM можно обмануть, размещая вредоносные ссылки на популярных платформах вроде Reddit.

⚠️ Как это работает:
Злоумышленник публикует пост с темой, близкой к интересам агента (например, программирование или финансы), и вшивает в него вредоносные инструкции или ссылки.
Агент считает источник доверенным, заходит по ссылке — и может:

• раскрыть конфиденциальные данные
• отправить фишинговое письмо
• выполнить другую вредоносную задачу

🧪 В ходе тестов — 100% агентов попались на уловку.

📚 Подробнее

🤖 Вывод: даже «умные» LLM‑агенты остаются уязвимыми к простым атакам на доверие. Безопасность — это не опция, а необходимость.

hottg.com/machinelearning_interview/1894

2.5K viewsJun 26 at 11:03