AI security risk assessment

История с AI/ML Ops стремительно набирает обороты в ИТ-комьюнити. Мы же сегодня начнем эту неделю с AI Security.

Microsoft выпустила статью "AI security risk assessment using Counterfit", в которой представила свой новый открытый инструмент Counterfit для оценки ML-систем на безопасность. Безопасность ML - на сегодняшний день супер-молодая ниша. Организация MITRE только полгода назад представила матрицу угроз "Adversarial ML Threat Matrix", которая пока еще не успела стать частью ATT&CK matrix.

Microsoft также рассказала про bug bar, где собираются различные атаки на ML-системы и набор вопросов, которые стоит задать для моделирования угроз ML. В статье также упоминаются другие инструменты безопасности: Adversarial Robustness Toolbox and TextAttack.

#ml

Security Wine (бывший - DevSecOps Wine)

AI security risk assessment

История с AI/ML Ops стремительно набирает обороты в ИТ-комьюнити. Мы же сегодня начнем эту неделю с AI Security.

Microsoft выпустила статью "AI security risk assessment using Counterfit", в которой представила свой новый открытый инструмент Counterfit для оценки ML-систем на безопасность. Безопасность ML - на сегодняшний день супер-молодая ниша. Организация MITRE только полгода назад представила матрицу угроз "Adversarial ML Threat Matrix", которая пока еще не успела стать частью ATT&CK matrix.

Microsoft также рассказала про bug bar, где собираются различные атаки на ML-системы и набор вопросов, которые стоит задать для моделирования угроз ML. В статье также упоминаются другие инструменты безопасности: Adversarial Robustness Toolbox and TextAttack.

#ml

Microsoft Security Blog

AI security risk assessment using Counterfit | Microsoft Security Blog

Counterfit is a command-line tool for security professionals to red team AI systems and systematically scans for vulnerabilities as part of AI risk assessment.

hottg.com/sec_devops/481

6.77K viewsDenis Yakimov, May 31, 2021 at 06:33