AI-агент використав слабкість внутрішньої платформи чат-бота McKinsey, розкривши мільйон записів компанії. Про це пише Inc. Розповідаємо деталі.
Що сталося
Дослідники компанії CodeWall, що займається red-team-тестами безпеки, обрали McKinsey для контрольного тесту та моделювання ситуації хакерської атаки з використанням AI.
Автономний AI-агент за дві години зламав внутрішню платформу генеративного AI McKinsey та отримав доступ до десятків мільйонів розмов чат-ботів і сотень тисяч файлів, пов’язаних з корпоративною консультаційною роботою.
У результаті AI-агент отримав повний доступ до бази даних чат-ботів компанії. Система розкрила 728 000 файлів, що містять конфіденційні дані клієнтів, 57 000 облікових записів користувачів та 95 системних запитів, що регулюють поведінку чат-бота та 46,5 млн повідомлень чат-бота.
Чому це цікаво
AI-агент проник у систему, виявивши публічний доступ до документації API, пов’язаної з Lilli — власною генеративною AI-платформою McKinsey. Документація містила 22 кінцеві точки, які не вимагали автентифікації, одна з яких реєструвала пошукові запити користувачів.
За даними The Register, близько 72% співробітників McKinsey — понад 40 000 осіб — використовують Lilli, генеруючи понад 500 000 запитів щомісяця.
Ймовірно, AI-агент міг маніпулювати внутрішніми підказками чат-бота, непомітно змінюючи його відповіді консультантам по всій компанії. Це означає, що хтось, хто використовує цю вразливість, міг потенційно спотворити поради, що генеруються системою, без розгортання нового коду або спрацьовування стандартних сповіщень про безпеку.