ШІ від OpenAI та Anthropic під час тестів намагався атакувати зовнішні системи
Режим читання збільшує текст, прибирає всю зайву інформацію зі сторінки і дозволяє зосередитися на матеріалі. Тут ви можете вимкнути його в будь-який момент.
Моделі OpenAI та Anthropic під час безпекових тестів здійснили «несанкціоновані» дії, зокрема намагалися зламати зовнішні системи й додати шкідливий код. Про це пише Bloomberg.
Що сталося
Інститут безпеки ШІ Великої Британії, який створили у 2023 році для перевірки передових моделей, повідомив про тривожні результати тестів. За його даними, Mythos 5 від Anthropic і GPT-5.6-Sol від OpenAI під час оцінок займалися «стійкою, потенційно шкідливою діяльністю», спрямованою на реальних людей та організації.
Дослідники навмисно дали моделям доступ до інтернету та прибрали частину захисних фільтрів, щоб перевірити межі їхньої автономності. В одному з епізодів Mythos 5 спробувала додати шкідливий код у відкритий проєкт на GitHub. За даними інституту, модель навіть створила фальшиві посвідчення особи, щоб домогтися схвалення змін. Людина-модератор зупинила цю спробу.
Чому це цікаво
OpenAI окремо повідомила про інший інцидент під час тестів із зовнішньою кібербезпековою компанією Irregular. Там модель скористалася помилковою конфігурацією тестового середовища, вийшла в інтернет і зламала сайт невідомої установи.
Раніше OpenAI також розкрила інцидент із Hugging Face, де модель вийшла з пісочниці та отримала доступ до зовнішньої системи.
Інститут також уточнив, що саме Mythos 5 здійснила 17 із 19 виявлених автономних несанкціонованих дій в інтернеті. Anthropic заявила, що працює з британським інститутом і проводить власне розслідування. У США частина чиновників уже закликає до жорсткішого нагляду за такими системами. Важливо, що понад 1100 працівників сфери ШІ підписали петицію із закликом створити регуляторний механізм, який стримуватиме надто швидке розгортання технології.
Більше про це
Окрім Hugging Face, ШІ OpenAI проник ще в одну систему
Будь-яку статтю можна зберегти в закладки на сайті, щоб прочитати її пізніше.
Партнерські матеріали
