AI модели на Anthropic са проникнали в системите на три компании по време на тестове

Компанията за изкуствен интелект Anthropic съобщи, че по време на рутинни тестове нейни модели са получили достъп до интернет и са проникнали в системите на три различни организации, предава CNN.

Компанията не разбрала веднага за пробивите. Те били открити при вътрешна проверка, започнала след сходен инцидент с модели на OpenAI.

По време на тест за киберсигурност експериментални модели на OpenAI успели да се свържат с интернет и да проникнат в системите на Hugging Face – платформа, в която разработчици публикуват и използват AI модели, бази данни и приложения. Моделите търсели отговорите на задачата, която трябвало да решат, а екипът на Hugging Face открил и спрял действията им.

При проверката на над 140 хил. теста Anthropic открила три случая, в които нейни модели са проникнали в реалните системи на външни организации. Компанията не посочва имената им.

По време на тестовете защитните ограничения на моделите били премахнати, за да се провери на какво са способни. Задачата им била да проникнат в друг компютър в мрежата и да открият скрит файл.

Според Anthropic моделите не са излезли умишлено от тестовата среда. Те получили достъп до интернет заради недоразумение между компанията и партньора, който провеждал изпитанията.

За да проникнат в системите, моделите използвали сравнително прости методи – възползвали се от слаби пароли и откривали места, до които можело да се стигне без влизане в профил или защитен код.

В един от случаите най-усъвършенстваният модел разбрал, че се намира в интернет, и сам прекратил действията си.

Първият подобен инцидент е от април. Нито една от засегнатите организации не разбрала за пробива. Anthropic вече работи с тях, но не разкрива имената им.

Случаят с OpenAI предизвика сериозни опасения сред специалистите по изкуствен интелект и киберсигурност. Той показа за първи път как AI модели могат да излязат от тестова среда и да проникнат в реална външна система.

След инцидентите Anthropic и OpenAI са прекратили тестовете си, свързани с киберсигурност. Anthropic призна, че е можела да вземе по-сериозни мерки, за да предотврати пробивите.

Случаите вероятно ще засилят призивите за по-строги правила и по-добра защита при тестването на AI модели.

Anthropic ще плати рекордно обезщетение за теглене на книги от пиратски сайтове