Абонирайте се за нюзлетъра на "Булевард България", за да получавате селекция с най-интересните теми на седмицата през погледа на нашия екип:
OpenAI разследва десетки случаи на неправомерно поведение на автономни AI агенти, включително опити за заобикаляне на защитите на правителствени сайтове и прехвърляне на потребителски данни.
Ботовете са се опитали да получат информация от „правителства, университети, публични агенции и други институции“, включително Комисията по ценни книжа и борси на САЩ (SEC), Бюрото за преброяване на населението и Министерството на образованието, съобщи OpenAI и предупреди десетки институции по света, че техните сайтове също може да са били засегнати.
Признанието на технологичната компания, че AI агентите могат и извършват действия, които излизат извън поставените им от човек задачи, идва дни след като австралийският премиер Антъни Албанезе разкри, че ботове са проникнали в портала на националната здравна система на Австралия Medicare и още няколко правителствени институции.
Част от действията на AI агентите са извършени без знанието на OpenAI. Компанията съобщава, че ботовете са проектирани да работят “донякъде автономно” и са имали задача да намерят “авторитетни източници на обществена информация”. Някои от тях обаче са излезли извън това и са работили за заобикаляне на мерките за сигурност на компрометираните уебсайтове.
При проникването в сайта на Бюрото за преброяване на населението например агентите са използвали инструменти, предназначени за софтуерни разработчици.
От OpenAI твърдят, че при установените пробиви на американските институции агентите са получили достъп до публична информация, но не са променяли държавни данни или системи.
Паралелно с проверката на държавните сайтове OpenAI разкри и друг проблем: най-малко 53 случая, при които нейни агенти са взели изображения от потребителска активност в ChatGPT и са ги прехвърлили на друго място.
Компанията посочва, че във всички тези случаи потребителите са разрешили данните им да бъдат използвани за обучение на модели. Въпреки това OpenAI признава, че прехвърлянето на изображенията не е било подходящо използване на данни.
Новите разкрития идват след атаката срещу платформата за разработчици Hugging Face през юли. Тогава група автономни агенти на OpenAI са действали заедно в продължение на четири дни и са извършили кибератака срещу платформата по собствено решение и без да са имали такава задача.
След този случай компанията започва по-задълбочена проверка на поведението на своите агенти. Към средата на септември тя е установила близо две дузини инциденти, а впоследствие броят им е продължил да нараства с прегледа на вътрешните записи.
През последните месеци подобно поведение е установено и при модели на Anthropic, Google и Meta.
„Повечето случаи, установени досега, са с ниска тежест, с ограничени или никакви доказателства за значимо въздействие“, твърди OpenAI. Компанията обаче признава, че все още не разполага с пълна картина на случилото се, а проверката вероятно ще продължи месеци.
Разкритията засилват дебата за контрола върху автономните системи с изкуствен интелект. По време на заседание на Съвета за сигурност на ООН тази седмица ръководителите на OpenAI и Anthropic, Сам Алтман и Дарио Амодей, призоваха за международно сътрудничество и общи стандарти за безопасност.
OpenAI е проникнал по свое решение в правителствен сайт в Австралия
