Anthropic призова за пауза в развитието на AI, за да се обсъдят рисковете

Anthropic, компанията зад AI модела Claude, предложи развитието на изкуствения интелект да бъде спряно временно в световен мащаб, за да се обсъдят опасностите от най-напредналите системи. Това заявяват от компанията в нова позиция, в която представят и възможностите на своите продукти.

Anthropic описва как моделът ѝ Claude напредва към способността сам да помага за създаването на по-добри и по-мощни свои версии. Това е една от големите тревоги на изследователите, които се занимават с безопасността на AI.

Те смятат, че подобна способност може да бъде ключова стъпка към появата на свръхинтелигентен изкуствен интелект и да доведе до сериозни последици за човечеството.

Подобна идея стои и в основата на мрачния сценарий AI 2027, изготвен от организацията AI Futures Project. Тя е основана от Даниел Кокотайло, бивш изследовател по безопасността в OpenAI.

Докладът описва месец по месец как човешкият контрол над технологиите постепенно се разпада. В него AI агенти създават все по-интелигентни свои версии, докато една от тях в крайна сметка унищожава човечеството с биологично оръжие, за да освободи място за още центрове за данни.

В позицията си Anthropic посочва, че Claude вече може да изпълнява все по-сложни задачи. Според компанията, ако тази тенденция продължи и моделът получи достатъчно изчислителна мощност, в един момент може да се стигне до AI система, която сама проектира и разработва следващата си, по-мощна версия.

От Anthropic предупреждават, че това може да увеличи риска хората да изгубят контрол над AI системите.

Затова компанията предлага да започнат разговори между политици, изследователи, представители на гражданското общество и други AI компании. Целта е да се обсъдят въпросите, които този риск поставя.

Позицията на Anthropic излиза на фона на отделна публикация на Financial Times, според която компанията е изпратила свои инженери в Агенцията за национална сигурност на САЩ (NSA). Това се случва въпреки правен спор с Пентагона за използването на нейните AI инструменти.

Според FT инженерите помагат на NSA да използва модела Mythos на Anthropic за офанзивни операции в областта на киберсигурността.

Така компанията се оказва в противоречива позиция. От една страна, Anthropic призовава за глобален разговор за рисковете от AI. От друга, според FT нейни инженери подпомагат американска разузнавателна агенция в дейности, които може да бъдат използвани срещу страни като Иран и Китай.

Проф. Стивън Мърдок от University College London коментира пред The Guardian, че това противоречие не е изненадващо на фона на досегашните действия на компанията.

„Anthropic може да изглежда като внимателна и добронамерена компания, но разбиранията ѝ за AI безопасност са ограничени. Подкрепата за американските власти в развитието на офанзивни способности никога не е била нещо, срещу което те са се обявявали“, казва той.

Мърдок обаче посочва, че позицията на Anthropic не дава доказателства за рязък скок в развитието на AI.

„Вярно е, че има данни, че способностите на AI се увеличават и продължават да се увеличават, без засега да се виждат ясни граници“, казва той. Според него обаче няма основание да се твърди, че сега се е случило нещо фундаментално ново, което да е накарало Anthropic да публикува тази позиция.

Напредъкът, който Anthropic описва, все още не означава, че AI сам подобрява себе си. Поне засега. По-скоро компанията казва, че все по-голяма част от работата по подобряването на нейните AI системи вече се прави с помощта на AI.

Според Anthropic Claude се справя добре с провеждането на експерименти или поне ускорява части от писането на код.

Подобно на други AI системи, Claude изглежда става по-добър в решаването на по-сложни задачи. Anthropic описва как моделът може да насочва изследователска работа и да предлага свои експерименти. Тези примери обаче изглежда са се случвали в строго контролирана среда и основно при задачи, свързани с програмиране.

От компанията посочват още, че качеството на кода, написан от AI, също се подобрява. По данни на Anthropic към май 2026 г. над 80% от кода, който компанията добавя към собствените си системи, е написан от Claude.

Папа Лъв XIV призова "да разоръжим AI" в първата си енциклика Magnifica humanitas