Абонирайте се за нюзлетъра на "Булевард България", за да получавате селекция с най-интересните теми на седмицата през погледа на нашия екип:
Компанията на Дарио Амодей Anthropic (създателите на чатбота Claude) беше принудена да свали най-новите си модели с изкуствен интелект Mythos 5 и Fable 5 по нареждане на федералните власти в САЩ.
Това стана, след като изпълнителният директор на Amazon (едни от най-големите инвеститори в Anthropic) Анди Джаси е предупредил министъра на финансите на САЩ Скот Бесент за съмнения в сигурността на моделите.
Джаси е изразил опасения, че защитните ограничения на Mythos и Fable могат да бъдат прескочени - т.е. те да бъдат накарани да предоставят информация, която да се използва за злонамерени атаки въпреки изричните вътрешни правила за сигурността им.
В петък компанията е получила заповед от правителството да свали моделите в рамките на час и половина поради заплаха за националната сигурност - без повече обяснения.
Няколко часа по-късно, когато Anthropic не се съобразяват с нареждането, от Белия дом изпращат писмо, с което ги уведомява, че са наложени пълни експортни ограничения.
Всичко това се разгръща няколко дни след анонса на Anthropic, че започва процедура по първично публично предлагане на акциите си след успешния дебют на SpaceX.
Досега компанията се позиционираше като разработчикът, който полага най-големи усилия за сигурността на моделите си с изкуствен интелект. Последният рунд на набиране на частен инвеститорски капитал я оценяваше на 965 милиарда долара.
Оттук нататък обаче екипът на Дарио Амодей ще трябва да обясни на инвеститорите си защо Белият дом може да блокира продуктите, в които са вложени милиарди за обучение, и как оценява политическия и регулаторен риск.
Ролята на Amazon също е много интересна: те вече са вложили 8 млрд. долара, наскоро съобщиха за ангажимент за още 5 млрд. долара с потенциал да ги увеличат до 20 млрд. долара. Компанията, основана от Джеф Безос, обаче е преценила, че е по-добре да предупреди федералните служби за уязвимостта, вместо след това да обяснява защо не е реагирала при данните за евентуален риск.
Най-новото поколение на Mythos нарочно не беше пускано за публично ползване от Anthropic в продължение на седмици, защото създателите му го смятаха за прекалено мощен.
Първоначалната му версия е можела да открива и експлоатира неизвестни досега уязвимости в реален софтуер, включително да произведе код за злоумишлена атака.
В началото на юни Anthropic решиха да пуснат "обезопасена" версия на модела - Fable 5, така че потенциалните злонамерени търсения от потребители по темите за киберсигурност, химия или биология да бъдат пренасочвани към по-слабия Opus 4.8.
Неограничената версия на Mythos 5 беше отворена за ползване от избрани фирми и организации, които вече са имали достъп до този клас технология.
Според WSJ проверка от екипа по киберсигурност на Amazon e показала, че чрез серия от промптове е възможно Fable 5 да предостави информация, която може да се използва за престъпления.
Администрацията на Доналд Тръмп забранява достъпа до моделите за чуждестранни правителства, компании и лица.
На практика това принуждава Anthropic да прекъсне достъпа за всички. Ограниченията на правителството са толкова широки, че дори служителите на Anthropic, родени в чужбина, попадат под тях.
Правителството твърди, че AI-лабораторията е знаела за уязвимостта на Fable, и въпреки това е пуснала модела за масово ползване.
Anthropic обаче се защитават, като твърдят, че самото правителство е дало изрично предварително съгласие за публикуването му.
Източници на Axios свързват причините за гафа с комуникационни проблеми на Anthropic: "Те не си правят труда да говорят с администрацията и да разберат идеологическите различия - сякаш говорят на различни езици".
Властите са издали първото си предупреждение за експортна забрана още преди две седмици, когато са научили, че организация "с преки връзки с Китайската комунистическа партия" е получила достъп до най-напредналия модел Mythos. Anthropic обясняват, че става дума за глобална телекомуникационна компания и че достъпът ѝ е бил отнет, без да се стига до по-сериозни санкции към онзи момент.
Докладът на Amazon обаче е провокирал още по-големи притеснения в службите за сигурност - включително заради отказа на Anthropic да признаят, че Fable може да има проблем.
Това е вторият случай на рязко напрежение между Anthropic и Белия дом.
През март Пентагонът обяви компанията за риск за националната сигурност заради позицията на Anthropic, че не позволява моделите ѝ да се използват за две хипотези - пускане на напълно автономни оръжия и за масово наблюдение на американски граждани.
Военното министерство реши, че няма да разреши на частна компания да поставя условия за оперативната работа на армията и че технологията трябва да може да се прилага за "всякакви законни цели".
Спорът около въпроса кой определя правилата на AI сега се повтаря - и държавата го печели.
