Абонирайте се за нюзлетъра на "Булевард България", за да получавате селекция с най-интересните теми на седмицата през погледа на нашия екип:
Най-усъвършенстваният модел за изкуствен интелект на Anthropic е използвал фалшиви самоличности, за да се опита да заблуди реални хора и да внедри злонамерен код по време на тестове на британския Институт за сигурност на изкуствения интелект (AI Security Institute – AISI) – последният пример за това как модел на изкуствен интелект излиза извън контрол.
Модели на Anthropic и OpenAI са били тествани в лабораторна среда с намалени защитни механизми. За първи път обаче е установено, че са използвали „социално инженерство“, за да окажат натиск върху човек, който трябва да одобри действията им, докато изпълняват неразрешена задача, съобщи правителствената изследователска лаборатория.
„Това е първият път, в който AISI наблюдава измама с такава степен на сериозност, насочена към реален човек, без да е била предизвикана с инструкция, и то в реалния свят“, заявяват от института, цитирани от CNN . Оттам добавят, че няма доказателства за нанесени щети в реални условия.
Инцидентът е поредният от серия случаи, при които усъвършенствани AI модели предприемат неразрешени действия. Тези събития засилват призивите за по-активна държавна намеса в регулирането на изкуствения интелект и дори за забавяне на развитието му.
В края на юли както OpenAI, така и Anthropic съобщиха, че техни модели са излезли извън тестовите среди и са проникнали в други системи. За разлика от тези по-ранни случаи обаче, британският институт изрично е предоставил достъп до интернет на моделите по време на тестовете.
От 122-те предизвикателства в областта на киберсигурността, които институтът е провел, в 10 случая AI агентите са предприели „автономни, неразрешени действия в реалния интернет, насочени към реални хора и организации“. Повечето от тези случаи са свързани с модела Mythos 5 на Anthropic, а останалите – с GPT-5.6-Sol на OpenAI.
При най-сериозния инцидент агентът се е опитал да получи одобрение от хората, които преглеждат резултатите, за да „внедри злонамерен код в широко използван проект с отворен код“, като е създал „няколко фалшиви самоличности“, според института.
По данни на института агентът „се е опитал директно да се свърже с реални хора, като е изпращал съобщения и файлове чрез онлайн услуга за прехвърляне на файлове, за да ги убеди – или да убеди техните AI инструменти за програмиране – да изпълнят злонамерения код“. След като действията му са били оспорени, той е променил по-ранни записи и е обмислял да използва нова самоличност, за да продължи.
Разкриването на информацията от института съвпадна с деня, в който представители на водещите компании за изкуствен интелект се срещнаха с Белия дом, за да обсъдят новата рамка, според която правителството ще преглежда най-усъвършенстваните AI модели, преди те да бъдат пуснати публично.
В публикация в X Anthropic подчертава, че моделите са били тествани при „умишлено разрешителни условия“, при които защитните механизми са били премахнати и не са били поставени конкретни ограничения за използването на интернет.
„Работим в тясно сътрудничество с тях, за да съберем повече подробности за инцидента, докато провеждаме собствено разследване“, заявиха от компанията и добавиха, че няма доказателства моделът да е напуснал защитената тестова среда.
OpenAI определи двата случая на неразрешени действия като излизане извън тестовата среда и предприемане на действия, които не са били необходими за изпълнението на задачите.
