Бунтът на машините: Уж контролиран изкуствен интелект на OpenAI със свирепа хакерска атака

Бунтът на машините: Уж контролиран изкуствен интелект на OpenAI със свирепа хакерска атака - Zashtoto

Модел на изкуствен интелект на американската корпорация OpenAI очевидно е започнал хакерска атака незабелязано в продължение на дни, съобщава Ройтерс. Според медиен репортаж, разработчикът OpenAI дълго е пренебрегвал изплъзването от контрол и последвалата хакерска атака от страна на свой автономен изкуствен интелект. Компанията е била предупредена, че точно това може да се случи. Експертите реагират с ужас.

Появяват се допълнителни обезпокоителни подробности за атаката срещу технологичната компания Hugging Face от AI модели на разработчика на ChatGPT OpenAI, която предизвика глобално възмущение.

Според проучване на информационна агенция Ройтерс, позоваващо се на няколко вътрешни лица, моделите очевидно са започнали хакерска атака в продължение на дни, без от компанията-майка OpenAI да забележат.

На гиганта, разработващ изкуствен интелект, му е отнела поне седмица, за да открие, че нейният собствен автономен AI агент, към който принадлежат моделите, се е изплъзнал от уж сигурна тестова среда и стои зад атаката.

Всъщност програмата, която може да изпълнява сложни задачи с малък или никакъв човешки надзор, се е опитала да наруши тестовите си протоколи още на 9 юли.

Томас Улф, съосновател на Hugging Face, заяви, че хакерската атака срещу неговата компания е започнала два дни по-късно и е продължила до 13 юли.

Hugging Face служи като хранилище за инструменти и модели на изкуствен интелект.

Две вътрешни лица обаче разкриха, че OpenAI е осъзнала, че собственият AI агент е отговорен за атаката едва след 16 юли.

Според тези източници, едва през уикенда на 18-19 юли хората на OpenAI са открили доказателства във вътрешни записи, показващи как AI моделите са се „измъкнали“ от тестовата лаборатория.

Улф и няколко вътрешни лица потвърдиха, че OpenAI и Hugging Face са обсъдили въпроса за първи път около 20 юли.

OpenAI официално обяви на 21 юли, че един от техните AI агенти е излязъл от контрол и е проникнал в Hugging Face.

По времето, когато OpenAI е предупредила Hugging Face, компанията вече се е свързала с ФБР, за да съобщи за атаката, каза вътрешен източник.

Ройтерс не можа да определи дали ФБР впоследствие е започнало разследване.

Отправната точка за този критичен инцидент със сигурността е тестване на OpenAI, предназначено да оцени възможностите на нов AI агент, особено в киберсигурността.

Според компанията, агентът включва два от най-модерните ѝ модели: GPT-5.6 Sol и все още неиздаден модел, който OpenAI описва като „още по-мощен“.

Изкуственият интелект е бил тестван в защитена среда, за да се оценят хакерските му възможности и да се подобри собствената му сигурност.

Въпреки това, вероятно за да изпълнят възложените задачи, моделите очевидно са използвали уязвимост в своята защитна среда, което им е позволило да избегнат изолацията и да получат достъп до интернет. Това им е позволило успешно да хакнат системата.

Ранни признаци на странно поведение на ИИ

И преди е имало признаци на странно поведение от технологията OpenAI, съобщиха трима вътрешни източници пред Ройтерс.

В един случай агент с ИИ очевидно е оставил бележки за бъдещи версии на себе си. Тези бележки са били намерени в част от инфраструктурата на OpenAI и са съдържали инструкции как агентите могат да се освободят от вътрешните ограничения на OpenAI.

По време на по-ранни тестове на моделите е имало и случаи, в които системите за наблюдение са били деактивирани, каза човек, запознат с въпроса. Дали тези инциденти са свързани с излезлия от контрол агент с ИИ, остава неясно.

Експертите по киберсигурност обаче са съгласни, че загубата на контрол от страна на OpenAI повдига нови опасения за сигурността в компанията.

„Означава ли това, че са го оставили без надзор и не са забелязали какво прави? Или са го забелязали, но не са знаели как да го контролират?“, пита Марли Смит, старши специалист по разузнаване в неправителствената организация World Ethical Data Foundation. „И двете възможности са еднакво опасни и тревожни.“

Остава неясно как служителите на OpenAI са разпознали признаците и какво ги е накарало да прегледат лог файловете.

Компанията често провежда едновременно няколко различни оценки на модели, цитира Ройтерс хора, запознати с методите на обучение.

Всички те работят с висока скорост и генерират толкова огромни количества данни, че служителите понякога се затрудняват да се справят.

Говорител на OpenAI заяви, че има „няколко неточности“ в докладите, без да дава подробности. ФБР отказа коментар.

Междувременно Hugging Face съобщи, че подготвя публична хронология на атаката, обяви го съоснователят на фирмата Улф.

Той не коментира събитията в OpenAI. В изявление OpenAI заяви, че атаката е безпрецедентна и отбелязва „ключов момент за сигурността на изкуствения интелект“.

Те разследват инцидента с външни консултанти и в крайна сметка ще публикуват технически доклад.

„Моделите лъжат, мамят, хакват“

Според Financial Times служителите на OpenAI са били „обхванати от паника“ и шокирани, когато са научили какво се е случило.

В същото време мнозина не са били изненадани, че нещо подобно може да се случи с OpenAI, защото в надпреварата с конкурента си Anthropic за разработване на най-модерните възможности за киберсигурност се използват все по-агресивни методи на обучение, които все по-агресивни методи на обучение, което може да доведе до подобен хакерски инцидент.

OpenAI е била предупредена, че подходът ѝ може да накара моделите да се изплъзнат от тренировъчната среда.

Предишни тестове са показали, че те могат да избягат и да се опитат да причинят щети в реалния свят.

„Отвън това изглежда като ясен предупредителен изстрел, но вътрешно подобни инциденти се случват от известно време“, цитира списание Time служител на OpenAI.

Малко преди настоящия нашумял инцидент компанията е затворила друга вътрешна инсталация, преодоляла контролираната си среда.

Невъзможно е да се осигури всичко, което един креативен изкуствен интелект може да направи.

За OpenAI този инцидент, който извиква най-мрачните научнофантастични сценарии, идва в особено неподходящ момент: Ръководителите на компанията се подготвят за потенциално първично публично предлагане (IPO), което може да се състои още тази година.

Целта е да се наберат милиарди за финансиране на растежа през следващите години.

Автономните агенти се считат за една от най-обещаващите области в индустрията с изкуствен интелект.

Поддръжниците очакват голям брой виртуални служители, което ще повиши производителността.

По-голямата автономност на моделите с изкуствен интелект обаче носи и риск от неочаквано поведение.

„Моделите лъжат, мамят, хакват“, каза Джефри Ладиш от изследователската организация Palisade Research.

Инцидентът с OpenAI повдига фундаментални въпроси за това колко водещи компании за изкуствен интелект инвестират в мерки за сигурност, докато се надпреварват да разработват най-добрите модели. Необходим е държавен надзор.