Детектив Claude: ИИ издаде на полицията потребител, подготвяла стрелба

Детектив Claude: ИИ издаде на полицията потребител, подготвяла стрелба - Zashtoto

Компанията Anthropic уведоми полицията за потребителка на чатбота си Claude, изпратила съобщение с намерение да стреля в шерифски офис.

По-късно жената обясни, че е използвала изкуствения интелект като личен дневник. За случая съобщи TechSpot, позовавайки се на полицейски доклади.

Въпросната е 30-годишната Карли Мишел Гелър от Бонита Спрингс, Флорида.

Според разследването, на 26 септември тя е писала на Claude, заявявайки, че планира да открие стрелба в офиса на шерифа на окръг Лий.

На следващия ден пак там се е появило съобщение, споменаващо закупуването на нов пистолет и „последен шанс“.

Системата за сигурност на Claude е отбелязала комуникацията като потенциално опасна и я е препратила към служители на Anthropic за проверка.

След като е оценила заплахата, компанията се е свързала с правоприлагащите органи и им е предоставила информация за потребителя.

Полицията е идентифицирала Гелър и я е арестувала в дома ѝ без инциденти.

Повдигнато ѝ е обвинение за отправяне на писмена заплаха за насилие.

Според законите на Флорида това се квалифицира като престъпление от втора степен.

Съдебното заседание е насрочено за ноември, а обстоятелствата, посочени от полицията, тепърва трябва да бъдат доказани в съда.

Политиката за поверителност на Anthropic позволява на компанията да споделя данни с правоприлагащите органи, ако счете за необходимо да предотврати сериозна вреда или смърт.

Разговорите, маркирани от системите за сигурност, също могат да бъдат преглеждани от служители на компанията, дори когато потребителят е отказал данните му да се използват за обучение на модела.

Други разработчици на чатботове също преразглеждат подобни политики.

След стрелба в училище в Канада, конкурентът OpenAI обеща да уведомява полицията за разговори с ChatGPT, които сигнализират за непосредствена и реална заплаха.

Във Флорида също беше образувано наказателно разследване във връзка с използването на ChatGPT от извършител на стрелба в университет.