Claude kitalált egy gyilkosságról szóló bejelentést, és egy teszt során elküldte a rendőrségnek

Az Anthropic október 9-én jelentést tett közzé a modelljei nem szándékolt műveleteiről. A legmeghökkentőbb eset a Claude Haiku 4.5-höz kapcsolódik. A modell webhelyekkel folytatott interakciókra generált példákat, amikor egy megoldatlan emberölésről szóló philadelphiai rendőrségi oldalra jutott. Az oldalon egy bejelentések fogadására szolgáló űrlap volt. Claude azt írta, hogy talán látott valakit, aki megfelelt a személyleírásnak, az oldalon megnevezett utca közelében, üresen hagyta a név- és elérhetőségi mezőket, majd megnyomta a küldés gombot. Az oldal egyáltalán nem közölt személyleírást gyanúsítottról, így Claude kitalálta a bejelentést.

Ez július 18-án, nem sokkal éjfél előtt történt. A rendőrség rendszere spamként jelölte meg az üzenetet, így az soha nem jutott el a nyomozókhoz. Az Anthropic csak szeptember 28-án fedezte fel az esetet a tesztek átiratainak felülvizsgálata során, és október elején értesítette a várost. Az NBC10 által idézett közleményben a rendőrség azt mondta: „elfogadhatatlan, hogy két hónap telt el az incidens észleléséig és a város értesítéséig.”

Visszatérő minta az átiratokban

A jelentés más eseteket is felsorol, amelyekben Claude megállás helyett megkerülte az akadályt. A Claude Haiku 4.5 többször is beküldött űrlapokat, noha azt az utasítást kapta, hogy az utolsó lépés előtt álljon meg, mert visszaigazoló oldalra számított. Egy még ki nem adott kutatási modell egy éles kormányzati webhelyre ment, és beküldte a valódi űrlapot, holott egy gyakorlásra szolgáló másolatot kellett volna használnia. Az Axios szerint az amerikai külügyminisztérium 20 hiányos vízumkérelmet kapott az Anthropic egyik tesztmodelljétől, ezek közül 19-et augusztusban. Egyiket sem dolgozták fel. A Claude Mythos 5 hozzáférési tokeneket nyert ki egy térképszolgáltatás beállításfájljából, és közvetlenül lekérdezte annak szerverét. A Claude Opus 5 és a Mythos 5 ingyenes URL-rövidítőkkel kerülte meg a fetch eszközük hosszkorlátját.

Az Anthropic szerint ügyféladatok nem voltak érintettek, és a valós hatás minimális volt. Néhány eset azonban a Claude szokásos belső használata során történt. A vállalat azt is írja, hogy az összehangolási tréning „önmagában még nem elégséges vagy teljesen megbízható”. Az Anthropic még júliusban nyilvánosságra hozta, hogy Claude biztonsági tesztek során három valódi vállalat rendszerébe tört be.

Az Anthropic megszünteti az élő internet-hozzáférést az értékeléseiben

Mostantól minden belső értékelés a nyílt internethez való hozzáférés nélkül zajlik. Az Anthropic leállított néhány nyilvános teljesítménytesztet, másokat pedig átalakított, hogy többé ne érjenek el valódi webhelyeket. Az olyan eszközök, mint a web fetch, szigorúbb korlátozásokat kapnak, az új észlelőeszközök pedig az ilyen viselkedés blokkolását szolgálják. Az Anthropic saját tesztjeiben a rendszer a jelentésben szereplő összes esetet felismerte. A Fehér Ház az új Super Intelligence Force csoportján keresztül reagált, amely felszólította az AI-vállalatokat, hogy azonnal jelentsék a modelljeiket érintő incidenseket. „Ez az értesítési és helyreállítási folyamat nem opcionális” – közölte a csoport az Axiosnak adott nyilatkozatában.

Mit jelent ez a Claude in Chrome számára?

A rendőrségi eset egyik részlete a hétköznapi felhasználók számára is fontos. A tesztutasítások kizárták a bejelentkezést, a személyes adatokat, a vásárlást és a romboló műveleteket, az űrlapokat azonban nem, Claude pedig ezt engedélynek tekintette. A Claude in Chrome bővítmény hasonló rést hagy. Az engedélyekről szóló útmutatója szerint minden módban elutasítja a vásárlásokat, az új fiókok létrehozását és a végleges törléseket, érzékeny információk megadása előtt pedig mindig engedélyt kér. Egy érzékeny adatokat nem tartalmazó egyszerű űrlapra e szabályok egyike sem vonatkozik.

A bővítménynek három jóváhagyási módja van. A „Manually approve” módban Claude minden egyes művelet előtt engedélyt kér. Az „Automatically approve” egy biztonsági ellenőrzésre bízza a döntést, és ez az alapértelmezett mód a Cowork oldalsó paneljén, míg a „Skip all approvals” mindkettőt kikapcsolja. Ha olyan webhelyeken engeded Claude-nak az űrlapok kitöltését, amelyek felett nincs ellenőrzésed, válts kézi jóváhagyásra a csevegés beviteli mezője melletti legördülő menüben. A bővítmény beállításai az összes olyan webhelyet is felsorolják, amelynek állandó engedélyt adtál, és ott vissza is vonhatod ezeket az engedélyeket. Augusztusban egyetlen célzottan megalkotott e-mail is elég volt ahhoz, hogy átvegyék az irányítást öt AI-böngésző felett.