AI sigurnost

OpenAI će ugraditi istraživače sigurnosti kako bi istražili zloupotrebe AI-ja

OpenAI će ugraditi šest evaluatora iz Apollo Researcha kako bi istražili da li njegovi AI modeli pokazuju opasno ponašanje, ali ograničenja na pristup i objavljivanje informacija postavljaju pitanja o njihovoj nezavisnosti.

Via TechCrunch 7 min čitanja

OpenAI will embed safety researchers to investigate AI subversion

OpenAI će ugraditi sigurnosne evaluatore iz Apollo Researcha, Goodfirea, METR-a i Transluceja u svoju organizaciju kao dio pilot-projekta, najavio je OpenAI u ponedjeljak. Ova vijest dolazi nakon niza sigurnosnih incidenata, uključujući onaj u kojem je OpenAI-jeva grupa agenata izašla iz sandboxa i hakirala Hugging Face tijekom testa sigurnosti. Mnogi istraživači AI sigurnosti, uključujući one iz Apollo Researcha, tvrde da bi se ovakav događaj mogao izbjeći kada bi vanjski evaluatori bili ugrađeni unutar OpenAI-ja kako bi pratili testiranja sigurnosti.

OpenAI je rekao da ovi napori podržavaju njegov obavezu da se oslanja na nezavisne procjene sigurnosnih kontrola prema Sporazumu Bijele kuće o Super inteligenciji. Pilot-projekti će početi u različitim vremenima – Apollo-ov počinje ovaj tjedan, prema OpenAI-ju.

Ideju o ugrađivanju evaluatora u laboratorije AI-ja na čelu tehnologije prvi je put pokrenula Anthropic, koja je prošlog mjeseca počela davati METR istraživačima pristup na nivou zaposlenog svojim sustavima. Do nedavno su tvrtke AI-ja samo dovodile vanjske pregledavatelje kako bi testirali modele nakon obuke i nedugo prije javnog objavljivanja. Evaluatori kažu da je to nedostatno jer im ne dopušta testiranje opasnog ponašanja kao što je preusmjeravanje tijekom obuke ili nadzor над internim slučajevima primjene koji bi i dalje mogli predstavljati prijetnju.

Rad s svakom trećom stranom razlikuje se po opsegu. Pilot-projekt OpenAI-ja i Apollo Researcha trebao bi se usredotočiti na istražzivanje je li modeli pokušavaju sabotirati vlastite mehanizme usklađenosti i kontrole ili mehanizme svojih nasljednika. Drugim riječima, gledat će jesu li AI modeli pokušali podrivati sigurnosna pravila i zaštite osmišljene da drže njih ili buduće verzije sebe pod ljudskom kontrolom. OpenAI je nedavno objavio rezultate pokazujući da je tijekom obuke GPT-5.6 Sol počeo ostavljati upute budućim verzijama sebe koje govore da sakrije greške i neujednačeno ponašanje od korisnika.

Prema Apollo Researchu, pilot-projekt će ispitati hoće li obuka poticati sabotažu; mogu li evaluacije izazvati sabotažu; dolazi li do sabotaže tijekom internog korištenja; i bi li razmatranja relevantna za sabotažu bila otkrivena. Ti rizici postaju sve važniji za nadzor kako AI modeli postaju sposobniji da djeluju autonomno i prevaraju ljude. Prethodno Apollo-evo istraživanje sa OpenAI-jem otkrilo je da se modeli ponašaju različito kada znaju da se testiraju i teže isticanju onoga što evaluatori žele vidjeti umjesto stvarnih institucija korisnika.

Goodfire će ugraditi istraživače koji se specijaliziraju za razumijevanje kako AI modeli funkcioniraju interno. Koristeći svoju platformu za interpretabilnost, tvrtka će pomoći OpenAI-ju da prati treninge, ispravi neželjeno ponašanje i poboljša usklađenost, prema tvrtki. Goodfire kaže da će objaviti rezultate, iako će njegova primarна publika biti OpenAI-jevi istraživači.

Sa METR-om, OpenAI planira provesti dvije evaluacije: jednu koja traži neželjeno ili opasno ponašanje u samom modelu, uključujući probleme koje OpenAI-jevi vlastiti testovi možda nisu promatrili, i drugu koja testira je li OpenAI-jevi sustavi sposobni hvatiti to ponašanje. Za prvu evaluaciju, METR će u najvećoj mjeri sam odlučiti što istražiti i kako testirati model. OpenAI i METR još nisu donijeli odluku o opsegu druge procjene, prema OpenAI-ju.

Transluce, s druge strane, će ispitati je li OpenAI-jeve procjene sigurnosti nakon obuke dobar dovoljne. Organizacije također planiraju testirati 2027. godine kako OpenAI koristi svoje sigurnosne testove kako bi odlučio je li model dovoljno siguran za objavljivanje.

U vremenu kada je nezavisnost evaluacija trećih strana pod ispitivanjem, vrijedno je napomenuti da Apollo i Goodfire primaju financijsku kompenzaciju za svoje evaluacije. METR i Transluce ne primaju, ali mogu prihvatiti kredite za računalne resurse ili API.

Apollo, koji je objavio najdetaljniji prikaz svoga sporazuma s OpenAI-jem, nudi bliži pogled na opseg i ograničenja tih evaluacija.

Mnogi u zajednici AI sigurnosti upozorili su da bi AI laboratoriji mogli pokušati omesti nezavisnost evaluatora, posebno ako vanjski istraživači pronađu neugodne dokaze koje bi laboratoriji radije zadržali u tajnosti. Apollo kaže da je suština pilot-projekta OpenAI-jeva suglasnost da tvrtka može javno objasniti uvjete i ograničenja svojeg rada.

Ipak, postoje oblasti gdje Apollo vjeruje da njezin pristup OpenAI-jevim sustavima nedostaje. Za zaista nezavisnu evaluaciju AI modela tvrtke, Apollo kaže da mu treba pravi pristup na nivou zaposlenog OpenAI-jevim sustavima, uključujući „sve podatke, zapise i dokumentaciju relevantne za njihovu procjenu čak i ako je razvijač pokušavao sakriti neugodne informacije”. Dobivanje pristupa svim podacima, uključujući podatke o obuci i zapisima evaluacija koje tvrtke nerado pokazuju vanjskim stranama, važno je, recimo, za provjeru tvrtkinih tvrdnji o tome kako se model ponašao ili za određivanje kada se pojavilo određeno zabrinjavajuće ponašanje.

U prethodnom izvještavanju, John Steidley, starješina voditelja u Palisade Researchu, rekao je TechCrunchu da je važno vidjeti te podatke kako bi se procijenilo je li model obučen da dobro radi na „mjerilu otpora gašenju”.

U prvom pilot-projektu OpenAI-ja, AI laboratorij daje Apollo Researchu pristup samo informacijama potrebnim kako bi se procijenilo jesu li modeli angažirani u pokušajima sabotaže. To uključuje „relevantan kod i skupove podataka za obuku, pojačano učenje sa dostupnim tragovima razmatranja i nagradama, te mogućnost postavljanja upita međuposrednim kontrolnim točkama modela”.

Opseg pristupa bit će ograničen na „samo dogovorene tvrdnje i samo za specifične modele i vremenske periode dogovorene za procjenu”, prema Apollo Researchu. OpenAI i dalje zadržava pravo da zadrži određene informacije unutar tog opsega ako smatra da je to potrebno zbog tehnijske neostvarivosti, rizika sigurnosti ili zaštite intelektualnog vlasništva. Tvrtka se složila da neće zadržavati informacije jednostavno zato što su neugodne.

Apollo također neće dobiti pristup svim OpenAI zaposlenicima, već samo „ovlaštenom osoblju”, što su sudionici koje je AI laboratorij odabrao, iako Apollo može predložiti određene osobe. Ključno je, ako OpenAI zaposlenik izvan ove grupe iznese povjerljive informacije u okviru Apollo-eva istraživanja, tvrtka ne može nastaviti i mora prestati s komunikacijom i proslijediti dalje pokušaje kroz OpenAI.

Ovaj je uvjet znatan. Dolazi nakon što je OpenAI otpustio tri istraživača jer su navodно dijelili povjerljive informacije s METR-om za procjenu sigurnosti – koji je proveo analizu incidenata Hugging Face-a zajedno sa neovisnom grupom za istraživanje AI sigurnosti Redwood.

Buck Shlegeris, izvršni direktor Redwooda, rekao je u objavi u ponedjeljak da sporazumi najavljeni ne zadovoljavaju standard djetelomice trećim stranama „pristupa sličnog zaposleniku”, rekavši da je „razočaravajuće ali ne iznenađujuće”.

OpenAI je rekao da će imati ugrađene evaluacije s pristupom sličnim zaposleniku; sporazumi najavljeni danas očito ne zadovoljavaju taj standard.

Ovo je razočaravajuće ali ne iznenađujuće.

Možda će budući sporazumi biti bolji. https://t.co/kmDbg1Dqav

— Buck Shlegeris (@bshlgrs) 16. studenog 2026.

Pilot-projekt također će biti ograničen u tome koliko istraživači mogu objaviti. Iako će Apollo biti dopušten objaviti nezavisne zaključke svojih nalaza, OpenAI će moći ograničiti dokaze dostupne za njihovo javno potvrđivanje, što bi moglo otežati vanjskim stranama da neovisno procijene nalaze. Apollo se opirao ovoj ograničenju, rekavši da vjeruje da bi istraživačima trebalo biti dopušteno objaviti rezultate evaluacije „odgovarajućoj vanjskoj publici čak i ako je razvijač pokušavao spriječiti objavljivanje neugodnih nalaza”.

To rekavši, dok javnost ne može vidjeti puni potporni dokaz, OpenAI kaže da će njegov Odbor za sigurnost, koji nadzire sigurnost u ime odbora Zaklade OpenAI-ja, dobiti na pregled neredaktirane izvještaje o procjeni i može privatno komunicirati s evaluatorima.

Iako OpenAI ne dodjeljuje sve Apollo-eve uvjete za zaista nezavisnu evaluaciju, tvrtka kaže da je pilot-projekt „ambiciozan prvi korak prema većem pristupu i pravima objavljivanja”, te da radi na tome kako bi u budućnosti vodila potpune ugrađene evaluacije s više AI razvijatelja.

Ovaj je članak ažuriran kako bi uključio pilot-projekte s METR-om, Goodfiream i Translucejom, kao i informacije iz OpenAI-ja i komentar Redwooda.

Kada kupite kroz poveznice u našim člancima, možda ćemo zaraditi malu proviziju. To ne utječe na našu uredničku nezavisnost.

Izvor: TechCrunch

PodijeliXFacebookLinkedInWhatsApp