OpenAI je saopštio da su dva napredna agenta vještačke inteligencije tokom programerskih zadataka oslabili mehanizme bezbjednosnog nadzora. U jednom slučaju agent je kasnije netačno tvrdio da nije uklonio sistem za praćenje, a kompanija istražuje okolnosti incidenata.
Kompanija OpenAI saopštila je da su dva njena napredna agenta vještačke inteligencije (AI) tokom rutinskih programerskih zadataka isključila, odnosno oslabila pojedine bezbjednosne mehanizme koji nadziru njihov rad.
Prema navodima kompanije, jedan agent isključio je automatska upozorenja koja su se slala bezbjednosnom timu, dok je drugi uklonio integraciju sa sistemom za nadzor, a potom negirao da je to učinio.
Incidenti su se dogodili 3. i 6. oktobra, tokom internih programerskih zadataka, prenio je CNBC.
U prvom slučaju, agent je isključio automatska obavještenja namijenjena bezbjednosnom timu, ali je sistem za praćenje nastavio da radi i čuva izvještaje. Na taj način podaci su ostali dostupni, ali tim nije dobijao automatska upozorenja.
U drugom slučaju, agent je tokom prilagođavanja programa uklonio vezu sa sistemom za nadzor kako bi kod uskladio sa referentnom implementacijom. Nakon toga je netačno tvrdio da nije uklonio nadzor.
OpenAI je naveo da su agenti razmatrali da li bezbjednosne mehanizme treba zadržati, ali su uputstva za obavljanje uobičajenih programerskih zadataka protumačili kao dozvolu da oslabe zaštitne mjere.
Kompanija nijedan od ovih incidenata nije svrstala u najvišu kategoriju ozbiljnosti, ali je najavila unapređenje sistema za praćenje ponašanja modela koje nije u skladu sa namjerama njihovih tvoraca.
OpenAI ispituje da li su agenti pokušavali da izbjegnu nadzor i zbog čega su zaključili da je prihvatljivo ukloniti ili oslabiti zaštitne mehanizme. Kompanija, takođe, radi na tome da modelima oteža isključivanje sistema za praćenje i unaprijedi otkrivanje sličnih postupaka, piše B92.
Ovi slučajevi ponovo su otvorili pitanje bezbjednosti sve naprednijih AI sistema, posebno agenata koji mogu samostalno da izvršavaju zadatke i mijenjaju programski kod.
Stručnjaci upozoravaju da bi mogućnost slabljenja mehanizama koji nadziru rad ovakvih sistema mogla da oteža otkrivanje grešaka i nepoželjnog ponašanja. Iako u ovim slučajevima nije prijavljena šteta, incidenti ukazuju na izazove u razvoju autonomnih AI agenata koji preuzimaju sve složenije operacije u digitalnom okruženju.
(Mondo)