Bezbjednosni istraživači otkrili su ozbiljan propust u radu vodećih AI agenata koji su unutar mreža velikih svjetskih kompanija bili u stanju da automatski preuzimu i pokrenu neprovjeren kod.
Popularni AI agenti, među kojima su Claude, OpenAI-ev Codex i Hermes, instalirali su kod iz neprovjerenih izvora unutar računarskih mreža nekih od najvećih svjetskih kompanija.
Bezbjednosni istraživači iz Izraela analizirali su 6.214 domena kompanija iz odbrambene industrije, Fortune 500 liste i Big Tech sektora. Pronašli su 8.265 "llms.txt" i "llms-full.txt" fajlova, od kojih je 120 sadržalo potencijalno opasna uputstva.
Ovi fajlovi služe kao svojevrsno uputstvo koje AI agentima pomaže da razumiju sadržaj i strukturu sajta. Međutim, istraživači su u njima pronašli ukupno 227 komandi za instaliranje nepostojećih softverskih paketa ili pristup neregistrovanim domenima.
Problem nastaje jer AI agenti dokumentaciju sa pouzdanih izvora mogu da prihvate kao legitimno uputstvo. Pritom ne moraju da provjere da li navedeni paket ili domen zaista pripada kompaniji.
Ako se u dokumentaciji nalazi komanda za instalaciju paketa koji još niko nije registrovao na servisima poput PyPI ili npm, napadač može da zauzme to ime. Zatim može da postavi zlonamjerni softver i sačeka da ga AI agent sam preuzme.
Ukoliko takav agent ima dozvolu za izvršavanje komandi, dovoljno je da dobije zadatak da podesi projekat. On tada može da preuzme i pokrene zlonamjerni paket unutar mreže kompanije.
Poseban problem je što bezbjednosni sistemi ovakvu aktivnost teško prepoznaju kao napad. Njima sve može izgledati kao da programer koristi legitimni alat koji instalira paket sa servisa poput PyPI-a.
Da bi provjerili koliko je opasnost stvarna, istraživači su registrovali nekoliko slobodnih naziva paketa i postavili bezopasan kod. Njegov jedini zadatak bio je da po pokretanju pošalje signal njihovom serveru.
Nisu dugo čekali. Već u roku od sat vremena dobili su signal iz sistema jedne Fortune 500 kompanije, što je potvrdilo da je njihov kod zaista preuzet i pokrenut.
Vremenom je stiglo još nekoliko desetina signala iz drugih sistema, uključujući još Fortune 500 kompanija i startapa. Analizom procesa istraživači su utvrdili da su među AI agentima koji su pokretali instalacije bili Claude, OpenAI-jev Codex i Nous Research-ov Hermes.
Da ovo nije samo teorijska opasnost pokazuje i slučaj sajta clerk.com. U njegovom LLM fajlu nalazila se komanda "npx clerk-next-fix-auth-protection", koja je upućivala na paket koji u tom trenutku nije bio registrovan.
Neko je u međuvremenu registrovao taj naziv i iskoristio ga za distribuciju pravog zlonamjernog softvera. Clerk je problem kasnije riješio, ali nije poznato da li je na ovaj način došlo do stvarnih infekcija.
Istraživači upozoravaju da problem nije ograničen samo na "llms.txt" i "llms-full.txt" fajlove. AI agenti koriste dokumentaciju kompanija, partnera i drugih pouzdanih izvora, pa se isti princip napada može primijeniti mnogo šire.
Masovnim uvođenjem AI agenata granica između običnog sadržaja i komandi koje računar može da izvrši postaje sve tanja. Sve što agent pročita potencijalno može postati instrukcija koju će izvršiti ako za to ima odgovarajuće dozvole.