Dramatičan rast blokiranja pokazuje da mnogi portali AI botove više ne vide kao korisne alate
Internet se ubrzano zatvara pred naletom vještačke inteligencije. Sve više sajtova više ne želi da AI botovi preuzimaju njihov sadržaj, a posljednjih sedmica bijleži se najveći talas blokiranja do sada.
Prema analizi firme BuiltWith, broj sajtova koji su u svoj robots.txt dodali GPTBot u "blok" listu skočio je sa oko 3,3 miliona početkom jula na oko 5,6 miliona. To je rast od gotovo 70 odsto u izuzetno kratkom periodu.
I ostali poznati AI crawler-i suočavaju se sa sličnim talasom odbijanja. ClaudeBot, zajedno sa Claude-SearchBot-om, kao i AppleBot, sada su blokirani na oko 5,8 miliona sajtova. Ranije je to bila znatno manja brojka, piše The Register.
Najzanimljiviji podatak tiče se Google-a. Čak i GoogleBot, koji služi za indeksiranje stranica i normalno rangiranje sajtova na pretrazi, sve češće nailazi na zabranu pristupa. BuiltWith navodi da oko 18 miliona sajtova sada aktivno blokira i njega, što znači da ti sajtovi mogu potpuno nestati iz rezultata pretrage.
Stručnjaci iz industrije tvrde da dramatičan rast blokiranja pokazuje kako izdavači AI botove više ne vide kao korisne alate. Umjesto toga, vide ih kao prijetnju - bilo da žele da zaštite autorska prava, zadrže originalni sadržaj pod kontrolom ili spriječe preoptjerećenje servera.
Ipak, postoji ozbiljan problem: mnogi AI crawler-i potpuno ignorišu pravila iz robots.txt fajlova. To znači da nastavljaju da skidaju sadržaj čak i na sajtovima koji su ih izričito zabranili.
Zbog toga masovno prikupljanje podataka za treniranje vještačke inteligencije postaje sve veći izazov. A prema mišljenju eksperata, ovo je tek početak borbe za kontrolu digitalnog sadržaja na internetu.
Izvor: B92