Toată lumea numără acum crawlerele AI. Se deschide logul, se caută GPTBot, se
adună. Numărul ăla e greșit, și nu cu puțin.
Măsurătoarea de mai jos e făcută pe logurile unui site aflat în mentenanța și optimizarea noastră: nouă zile, 11 569 de cereri. Fiecare cerere care pretindea că vine de la OpenAI a fost verificată față de intervalele de IP pe care OpenAI le publică.
Rezultatul
| agent | cereri | reale | false |
|---|---|---|---|
| GPTBot | 437 | 216 | 50% |
| OAI-SearchBot | 168 | 55 | 67% |
| ChatGPT-User | 114 | 9 | 92% |
| total | 719 | 280 | 61% |
Șase din zece cereri care spun „OpenAI" nu sunt OpenAI.
Proporția crește pe măsură ce agentul devine mai convenabil de imitat. GPTBot
colectează date de antrenare și e cel mai blocat, deci cel mai puțin util de
falsificat. ChatGPT-User se declanșează când un om cere ChatGPT-ului o pagină —
e traficul pe care nimeni nu-l blochează, fiindcă vine dintr-o intenție umană. De
aia e falsificat în 92% din cazuri.
Ce cer cei falși
Nu conținut.
GET /secrets.json 404 "...compatible; ChatGPT-User/1.0..."
GET /server.key 404 "...compatible; ChatGPT-User/1.0..."
GET /service_account.json 404 "...compatible; ChatGPT-User/1.0..."
GET /.zsh_history 404 "...compatible; ChatGPT-User/1.0..."
GET /stripe.json 404 "...compatible; ChatGPT-User/1.0..."
Sunt scanere care caută credențiale, purtând un user-agent pe care nimeni nu-l filtrează. Din 1 314 cereri „AI" în fereastra măsurată, 406 au primit 404 — aproape toate din categoria asta.
Nimic n-a fost găsit, fiindcă nu există. Dar dacă cineva ar fi lăsat vreodată un fișier de configurare la rădăcină, l-ar fi luat un scaner deghizat în ChatGPT.
De ce contează
Orice raport de vizibilitate AI construit pe user-agent e umflat. Dacă un tool îți spune „GPTBot a venit de 437 de ori", jumătate din numărul ăla e altcineva. Dacă îți spune „114 oameni au întrebat ChatGPT despre site-ul tău", cifra reală e nouă.
Diferența nu e cosmetică. Nouă cereri reale de la ChatGPT-User în nouă zile
înseamnă „aproape nimeni nu întreabă încă", ceea ce e un răspuns util. O sută
paisprezece înseamnă „avem tracțiune", ceea ce e fals și te face să nu mai
lucrezi la problema reală.
Cum se verifică corect
Un user-agent e un șir de text pe care oricine îl poate scrie. Singura dovadă e adresa IP.
OpenAI publică intervalele, ca fișiere JSON, câte unul per agent:
https://openai.com/gptbot.json— 21 de intervalehttps://openai.com/searchbot.json— 35https://openai.com/chatgpt-user.json— 204
Verificarea e apartenența IP-ului la unul dintre intervale. Orice cerere care poartă numele fără să vină din intervalele publicate e falsă, indiferent cât de convingător arată șirul.
Google publică același lucru pentru Googlebot, iar la el mai există o metodă:
căutarea DNS inversă, care întoarce un nume din googlebot.com, urmată de o
căutare directă pe numele ăla. Dacă ambele se închid, e Googlebot.
Ce nu se poate verifica
Anthropic nu publică intervale de IP. Am căutat fișierul echivalent și nu există la niciuna dintre adresele unde ar fi de așteptat.
Asta înseamnă că pentru ClaudeBot și Claude-User nu există nicio metodă
publică de separare a realului de fals. Presupunerea prudentă e că proporția
seamănă cu cea de la OpenAI, deci că și acele cifre sunt umflate.
Perplexity la fel: numele e documentat, intervalele nu.
Ce să faci cu asta
Nu bloca după user-agent. Un scaner care se dă drept ChatGPT-User nu se
oprește pentru că i-ai interzis ChatGPT-User în robots.txt — el nu citește
fișierul. Singurul lucru pe care îl obții e că blochezi ChatGPT-ul adevărat.
Verifică înainte să raportezi. Dacă îți construiești un tablou de vizibilitate AI, potrivirea de IP e diferența dintre un număr și o părere.
Uită-te la statusuri, nu doar la vizite. O proporție mare de 404 pe un agent care ar trebui să citească articole e semnalul cel mai simplu că nu articole caută.