Analýza serverových logů: co na webu dělá Googlebot a co AI boti

Proč logy ukážou víc než Search Console

Logy samy pozice nezlepší. Ukážou ale, jestli se obsah vůbec dá najít a zpracovat, a to je podmínka všeho ostatního. Search Console v přehledu Statistiky procházení nabízí agregovaná čísla a vzorek adres. Crawler typu Screaming Frog projde odkazy jako robot, ale neví, kam robot opravdu chodí. Access log je jediný zdroj, ve kterém je každý požadavek s časem, adresou a odpovědí serveru.

Od roku 2025 má log ještě jednu roli: je to nejspolehlivější místo, kde uvidíte AI boty. Žádný z provozovatelů AI vyhledávání vám nenabízí obdobu Search Console, takže kolik stránek si GPTBot nebo ClaudeBot stáhl a jakou dostal odpověď, zjistíte jen ze serveru nebo z CDN.

Zdroje: t3n: Logfile-Analysen im SEO; Google: přehled Statistiky procházení v Search Console

Co obsahuje access log a kde ho najdete

Nginx i Apache standardně zapisují řádky ve formátu combined. Každý řádek je jeden požadavek: kdo přišel, kdy, na jakou adresu, co server odpověděl a čím se klient představil. Pro SEO jsou důležité hlavně adresa, stavový kód a user-agent. Boti obvykle neposílají referrer, protože na URL jdou přímo ze svého seznamu.

Doplňte si do formátu logu i dobu zpracování požadavku. V Nginx je to proměnná request_time, v Apache direktiva %D. Bez ní nezjistíte, jestli Googlebot nechodí méně právě proto, že mu server odpovídá pomalu.

• Vlastní server nebo VPS: obvykle /var/log/nginx/access.log nebo /var/log/apache2/access.log, starší dny bývají zabalené logrotate.
• Docker: kontejner s Nginx často zapisuje na standardní výstup, logy pak čtete přes docker logs nebo je posíláte do centrálního úložiště.
• Sdílený hosting: logy bývají ke stažení v administraci, často jen za několik posledních dní. Ověřte si, kolik dní hosting drží.
• CDN: pokud web běží za Cloudflare, část požadavků origin vůbec neuvidí. Kompletní data získáte z logů CDN, u Cloudflare přes Logpush.

66.249.66.1                      IP adresa klienta
[12/Mar/2026:10:15:22 +0100]     čas požadavku
"GET /kategorie/boty/ HTTP/2.0"  metoda, adresa, protokol
200                              stavový kód
18432                            velikost odpovědi v bajtech
"-"                              referrer (boti ho obvykle neposílají)
"Mozilla/5.0 (compatible;        user-agent
 Googlebot/2.1; +http://www.google.com/bot.html)"

Logy a GDPR: IP adresa je osobní údaj

Soudní dvůr EU v roce 2016 potvrdil, že i dynamická IP adresa může být osobním údajem. Access log proto spadá pod GDPR, i když v něm hledáte jen roboty. Uchovávání logů lze obvykle opřít o oprávněný zájem, typicky bezpečnost a provoz webu, ale potřebuje jasnou dobu uchování a zmínku v zásadách zpracování osobních údajů.

V praxi se osvědčuje držet surové logy krátce, řádově desítky dní, a pro dlouhodobé srovnání ukládat jen agregace nebo záznamy robotů po ověření. Anonymizaci IP adres provádějte až po ověření botů. Ze zkrácené adresy už Googlebota neověříte.

Zdroj: Soudní dvůr EU: rozsudek C-582/14 Breyer o IP adresách

Co z logů vyčíst pro SEO

Kontrola dostupnosti a indexace krok za krokem →

Crawl budget: kolik požadavků přijde vniveč

Crawl budget řeší hlavně weby s desítkami tisíc a více adres, typicky e-shopy s filtry. Google o něm mluví jako o kombinaci kapacity serveru a poptávky po obsahu. Pokud se robot zdržuje na nekonečných kombinacích parametrů, dostane se k novým produktům později.

Podle Crawl Waste Report 2026 od SEOmatoru, který vychází z dat Cloudflare Radar, končí stavem 200 jen 45,9 % požadavků crawlerů. Zbytek tvoří přesměrování, chyby a nezměněné odpovědi. Velké weby mají přitom i přes 10 milionů přístupů Googlebota měsíčně, takže je v textovém souboru nezpracujete a potřebujete databázi.

Zdroje: Google: správa crawl budgetu u velkých webů; SEOmator: Crawl Waste Report 2026

Jak ověřit, že jde opravdu o Googlebota

User-agent si může nastavit kdokoli. Scrapery a nástroje konkurence se za Googlebota vydávají běžně, aby obešly ochranu webu. Než z logu začnete dělat závěry, oddělte ověřené roboty od falešných. Google popisuje dva oficiální postupy.

• Reverzní DNS: zjistěte hostname k IP adrese z logu.
• Hostname musí končit na googlebot.com, google.com nebo googleusercontent.com podle typu robota.
• Dopředné DNS: přeložte hostname zpět na IP. Musí vyjít původní adresa z logu.
• Hromadně: porovnejte IP s rozsahy, které Google publikuje v JSON souborech common-crawlers, special-crawlers a user-triggered-fetchers. Rozsahy se mění, stahujte je pravidelně.

$ host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer
  crawl-66-249-66-1.googlebot.com.

$ host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Zdroj: Google: ověření požadavků od robotů a rozsahy IP

AI boti: trénink, vyhledávání a fetch na pokyn uživatele

AI boti nejsou jeden blok. Velcí provozovatelé mají zvlášť robota pro trénink modelů, zvlášť pro vlastní vyhledávací index a zvlášť pro načtení stránky ve chvíli, kdy se na ni ptá uživatel. Každý se řídí vlastním tokenem v robots.txt, takže můžete trénink odmítnout a citace v AI vyhledávání si ponechat.

Pro audit robots.txt se hodí vědět i o zastaralých tokenech. Anthropic už nepoužívá Claude-Web ani anthropic-ai, pravidla pro ně tedy nic neřídí. Google-Extended není samostatný robot, jen token: rozhoduje o použití obsahu pro trénink a grounding modelů Gemini, ale nemá vliv na procházení Googlebotem ani na AI přehledy ve vyhledávání.

Zdroje: OpenAI: přehled robotů GPTBot, OAI-SearchBot a ChatGPT-User; Anthropic: ClaudeBot, Claude-SearchBot a Claude-User; Google: přehled běžných robotů včetně tokenu Google-Extended

Do jakého indexu sahá který AI nástroj →

Kolik AI boti berou a kolik vracejí

Poměr crawl-to-referral říká, kolik stránek bot stáhne na jednoho návštěvníka, kterého platforma pošle zpět na web. U Googlu jde o jednotky, u AI platforem o stovky až tisíce. Čísla z Cloudflare Radar se mezi měsíci výrazně mění, proto je berte jako řád, ne přesnou hodnotu.

Podle stejného zdroje slouží 46,7 % požadavků AI crawlerů k tréninku a jen 11 % živému vyhledávacímu indexu. Proto dává smysl rozhodovat o tréninku a vyhledávání odděleně. GPTBot je podle analýz robots.txt nejčastěji blokovaný AI crawler.

Zdroje: Technology Checker: statistiky provozu robotů 2026; SEOmator: SEO Benchmarks Report; SEOmator: Crawl Waste Report 2026; Technology Checker: blokování AI crawlerů v robots.txt

Tři profily robots.txt pro AI boty

Než začnete psát pravidla, odpovězte si na dvě otázky: chcete, aby vás AI nástroje citovaly a posílaly návštěvníky? A souhlasíte s tím, že se z obsahu budou trénovat modely? Většině firemních webů a e-shopů vychází první profil: citace ano, trénink ne.

U OpenAI platí, že web vyřazený pro OAI-SearchBot se ve vyhledávacích odpovědích ChatGPT nezobrazí, nanejvýš jako navigační odkaz. Zákaz GPTBota naopak viditelnost v ChatGPT vyhledávání neovlivní. Anthropic podporuje i nestandardní direktivu Crawl-delay, pokud potřebujete boty zpomalit.

# Trénink modelů – zakázat
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
User-agent: Bytespider
Disallow: /

# Vyhledávací a uživatelské boty nechte bez omezení:
# OAI-SearchBot, ChatGPT-User, Claude-SearchBot,
# Claude-User, PerplexityBot, Perplexity-User

Zdroje: OpenAI: přehled robotů GPTBot, OAI-SearchBot a ChatGPT-User; Anthropic: ClaudeBot, Claude-SearchBot a Claude-User

Kde robots.txt nestačí: CDN, WAF a ověření IP

Robots.txt je prosba, ne zámek. Dodržují ho slušní boti, zbytek se řeší ve firewallu podle ověřených IP adres a omezením počtu požadavků. Pozor na opačný směr: Anthropic upozorňuje, že při blokaci jeho IP adres se bot nemusí dostat ani k robots.txt, a opt-out pak nefunguje spolehlivě.

Cloudflare od 1. 7. 2026 nabízí všem zákazníkům včetně bezplatného tarifu tři samostatné přepínače: Search, Agent a Training. Googlebot je tam veden jako víceúčelový robot, takže plošná blokace kategorie Training bez výjimky může odříznout i Google. U domén připojených od 15. 9. 2026 jsou navíc tréninkoví a agentní crawleři ve výchozím stavu blokovaní na stránkách s reklamou.

Po každé změně pravidel se vraťte do logu. Ověřte, že zakázaní boti dostávají jen robots.txt, povolení stále dostávají stav 200 a že CDN neodmítá vyhledávací boty, o kterých jste rozhodli, že je chcete pustit. Návštěvy z ChatGPT, Claude nebo Perplexity pak sledujte v analytice jako samostatný zdroj návštěvnosti.

Zdroje: Anthropic: ClaudeBot, Claude-SearchBot a Claude-User; DEV: přepínače Search, Agent a Training v Cloudflare; PPC Land: poměr crawl-to-referral u AI platforem; Cloudflare: nové možnosti řízení AI provozu pro všechny zákazníky

Nástroje: od příkazové řádky po ClickHouse

# Nejčastější user-agenti
awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head -20

# Googlebot: nejčastěji procházené adresáře
grep 'Googlebot' access.log | awk '{print $7}' | cut -d/ -f2 \
  | sort | uniq -c | sort -rn | head

# Stavové kódy pro AI boty
grep -E 'GPTBot|ClaudeBot|OAI-SearchBot|PerplexityBot' access.log \
  | awk '{print $9}' | sort | uniq -c

Zdroje: Screaming Frog: Log File Analyser; GoAccess: analýza webových logů v reálném čase

Jak logy vyhodnocuji v praxi: vlastní nástroj

Obecné nástroje ukážou, co je v logu. Pro klienty ale potřebuji vědět hlavně to, co se změnilo a kde je problém. Proto používám vlastní vyhodnocovací nástroj postavený nad serverovými logy, který průběžně hlídá dvě věci: chyby a cesty robotů po webu.

U chyb nesleduji jen jejich počet. Nástroj ukáže, které adresy a šablony chybu vracejí, od kdy a kterému robotovi. Je rozdíl, jestli 404 dostává jen návštěvník ze starého odkazu, nebo Googlebot na stránce, kterou máte v sitemapě.

U cest sleduji, kudy Googlebot a AI boti web procházejí: které sekce navštěvují, kde utrácejí nejvíc požadavků a které důležité stránky naopak vynechávají. Z toho je vidět, jestli robot najde nové produkty a články, nebo se ztrácí ve filtrech a parametrech.

Na snímcích je e-shop provozovaný na 47 doménách. Od 1. 1. do 21. 4. 2026 nástroj zpracoval 342 714 záznamů. Chyb 4xx bylo 138 053, z toho 75 358 stavů 404, chyb 5xx jen 249. Nejčastější 404 pro Googlebota byl soubor /ads.txt, další mířily na staré adresy stránek výrobců. Na časové ose je vidět vlna chyb na začátku března, kterou by měsíční souhrn snadno přešel.

Záložka podezřelé aktivity řadí IP adresy podle počtu požadavků. Na prvním místě byla adresa mimo rozsahy Googlu s 63 714 požadavky, které server odmítal stavy 403 a 429. Hned pod ní ale byly adresy z rozsahu Googlebota, které také dostávaly 429 a občas 502 nebo 503. Ochrana proti přetížení tak brzdila i robota, kterého e-shop potřebuje. Nástroj vedle toho vypisuje pokusy o SQL injection.

Chci nechat vyhodnotit logy svého webu →

Měsíční kontrola logů v deseti bodech

• Logy za poslední měsíc jsou kompletní, včetně požadavků zachycených CDN.
• Googlebot je ověřený přes DNS nebo JSON rozsahy, falešné požadavky jsou vyřazené.
• Podíl chyb 5xx pro boty je u nuly, případné výkyvy mají známou příčinu.
• Adresy s 404 a 410, které robot stále navštěvuje, mají přesměrování nebo opravený odkaz.
• Interní odkazy nevedou přes řetězce přesměrování.
• Podíl požadavků na filtry, parametry a řazení neroste.
• Důležité stránky a nové produkty navštívil Googlebot v posledních dnech.
• Doba odpovědi serveru pro boty se nezhoršila.
• AI boti dostávají odpovědi podle zvoleného profilu robots.txt a nastavení CDN.
• Robots.txt neobsahuje zastaralé tokeny a nepředpokládá chování, které boti nedodržují.

Jak viditelnost v AI odpovědích průběžně měřit →