Než se stránka objeví ve výsledcích, musí ji robot projít. Jak funguje procházení, co je crawl budget a jak procházení podpořit a sledovat.
Než se vaše stránka objeví ve výsledcích, musí ji vyhledávač najít a projít. Tomuto procesu se říká procházení (crawling) a obstarává ho robot – u Googlu Googlebot. Jak často a důkladně web prochází, ovlivňuje, jak rychle se nový obsah dostane do vyhledávání.
U velkých webů se tomu říká crawl budget a může rozhodovat o tom, zda se vše vůbec zaindexuje. V tomto návodu vám jako SEO specialista vysvětlím, jak procházení funguje a jak ho podpořit.
Co je procházení (crawling)
Procházení (crawling) je proces, při kterém robot vyhledávače – u Googlu Googlebot – objevuje a stahuje stránky webu. Funguje to zhruba takto: robot zná nějaké URL (z odkazů, ze sitemapy), navštíví je, stáhne obsah a přitom najde odkazy na další stránky, které pak také navštíví – a takhle se postupně „prokliká“ po celém webu jako po pavučině.
To, co při procházení najde a zpracuje, pak může zařadit do indexu a zobrazovat ve výsledcích. Procházení je tedy úplně první krok celé cesty stránky do vyhledávání: bez procházení nedojde k indexaci a bez indexace se stránka ve výsledcích neobjeví.
Důležité je pochopit, že robot se k vašim stránkám musí nějak dostat – nejčastěji po odkazech. Stránka, na kterou nevede žádný odkaz a není ani v sitemapě (tzv. osiřelá stránka), může zůstat robotem neobjevená.
Stejně tak může robot procházení něčeho aktivně bránit (robots.txt). Pochopení, co procházení je, je základ technického SEO.
Ukazuje, že než vůbec začnete řešit pozice, musí být splněna základní podmínka: vyhledávač musí být schopen vaše stránky najít a projít. V dalších částech vysvětlím, jak procházení funguje podrobněji a jak ho ovlivnit.
Procházení, indexace, hodnocení
Procházení je první ze tří kroků cesty stránky do výsledků. Přehled shrnuje tabulka:
| Krok | Co se děje |
|---|---|
| Procházení (crawling) | Robot najde a stáhne stránku |
| Indexace | Stránka se zařadí do databáze |
| Hodnocení (ranking) | Seřazení ve výsledcích |
Co je crawl budget
Crawl budget je zjednodušeně objem stránek, které je vyhledávač ochotný a schopný na vašem webu projít za určitý čas. Není neomezený: robot má omezené zdroje a rozděluje je mezi miliardy webů.
Pro malý web (desítky až stovky stránek) crawl budget obvykle není problém – robot stihne projít vše. U velkých webů (tisíce a více stránek, velké e-shopy) ale crawl budget začíná hrát roli: pokud má web obrovské množství URL, robot nemusí stihnout projít a aktualizovat všechny, a některé stránky se tak procházejí zřídka nebo vůbec.
Crawl budget ovlivňuje několik věcí: velikost a kvalita webu, jak rychle web odpovídá (pomalý web robot prochází opatrněji), jak často se obsah mění a kolik zbytečných URL web generuje (zmíněné filtry a parametry crawl budget vyčerpávají). Pochopení crawl budgetu vám pomohe vědět, kdy ho řešit a kdy ne.
Pro většinu menších webů je to spíš teoretický pojem. U velkých webů je ale crawl budget reálný faktor – a optimalizace spočívá hlavně v tom, nenechat robota plýtvat časem na bezcenných URL, aby se mohl soustředit na důležitý a nový obsah.
K tomu se dostanu v části o podpoře procházení.
Co procházení ovlivňuje
To, jak dobře a často robot web prochází, ovlivňuje několik faktorů. Struktura webu a interní prolinkování jsou klíčové – robot se pohybuje po odkazech, takže dobře propojený web s logickou strukturou prochází snáz a najde i hlubší stránky; naopak osiřelé stránky bez odkazů nemusí najít vůbec.
Rychlost a dostupnost webu hrají roli: pomalý nebo často nedostupný web robot prochází opatrněji a méně. XML sitemapa pomáhá robotovi objevit stránky, na které by se jinak dostával hůř.
Aktuálnost obsahu ovlivňuje, jak často se robot vrací – často aktualizovaný web navštěvuje častěji. Naopak procházení brzdí přemíra zbytečných URL (filtry, parametry), chyby a nedostupné stránky, nebo blokace v robots.txt.
Pochopení, co procházení ovlivňuje, vám pomohe vědět, na čem pracovat, aby vyhledávač web procházel efektivně. Není to o nějakém triku, ale o zdravém technickém stavu webu: přehledná struktura, dobré prolinkování, rychlost, sitemapa a žádné plýtvání na zbytečných URL.
Web, který tohle splňuje, robot prochází snáz a důležitý obsah se rychleji dostává do indexu a do výsledků – což je přesně to, co od procházení chcete.
Jak procházení podpořit
Procházení podpoříte několika konkrétními kroky:
- mějte logickou strukturu a kvalitní interní prolinkování,
- vytvořte a udržujte XML sitemapu s důležitými URL,
- zrychlete web a hlídejte jeho dostupnost,
- omezte zbytečné URL (filtry, parametry, duplicity),
- opravujte chyby a nefunkční odkazy, které robota zdržují.
Log analýza: jak zjistit, co robot dělá
Pokročilým, ale velmi užitečným nástrojem pro pochopení procházení je analýza serverových logů (log analýza). Server zaznamenává každý přístup, včetně návštěv robotů – a z těchto záznamů lze zjistit, co Googlebot na webu reálně dělá: které stránky navštěvuje a jak často, kde tráví nejvíc času, na jaké chyby naráží, zda prochází i důležité stránky, nebo se „ztrácí“ v bezcenných URL.
To je cenné zejména u velkých webů, kde je crawl budget reálný problém: log analýza odhalí, zda robot plýtvá časem na filtrech a parametrech místo na produktech, nebo zda některé důležité sekce nenavštěvuje. Na základě toho lze procházení cíleně zlepšit.
Pro běžné menší weby není log analýza nutná – vystačíte si s reporty v Google Search Console (statistiky procházení ukazují, kolik stránek robot prochází a jak web odpovídá). U velkých a složitých webů je ale log analýza nástroj, který odhalí to, co jiné nástroje neukážou.
Pochopení, co log analýza nabízí, vám pomohe vědět, že existuje způsob, jak se podívat „robotovi přes rameno“ a zjistit, jak váš web reálně prochází. U rozsáhlých projektů, kde se řeší crawl budget, jde o jeden z nejmocnějších diagnostických nástrojů technického SEO.
Časté chyby kolem procházení, které vídám
U procházení se opakují tyto chyby:
- osiřelé stránky bez jediného odkazu, které robot nenajde,
- plýtvání crawl budgetem na tisících filtrovaných URL,
- blokace důležitých stránek v robots.txt omylem,
- pomalý nebo často nedostupný web, který robot prochází méně,
- chybějící nebo neaktuální XML sitemapa.
Jak procházení sledovat
Procházení svého webu můžete sledovat hlavně v Google Search Console. Statistiky procházení (crawl stats) ukazují, kolik požadavků robot na web denně dělá, jak rychle web odpovídá a zda naráží na chyby – z toho poznáte, zda robot web prochází plynule, nebo zda něco vázne.
Nástroj Kontrola URL u konkrétní stránky ukáže, kdy ji robot naposledy navštívil a zda je zaindexovaná. Report Indexace stránek odhalí, které stránky jsou zaindexované a které ne (a proč).
U velkých webů doplní obrázek zmíněná log analýza. Sledování procházení se vyplatí zejména po větších změnách webu, při problémech s indexací nebo u rozsáhlých webů.
Více o tom, jak se stránka dostane do indexu, najdete v hesle co je index a indexace. Pochopení, jak procházení sledovat, vám pomohe včas odhalit problémy – například že robot nestíhá procházet důležité stránky nebo plýtvá časem na zbytečných URL.
Procházení je neviditelná, ale zásadní část SEO: je to brána, kterou se obsah dostává do vyhledávání. Když ji máte pod kontrolou a víte, jak ji sledovat, zajistíte, že se vyhledávač dostane ke všemu důležitému a váš obsah se ve výsledcích objeví tak, jak má.
- Procházení (crawling) je první krok cesty stránky do výsledků.
- Crawl budget řešte hlavně u velkých webů – nenechte robota plýtvat časem.
- Pomáhá struktura, prolinkování, sitemapa, rychlost a méně zbytečných URL.
- Procházení sledujte v Search Console, u velkých webů i log analýzou.
Neindexují se vám důležité stránky nebo máte velký web s problémy s procházením? Rád to prověřím v rámci SEO analýzy a komplexní optimalizace webových stránek.
Často kladené otázky
Co je procházení (crawling)?
Proces, při kterém robot vyhledávače (Googlebot) objevuje a stahuje stránky webu – pohybuje se po odkazech jako po pavučině. Co najde a zpracuje, může zařadit do indexu. Procházení je první krok cesty stránky do výsledků.
Co je crawl budget?
Objem stránek, které vyhledávač projde na webu za daný čas. Pro malé weby není problém, u velkých (tisíce URL) ano – robot nemusí stihnout projít vše. Optimalizace spočívá v tom nenechat ho plýtvat časem na zbytečných URL.
Proč robot nenašel moji stránku?
Nejčastěji proto, že na ni nevede žádný odkaz a není ani v sitemapě (osiřelá stránka), nebo je blokovaná v robots.txt. Robot se ke stránkám dostává po odkazech – stránku bez cesty k ní nemusí objevit.
Jak procházení podpořím?
Logickou strukturou a interním prolinkováním, XML sitemapou, rychlým a dostupným webem, omezením zbytečných URL (filtry, parametry) a opravou chyb. Web ve zdravém technickém stavu robot prochází snáz a důležitý obsah se rychleji dostane do indexu.
Co je log analýza?
Analýza serverových záznamů o přístupech, ze kterých zjistíte, co Googlebot na webu reálně dělá – které stránky navštěvuje, jak často a kde plýtvá časem. Je užitečná hlavně u velkých webů s reálným crawl budgetem; malé weby ji nepotřebují.
Kde procházení sleduji?
V Google Search Console – statistiky procházení ukazují počet požadavků robota a rychlost odezvy, Kontrola URL stav konkrétní stránky, report Indexace stránek zaindexované a nezaindexované stránky. U velkých webů doplní obrázek log analýza.
