Crawl budget je množství stránek, které vyhledávač projde za daný čas. Koho se týká, co ho plýtvá a jak ho šetřit u velkých webů.
Crawl budget je množství stránek, které je vyhledávač ochotný a schopný na vašem webu projít (procrawlovat) za určité období. Jednoduše řečeno je to „rozpočet“ robota na procházení vašeho webu.
U malých webů ho řešit nemusíte, ale u velkých webů a e-shopů rozhoduje o tom, jak rychle se obsah dostane do indexu. V tomto slovníkovém článku vám jako SEO specialista vysvětlím, co crawl budget znamená a jak ho neplýtvat.
Co je crawl budget
Crawl budget je pojem označující množství stránek, které vyhledávač projde na vašem webu za daný čas. Robot (například Googlebot) nemá neomezené kapacity, takže každému webu věnuje jen určitou míru procházení.
Toto „množství projitých stránek“ je crawl budget. Skládá se zhruba ze dvou složek: jak rychle robot může web procházet, aniž by ho zatížil (crawl rate), a jak moc se mu vůbec vyplatí web procházet podle jeho důležitosti a aktuálnosti (crawl demand).
Crawl budget je důležitý proto, že vyhledávač zaindexuje jen stránky, které projde – pokud rozpočet vyplýtvá na nepodstatné URL, k důležitým stránkám se dostane pomaleji. U malého webu s pár desítkami stránek to není problém, robot stihne projít vše.
U velkých webů s tisíci URL ale crawl budget reálně ovlivňuje, jak rychle se nový a změněný obsah dostane do vyhledávání.
Crawl budget vs crawling
Crawl budget úzce souvisí s procházením (crawlingem), ale není to totéž. Rozdíl shrnuje tabulka:
| Pojem | Význam |
|---|---|
| Crawling | Samotné procházení stránek robotem |
| Crawl budget | Kolik stránek robot projde za daný čas |
Z čeho se crawl budget skládá
Crawl budget určují zhruba dva faktory. Prvním je crawl rate limit – tedy jak rychle robot může web procházet, aniž by ho přetížil.
Pokud server reaguje rychle a zvládá zátěž, robot může procházet víc; pomalý nebo přetížený server crawl rate snižuje. Druhým faktorem je crawl demand – tedy jak moc se vyhledávači vyplatí web procházet.
Roli hraje popularita a důležitost stránek a jejich aktuálnost; obsah, který se často mění a je vyhledávaný, robot navštěvuje častěji. Crawl budget je v podstatě průnik těchto dvou – kolik robot může a kolik chce procházet.
To znamená, že crawl budget ovlivníte jak technicky (rychlost a zdraví serveru), tak obsahově (kvalita, aktuálnost a důležitost stránek). Pochopení obou složek vám pomůže crawl budget cíleně podpořit a nasměrovat robota tam, kde ho potřebujete.
Koho se crawl budget týká
Crawl budget je relevantní hlavně pro velké weby. U malého webu (řádově desítky až nižší stovky stránek) se jím obvykle nemusíte zabývat – robot snadno projde vše a indexace nevázne na rozpočtu.
Význam roste s velikostí: u webů s tisíci a více URL, typicky velkých e-shopů, zpravodajských webů nebo rozsáhlých databází, začíná crawl budget reálně ovlivňovat, jak rychle se obsah indexuje. Týká se i webů, které generují hodně URL automaticky – například e-shopy s filtry a parametry.
Pokud máte malý web a indexace funguje, crawl budget neřešte a soustřeďte se na obsah a techniku obecně. Pokud máte velký web a všímáte si, že se nový obsah indexuje pomalu nebo že robot tráví čas na nepodstatných URL, je čas crawl budget vzít v úvahu.
Je to tedy téma, jehož důležitost závisí na velikosti a charakteru webu.
Co crawl budget plýtvá
Crawl budget se nejčastěji plýtvá na URL, které nemají být indexované nebo nemají hodnotu. Typickými žrouty rozpočtu jsou parametrické a filtrované URL na e-shopech (řazení, filtry), nekonečné stránkování, duplicitní obsah, interní vyhledávání, osiřelé a chybové stránky nebo dlouhé řetězce přesměrování.
Robot na tyto adresy spotřebuje čas, který by jinak mohl věnovat důležitým stránkám. U velkého webu mohou tyto nepodstatné URL tvořit drtivou většinu všech adres, takže robot tráví procházením balastu víc času než procházením hodnotného obsahu.
Výsledkem je pomalejší indexace toho, na čem vám záleží. Identifikovat, co crawl budget plýtvá, je proto první krok k jeho efektivnímu využití.
Pomůže report procházení a indexování v Google Search Console, který ukáže, kolik a jakých URL robot prochází a kde se ztrácí kapacita na nepodstatných adresách.
Jak crawl budget šetřit
Crawl budget ušetříte tím, že robota nasměrujete na to podstatné a odvedete od balastu. Pomáhá ošetřit parametrické a filtrované URL přes kanonický odkaz nebo noindex, blokovat jasně nepodstatné sekce v robots.txt, odstranit nebo přesměrovat chybové a osiřelé stránky a vyhnout se zbytečným řetězcům přesměrování.
Důležitá je i rychlost a zdraví serveru, protože ovlivňují, jak rychle robot může procházet. Pomáhá také čistá a mělká struktura webu a aktuální sitemapa, která robotovi ukáže důležité URL.
Cílem je, aby robot trávil čas procházením hodnotných stránek, ne nekonečných variant a balastu. Tyto kroky jsou v podstatě součástí dobrého technického SEO.
Více o tom, jak indexace funguje, najdete v článku indexace webu. Šetření crawl budgetu je tak hlavně o čistotě a struktuře webu.
Crawl budget a indexace
Crawl budget přímo souvisí s indexací, protože vyhledávač zaindexuje jen stránky, které projde. Pokud robot kvůli plýtvání rozpočtem nestihne projít důležité stránky, ty se do indexu dostávají pomaleji nebo vůbec.
U velkých webů je proto efektivní využití crawl budgetu předpokladem dobré a rychlé indexace. Naopak na malém webu indexace na crawl budgetu nezávisí, protože robot stihne projít vše.
Crawl budget tedy není cíl sám o sobě, ale prostředek k tomu, aby se hodnotný obsah dostal do indexu rychle a spolehlivě. Když robot tráví čas na nepodstatných URL, trpí tím indexace toho podstatného.
Pochopení tohoto vztahu vám pomůže vnímat crawl budget ve správném kontextu – jako součást širší péče o indexaci a technické zdraví webu, ne jako izolovanou metriku, kterou je třeba honit.
Časté chyby u crawl budgetu, které vídám
Při auditech velkých webů narážím na opakující se chyby:
- tisíce parametrických a filtrovaných URL bez ošetření,
- nekonečné stránkování a duplicity spotřebovávající rozpočet,
- pomalý server snižující rychlost procházení,
- řešení crawl budgetu i u malých webů, kde nehraje roli,
- nesledování reportu procházení v Search Console.
Související pojmy
Crawl budget souvisí s řadou pojmů z technického SEO. Úzce se pojí s procházením (crawlingem) a robotem (crawlerem), s indexací, s robots.txt a sitemapou, které procházení ovlivňují, a s duplicitním obsahem a parametrickými URL, které rozpočet plýtvají.
Pro pochopení celé problematiky indexace velkých webů se vyplatí znát i tyto navazující pojmy. Více vysvětlení najdete v dalších heslech slovníku, například Crawling, crawler.
Crawl budget je jeden z pojmů, který dává smysl hlavně v kontextu velkých webů a jejich technického zdraví. Když rozumíte tomu, jak robot web prochází a co jeho rozpočet ovlivňuje, dokážete u rozsáhlého webu zajistit, aby se hodnotný obsah dostával do indexu rychle a aby robot neztrácel čas na nepodstatných adresách.
Proč na crawl budgetu záleží
Crawl budget rozhoduje u velkých webů o tom, jak rychle se obsah dostane do indexu. Když se vyplýtvá na balast, důležité stránky čekají.
Šetřit ho znamená nasměrovat robota na to podstatné – ošetřit filtry a duplicity, mít rychlý server a čistou strukturu. U malého webu ho řešit nemusíte.
Pokud máte velký web a indexace vázne, stojí za to crawl budget prověřit v Search Console. Je to součást zdravého technického SEO.
- Crawl budget = kolik stránek robot projde za daný čas.
- Týká se hlavně velkých webů, u malých nehraje roli.
- Plýtvají ho filtry, duplicity, chyby a pomalý server.
- Šetříte ho čistou strukturou, canonicalem a noindexem.
Indexuje se vám velký web pomalu? Rád prověřím crawl budget a indexaci v rámci SEO analýzy nebo komplexní optimalizace webových stránek.
Často kladené otázky
Co je crawl budget?
Množství stránek, které vyhledávač projde na vašem webu za daný čas – jakýsi rozpočet robota na procházení. Skládá se z toho, jak rychle robot může procházet (crawl rate) a jak moc se mu to vyplatí (crawl demand).
Musím crawl budget řešit?
U malého webu obvykle ne – robot stihne projít vše. Význam roste u velkých webů s tisíci URL, typicky e-shopů, kde crawl budget ovlivňuje rychlost indexace. Řešte ho, jen pokud máte velký web a indexace vázne.
Co crawl budget nejvíc plýtvá?
Parametrické a filtrované URL, nekonečné stránkování, duplicitní obsah, interní vyhledávání, chybové a osiřelé stránky a řetězce přesměrování. Robot na ně spotřebuje čas, který by jinak věnoval důležitým stránkám.
Jak crawl budget ušetřím?
Ošetřete filtry a parametry přes canonical nebo noindex, blokujte nepodstatné sekce v robots.txt, odstraňte chyby a osiřelé stránky a mějte rychlý server a čistou strukturu. Cílem je nasměrovat robota na hodnotné stránky.
Souvisí crawl budget s indexací?
Ano, přímo. Vyhledávač zaindexuje jen stránky, které projde. Když se crawl budget vyplýtvá na balast, důležité stránky se indexují pomaleji. U velkých webů je efektivní crawl budget předpokladem dobré indexace.
Jak crawl budget sleduji?
V Google Search Console v reportech o procházení a indexování, které ukážou, kolik a jakých URL robot prochází. Pomohou odhalit, zda robot tráví čas na nepodstatných adresách a kde se ztrácí kapacita.
