Wat is een crawl budget en hoe optimaliseer je het?

Het crawl budget is een term die vaak wordt gebruikt in de wereld van zoekmachineoptimalisatie (SEO). Dit budget bepaalt hoeveel en hoe vaak zoekmachinebots de pagina’s van een website bezoeken en indexeren. Een goed beheer van het crawl budget is cruciaal voor websites met veel pagina's, omdat dit invloed kan hebben op hoe snel en efficiënt nieuwe of bijgewerkte inhoud wordt opgemerkt en weergegeven in zoekresultaten. Het begrijpen en optimaliseren ervan kan dus direct bijdragen aan de zichtbaarheid en prestaties van een website in zoekmachines. Deze blog zal daarom meer informatie geven over dit crawl budget en bovenal: hoe kun je het optimaliseren?

Wat is een crawl budget?

Crawlen is een proces waarbij zoekmachines, zoals Google, automatisch websites doorzoeken en pagina’s indexeren. Google bots bezoeken iedere dag je website, maar niet iedere pagina wordt dan gecrawld. Afhankelijk van jouw crawlbudget worden de hoeveelheid pagina’s die dagelijks gecrawld worden bepaald. Het crawl budget is afhankelijk van een aantal factoren, zoals jouw autoriteit, de grootte van je site en het aantal linkjes naar je website.

Inkomende linkjes

Links van andere websites en blogdomeinen naar een pagina van jouw website, hebben een belangrijke impact op je crawl budget. Hoe meer van deze externe links verwijzen naar je website, hoe meer linkjes een bot kan volgen en hoe meer die bot op jouw website blijft om je website te crawlen en indexeren.

Belang crawl budget voor je SEO

Door te kiezen voor crawl budget optimalisatie zul je ervoor zorgen dat Google meer aandacht besteed aan waardevolle en relevante pagina’s van je website. Deze pagina’s zullen immers meer organisch verkeer binnenhalen. Aan de andere kant zullen de bots zo ook geen aandacht meer schenken aan pagina’s die niet relevant zijn of verkeerde content bevatten. Hierdoor worden die niet langer geïndexeerd. Dit houdt dan weer in dat je websitebezoekers alleen op relevante pagina’s terechtkomen, wat weer leidt tot een stijging in conversies.

Google Search Console laat crawl budget zien

Waar vind je nu dat crawlbudget? Dit vind je terug op Google Search Console onder het kopje crawlen - crawl statistieken. Om te ontdekken of je het crawlbudget moet optimaliseren, kun je een zoekopdracht in de zoekbalk van Google invoeren. Voer hier deze termen in: “site:website.nl”. Uit de zoekresultaten komt het totaal geïndexeerde pagina’s in Google naar voren. Als dit getal verschilt met wat je in Search Console ziet, dan wordt niet elke pagina dagelijks gecrawld en moet je je crawl budget optimaliseren.

Optimalisatie van het crawl budget van Google is belangrijk

Waarom is het optimaliseren van je crawl budget nu zo belangrijk? De snelheid van je website is van invloed op je crawl budget. De sitebots besteden wel wat tijd aan het renderen van een pagina. Wanneer je deze tijd terugdringt, dan zal de bot ook sneller je website crawlen. Hierdoor zullen pagina’s eerder bezocht worden.

Hoe moet je het crawl budget optimaliseren?

De optimalisatie kan op meerdere manieren plaatsvinden. Voor webshops is het handig om de product- en categoriefilters uit te sluiten, omdat Google anders veel te veel URL’s moet crawlen die niet relevant zijn voor je website. Door uitsluiting zorg je ervoor dat alleen relevante pagina’s aandacht krijgen. Dit kan zelfs weer leiden tot een hogere ranking in Googles zoekresultaten. Filters uitsluiten doe je middels de volgende regels toe te voegen aan de robots.txt: Disallow: ?search. Ook kun je van te voren een “noindex” regel toevoegen, waarop je de “disallow” laat volgen. Als laatste kun je een nofollow tag toevoegen op filter URL’s.

Zo kun je ook je crawlbudget optimaliseren

Een andere manier om hette verhogen, is door te kijken naar duplicate content. Dit is dezelfde content op twee verschillende URL’s. Door duplicate content hebben de bots twee keer zo lang nodig om al je pagina’s te crawlen. Ook 404-pagina’s hebben een negatieve invloed op je crawlbudget. Deze haal je weg door de interne link aan te passen naar de juiste URL of door een redirect aan te maken. Gebruik de redirect niet te vaak, want dan heeft Google te veel tijd nodig om op de juiste, werkende pagina uit te komen. Dit heeft ook een effect op je crawl budget. Een laatste manier om het te optimaliseren, is door server logs te analyseren. Zo kun je bekijken of de juiste pagina’s aandacht krijgen van de bots.

Tips om crawl budget te verhogen

Wil jij ervoor zorgen dat de bot weinig kostbare tijd verliest op je site? Gebruik dan onderstaande tips:

• Optimaliseer de downloadtijd op je pagina’s
• Zorg voor een duidelijke lineaire structuur van je websitepagina’s
• Gebruik relevante interne links
• Repareer broken links
• Optimaliseer de robots.txt
• Houd je content up to date