Wat is Disallow
Wanneer jij je bezighoudt met SEO, dan moet je weten dat je zoekmachines kunt sturen in de indexatie van je website. Een van de krachtigste hulpmiddelen hiervoor is het gebruik van de Disallow-directive in het robots.txt-bestand. Deze directive stelt website-eigenaren in staat om specifieke delen van hun site af te schermen van zoekmachinebots, waardoor bepaalde pagina's niet worden geïndexeerd. Dit kan om verschillende redenen nuttig zijn. Daarom staat in deze blog de vraag “wat is disallow” centraal, waarbij we stilstaan hoe je deze directive handig kunt inzetten.
Wat is disallow?
De disallow-directive is een functie binnen het robots.txt-bestand, die een bot op je website meteen controleert. Met de disallow geef je aan dat een dergelijke bot een bepaalde map, bestand of hele pagina niet mag bezoeken. Wanneer een zoekmachinebot het robots.txt-bestand van een website namelijk bezoekt, leest het deze instructies om te bepalen welke delen van de site wel of niet gecrawld mogen worden. De disallow-directive wordt gevolgd door een pad en geeft aan welke URL's niet bezocht mogen worden door de bots.
Verschil met noindex en nofollow
Een disallow is iets anders dan een nofollow of noindex. Bij een nofollow in je broncode geef je aan dat zoekmachines een specifieke link of meerdere links op een pagina niet mag volgen. Zo wordt er geen waarde aan deze links gegeven. Dit is bijvoorbeeld handig op een pagina, waar mensen op kunnen reageren. Een noindex is een robot meta tag, die in de broncode van je pagina voorkomt. Met de noindex geef je aan dat de bots van zoekmachines deze pagina niet mogen indexeren. De pagina wordt wel gecrawld en is bereikbaar voor bezoekers, maar komt niet terug in zoekresultaten.
Waarde van disallow
Het gebruiken van een disallow-directive biedt verschillende voordelen voor je website:
- Het helpt bij het beheren van je crawl budget. Door zoekmachines te vertellen welke delen van je site niet geïndexeerd hoeven te worden, zorg je ervoor dat de bots meer tijd besteden aan het crawlen van je belangrijkste en meest waardevolle content.
- Disallows beschermen gevoelige of niet-relevante informatie.
- Gebruikerservaring wordt verbeterd door het tonen van relevante pagina’s.
- Laadtijden van je website worden beter, aangezien zoekmachines minder pagina's hoeven te crawlen.
Wat heeft disallow voor een functie binnen SEO?
Zoekmachines zetten een bot in om te bepalen hoe relevant je website is. Deze bots indexeren en analyseren je website, waardoor ze kunnen zien of jouw site SEO-vriendelijk is. De bots moeten hiervoor wel toegang kunnen krijgen tot alle pagina’s van je site om een zo nauwkeurig mogelijk resultaat te behalen. Pagina’s met disallow houden de bots tegen, waardoor zij minder goed de relevantie en SEO-vriendelijkheid van je site kunnen beoordelen. Dit kan leiden tot lagere resultaten binnen de ranking van de zoekmachines.