Crawl delay 

Crawl delay is een instelling in het bestand robots.txt waarmee je aangeeft hoeveel tijd een zoekrobot moet wachten tussen opeenvolgende verzoeken naar je website. Met andere woorden: je vertelt Googlebot, Bingbot of een andere crawler hoe vaak ze pagina’s mogen ophalen.

Waarom bestaat crawl delay?

Wanneer een zoekrobot te veel verzoeken tegelijk doet, kan dat je server vertragen. Crawl delay helpt om:

• serverbelasting te beperken
• de gebruikservaring voor bezoekers te beschermen
• controle te houden over hoe zoekmachines je site doorzoeken

Hoe werkt crawl delay?

Een voorbeeld in robots.txt:

User-agent: Bingbot  

Crawl-delay: 10

Dit betekent dat Bingbot minstens 10 seconden moet wachten tussen elke crawl-actie.

Belangrijk: Googlebot negeert de crawl delay-instructie in robots.txt. Bij Google beheer je de crawl rate via Google Search Console.

Wanneer is crawl delay nuttig?

• Bij grote websites die vaak gecrawld worden en daardoor serverproblemen ervaren.
• Als je hosting beperkte capaciteit heeft en je site traag wordt door intensief crawlen.

Conclusie

Crawl delay is een nuttige instelling om de balans te bewaren tussen zoekmachines die je site willen doorzoeken en bezoekers die een snelle website verwachten. Vooral handig bij beperkte servercapaciteit of veel pagina’s.