Robots.txt 

Een robots.txt is een tekstbestand dat in de root van je website staat. Het geeft zoekmachines instructies over welke pagina’s ze wel en niet mogen crawlen. Denk eraan: het gaat enkel om crawlen, niet om indexeren.

Crawlen vs. indexeren

Veel mensen verwarren crawlen met indexeren, maar er is een belangrijk verschil:

• Crawlen: de zoekrobot bezoekt en leest je pagina.
• Indexeren: de pagina wordt opgenomen in de zoekresultaten van Google.

Een robots.txt kan crawlen blokkeren, maar voorkomt dus niet automatisch dat een pagina wordt geïndexeerd. Als er ergens een link naar die pagina staat, kan Google ze nog steeds indexeren zonder de inhoud te hebben gecrawld.

Waarom is robots.txt belangrijk?

Met dit bestand hou je controle over de toegang van zoekrobots. Je kunt er bijvoorbeeld mee aangeven dat:

• bepaalde delen van je website niet gecrawld mogen worden (zoals admin- of testpagina’s),
• zoekmachines hun crawlbudget efficiënter besteden aan de belangrijkste pagina’s.

Voorbeeld van robots.txt

Een eenvoudig voorbeeld:

Dit vertelt elke zoekrobot (user-agent: *) dat de mappen /admin/ en /test/ niet gecrawld mogen worden.

Veelgemaakte fouten

• Belangrijke pagina’s blokkeren: per ongeluk een hele site of cruciale pagina’s uitsluiten.
• Verwarren met noindex: een robots.txt blokkeert crawlen, maar een noindex-tag is nodig om indexatie tegen te houden.
  

Conclusie

Robots.txt is een kleine file met een grote impact. Gebruik het om zoekmachines de juiste weg te wijzen, maar wees voorzichtig: een foutje kan je hele zichtbaarheid in Google blokkeren.

Mogen we je omverblazen?

Website laten maken

Online marketing uitbesteden