Op de Itmentor SEO Blog kun je een artikel lezen over het Automatisch gevonden worden van je Sitemap.xml via robots.txt .
Een sitemap.xml bestand heeft alle links naar de pagina’s van je website in zich op een manier die Zoekmachine robots kunnen volgen.
Bijvoorbeeld die van deze blog: http://wpseo.nl/sitemap.xml
Voor WordPress is er een Plugin voor van Arne Brachhold die automatisch geupdate wordt na iedere post of pagina die gemaakt word.
Een robots.txt wordt met WordPress (nog niet) mee geleverd, dus die moet je zelf aanmaken.
Maar hoe maak je zo’n WordPress robots.txt aan en wat moet je er inzetten?
Het aanmaken is simpel, maak een nieuw bestand aan met bijvoorbeeld “Kladblok”of “Notepad++” en noem het “robots.txt”, gebruik hier geen MS Word of andere grote tekst editor voor, dan gaat het fout.
Vervolgens schrijf je daar de volgende code in:
User-agent: *
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /cgi-bin/
De eerste regel User-agent: * geeft aan dat de inhoud van dit bestand bedoeld is voor alle zoekmachine robots.
De Disallow: / geeft aan dat de inhoud van die mappen niet geindexeerd mag worden, dus dat de robotjes daar weg moeten blijven…
Voor het gebruik van de betere indexering door Google, Yahoo, Ask en Live.com voeg je daar nu nog een regel aan toe.
Namelijk:
sitemap: http://wpseo.nl/sitemap.xml
Maar dan wel met je eigen domein naam natuurlijk… en zorg er eerst voor dat het bestand bestaat en gevoed wordt door de bovengenoemde plugin.
Al het bestand klaar is, opslaan en via FTP uploaden naar de Root van je WordPress installatie.
Een voorbeeld kun je – natuurlijk – vinden via http://wpseo.nl/robots.txt
Update: Inmiddels gebruik ik de Robots Meta plugin van Joost de Valk die meer mogelijkheden geeft en een virtuele robots.txt aanmaakt. De plugin behoort inmiddels tot mijn standaard installatie set.
Bedankt! super uitleg van jullie én gelukkig erg simpel! complimenten
Mijn plugin XML Sitemap Feed (te vinden in WordPress Extend) maakt automatisch een sitemap.xml feed aan en voegt de benodigde regel toe aan de robots.txt feed die tegenwoordig in WP zit ingebakken.
Geen moeilijke instellingen of iets. Installeren en klaar :)
@RavanH: Plugin is erg basic, persoonlijk heb ik lierver meer controle over de inhoud en prioriteit van de diverse onderdelen.
Voor degene die de plugin van RavanH eens will proberen, je vindt hem op http://wordpress.org/extend/plugins/xml-sitemap-feed/
Die plugin vind ik een must bij alle WP installaties die ik uitvoer,
werkt perfect en erg makkelijk.
Ik ben trouwens verbaasd over de standaard instellingen van WP met robots.txt.
Het lijstje dat jij neerzet is toch wel een must en zou standaard moeten zijn…
Ik ben het wel met Frank eens, Verder goed verhaal natuurlijk WP works.