In de root van uw website kan een robots.txt bestand geplaatst worden.

In dit tekstbestand worden alle pagina’s en mappen vermeld waarvan we niet wensen dat ze door crawlers geïndexeerd worden. Voor content managers wil men bv niet dat de administratieve mappen geïndexeerd worden.

Dit kan ook geïmplementeerd worden in de website door alle hyperlinks naar niet-te-indexeren pagina’s te verbergen, wanneer de site door een crawler bespeurd wordt maar deze methode is niet sluitend.

In het robots.txt bestand kan u ook een referentie opnemen naar uw sitemap.

Voor informatie om een geschikte robots.txt aan te maken, raadpleegt u best : http://www.robotstxt.org/

Hier heeft u een goed voorbeeld voor uw Joomla 1.5 website:

Sitemap: http://www.uwwebsite.be/sitemap.xml

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/