#déclaration faite pour l'ensemble des agents de moteur: msn, google, yahoo...etc

User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$



User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/feed/
Disallow: /feed/
Disallow: /rss/
Disallow: /comments/feed/
Disallow: /date/
 
# A noter, l'étoile après le slash n'est pas obligatoire mais il figure dans de nombreux exemples.
# Cela signifie que tous les fichiers du répertoire seront pris en compte.
 
# autoriser le robot à visiter le site en entier pour le compte de AdWords 
User-agent: Adsbot-Google
Allow: /*
 
# autoriser le robot google image à indexer les images
User-agent: Googlebot-Image
Allow: /*
 
# Internet Archiver Wayback Machine - pas de retour dans le passé - c'est un choix
User-agent: ia_archiver
Disallow: /
 
# digg mirror - éviter un miroir de votre site
User-agent: duggmirror
Disallow: /
 
 
# IMPORTANT le chemin vers le fichier de sitemap
Sitemap: http://www.villecresnautes.fr/sitemap.xml