¿Para que sirve?

El robots.txt es un archivo de texto plano que se sube al directorio raiz del sitio web para indicarle a los robots de los buscadores que páginas o directorios no queremos que indexen. Esto es util para los sitios que tienen una parte de administracion que no queremos que sea vista por los demas en los resultados de los buscadores.

Ejemplos:

• Para darle permiso a todos los robots acceder a todo el sitio:

User-agent: * Disallow:

• Para que ningun robot acceda al contenido del sitio:

User-agent: * Disallow: /

• Para que ningun robot acceda a un directorio especifico:

User-agent: * Disallow: /Backend/

• Para que el robot de Google no acceda a un directorio:

User-agent: Googlebot Disallow: /Backend/

Lista de todos los robots en: http://www.robotstxt.org/db.html

• No permitirle a ningun robot acceder a una página en especial:

User-agent: * Disallow: /archivo.html

Más información detallada sobre Robots.txt en: http://www.robotstxt.org/