Robots.txt

 

El Robots.txt es un archivo que se encuentra en la raíz de nuestro sitio y tiene la misión de permitir o restringir el acceso de los robots o arañas a nuestra web o url, así como impedir la indexación de contenido innecesario en los distintos motores de búsqueda.

 

Para entendernos, los Googlebots (robots) cuando van a rastrear tu pagina web, lo primero que hacen es rastrear este archivo robots.txt. Mediante este archivo, podemos prohibir a los robots que accedan a rastrear nuestra web o solamente archivos determinados de la misma.

‎Es importante que tengas en cuenta que es únicamente una sugerencia a los bots, no una orden, es posible que igualmente accedan a tu web, especialmente si son robots maliciosos o malware.

 

 

“Mediante este archivo robots.txt, podemos prohibir a los robots o arañas, que accedan a rastrear nuestra web o solamente archivos determinados de la misma”

 

 

El robots.txt utiliza 3 términos esenciales que son, User-agent , Disallow y Allow.

 

User Agent

User Agent es una terminología que nos ayuda a indica qué buscadores queremos bloquear a la hora de que rastreen o indexen nuestro sitio web.

 

Disallow

Con Disallow podemos bloquear el acceso y rastreo de los bots a determinadas urls de nuestra web.

 

Allow

Con Allow permitimos el acceso y rastreo a determinados archivos adjuntos que anteriormente habíamos bloqueado con Disallow. Con esto lo que queremos decir es que la sugerencia Allow es complementaria con Disallow.

 

En el robots.txt podemos añadir además un sitemap de sitio que ayuda a Google a rastrear mejor todo nuestro sitio de forma voluntaria, ya que es recomendable, no obligatorio.

Cabe destacar que el robots.txt es un archivo público y que cualquier usuario puede ver su contenido con teclear www.example.com/robots.txt, por lo que es recomendable tener cuidado si es un contenido secreto lo que queremos evitar que se rastree.

 

Un archivo robots.txt es tan sencillo de crear como usando un blog de notas con un resultado semejante al siguiente..

 

 

 

Para más información te dejo el enlace a las directrices de Google para la definición de Robots.txt

 

Información sobre los archivos robots.txt

Crear un archivo robots.txt


« Back to Glossary Index
Jssabalos
jssabalos77@gmail.com
No Comments

Post A Comment

Share This