¿Cuál es el archivo robots.txt?

Cuando crea su sitio, lo más probable es que quiera que esté en Google u otros motores de búsqueda.Por suerte, tienen sus propios bots o "rastreador"Que huele a Internet para índice de sitios. Estos bots se pueden controlar en la forma en que interactúan con su sitio a través de un archivo de texto. Esto sería el robots.txt expediente.Este archivo contiene reglas que se les pide que se le soliciten los bots que visitan su sitio.Por lo general, esto puede ser algo bueno, pero también puede ser algo malo para su calificación si se configura incorrectamente.

¿Qué aspecto tiene un archivo robots.txt?

Aquí hay un par de ejemplos diferentes de lo que este archivo podría ser para usted.

Permitir todos los bots de acceso completo

Agente de usuario: * no permitir:

Bloquee todo acceso para bots.

Agente de usuario: * no permitir: /

Establecer demora de rastreo a 10 segundos

Agente de usuario: * Retardo de rastreo: 10

Al establecer un retraso de rastreo de 10 segundos, está limitando estos motores de búsqueda para indexar su sitio web.Si tiene un VPS con una cantidad limitada de recursos y sus páginas no están optimizadas para manejar una espiga repentina del tráfico web, puede considerar actualizar su servidor Cloud VPS para tener más recursos y agregar un retardo de rastreo

Esos son solo un par de plantillas muy generales para el archivo robots.txt.Puede usarlo para bloquear el acceso a una sola carpeta o incluso solo un archivo si desea.Cada entrada dentro del archivo robots.txt tendrá un campo de agente de usuario con algo al lado.El asterisco indica un comodín, donde se aplicaría a todos.Si desea configurarlo para un BOT específico, lo pondrá en este campo.Cualquier línea después de eso se aplicará a ese agente de usuario hasta que se especifique uno nuevo.Por ejemplo, en el archivo a continuación, para Google, bloquearía la carpeta / TMP en el sitio, pero para todos los otros bots, todas las carpetas se permitirían (incluida la carpeta / TMP).

Agente de usuario: googlebot no permitirá: / TMP / Agente de usuario: * No permitir:

Como puede ver, puede usarlo para evitar que los bots indexan archivos privados o incluso directorios innecesarios.Aunque memorizando los bots que existen en Internet, hay varios recursos disponibles para encontrarlos.

Hay muchas cosas que los robots.txt pueden hacer para afectar los rastreadores del sitio, pero la prevención del acceso es el más común.Otras opciones incluyen la opción de retardo de rastreo.Puede usar esta opción para que el BOT RAET sea entre las páginas de arrastre en el sitio.

Si debe tener alguna pregunta o desea ayuda, comuníquese con nosotros a través del chat en vivo o enviando un boleto con nuestro equipo de soporte técnico.