Evitar sobrecarga web por Robots

Hoy en Medios y Marcas os explicamos cómo controlar los bots para evitar la sobrecarga de nuestro sitio web e incluso la posible caída del sistema.

Debemos analizar el motivo de la sobrecarga, si es debido al alto tráfico de los buscadores o por las capacidades limitadas del servidor. En el caso de sobrecarga web por robots, una medida a tener en cuenta es limitar el acceso de éstos.

¿Cómo podemos limitar el acceso a los buscadores para evitar la sobrecarga?

Limitar el acceso es muy fácil. Tenemos que recurrir al archivo robots.txt y limitar la entrada de éstos a nuestro sitio web.

El fichero robots.txt es un archivo de texto donde se dictan recomendaciones a los crawlers y robots que se pasan en ocasiones fundiendo nuestro servidor a peticiones.

Para controlar el flujo de algunos bots utilizaremos el comando “Crawl-delay” en el archivo Robots.txt con el objetivo de limitar el tiempo entre cada acceso del robot. El valor del “Crawl-delay” dependerá de la frecuencia que establezcamos en él para tal indexación. Un ejemplo de limitación quedaría así:

User-agent: *

Crawl-delay: 30

En este caso hemos colocado el Crawl-delay a 30 segundos entre cada acceso.

¡Manos a la obra!

Periodista y SEO. Autora de éste blog donde comparto mis conocimientos y curiosidades sobre SEO y Márketing Digital. Actualmente, entrepeneur en The Conservas.

Noelia

Periodista y SEO. Autora de éste blog donde comparto mis conocimientos y curiosidades sobre SEO y Márketing Digital. Actualmente, entrepeneur en The Conservas.

Artículos recomendados

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *