Generador de robots.txt

Optimización de motores de búsqueda

Generador de robots.txt


Predeterminado - Todos los robots son:  
    
Retardo de rastreo:
    
Mapa del sitio: (dejar en blanco si no tiene) 
     
Robots de búsqueda: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Directorios restringidos: La ruta es relativa a la raíz y debe contener una barra diagonal "/"
 
 
 
 
 
 
   



Ahora, cree el archivo 'robots.txt' en su directorio raíz. Copie el texto anterior y péguelo en el archivo de texto.


Sobre Generador de robots.txt

Generador de robots.txt

Un archivo llamado Robots.txt da instrucciones para rastrear un sitio web. Los sitios web utilizan este estándar, también conocido como protocolo de exclusión de robots, para notificar a los bots qué partes de su sitio web deben indexarse. También puede seleccionar a qué lugares no desea que accedan estos rastreadores; estos lugares pueden contener material duplicado o estar en construcción. Los bots como los detectores de malware y los recolectores de correo electrónico no siguen esta norma y examinarán su seguridad en busca de fallas, y es muy probable que comiencen a buscar en su sitio desde las secciones que no desea indexar.

"User-agent" es la primera directiva en un archivo Robots.txt completo , y directivas como "Permitir", "Deshabilitar", "Retardo de rastreo", etc. pueden escribirse debajo. Puede llevar mucho tiempo escribir manualmente y puede ingresar muchas líneas de comandos en un archivo. Si desea omitir una página, agregue "No permitir: la URL que no desea que vean los bots" en la propiedad de no permitir, y lo mismo ocurre con el atributo permitido. Si cree que eso es todo lo que hay en el archivo robots.txt, piénselo de nuevo. Una línea incorrecta puede evitar que su sitio web sea indexado. Como resultado, es mejor delegar la tarea a los expertos y dejar que nuestro generador Robots.txt maneje el archivo por usted.

 

¿Qué es Robot Txt en SEO?

¿Se da cuenta de que un simple archivo puede ayudar a su sitio web a obtener una clasificación más alta? El archivo robots.txt es el primer archivo que miran los robots de los motores de búsqueda; si no se descubre, es muy probable que los rastreadores no indexen todas las páginas de su sitio. Este pequeño archivo puede modificarse más tarde con la ayuda de pequeñas instrucciones cuando agregue otras páginas, pero asegúrese de no incluir la página principal en la directiva de prohibición. Google tiene un presupuesto de rastreo, que está determinado por un límite de rastreo.

El límite de rastreo es la cantidad máxima de tiempo que los rastreadores pasarán en un sitio web; sin embargo, si Google descubre que rastrear su sitio está interrumpiendo la experiencia del usuario, rastreará el sitio más lentamente. Esto implica que cada vez que Google envía una araña, solo buscará en unas pocas páginas de su sitio y llevará tiempo indexar su artículo más reciente. Se requiere un mapa del sitio y un archivo robots.txt para eliminar esta limitación. Estos archivos ayudarán en el proceso de rastreo al indicar qué enlaces de su sitio requieren mayor atención.


Debido a que cada bot tiene una cotización de rastreo para un sitio web, también se requiere un archivo de robot Best para un sitio web de wordpress. La razón de esto es que tiene muchas páginas que no necesitan ser indexadas. También puede usar nuestras herramientas para crear un archivo WP robots.txt. Los rastreadores aún indexarán su sitio web si no tiene un archivo txt de robots; pero, si es un blog con pocas páginas, no es importante tener uno.

 

El propósito de las directivas en un archivo Robots.Txt

Si está produciendo el archivo manualmente, deberá conocer las pautas del archivo. Una vez que haya aprendido cómo funcionan, puede incluso modificar el archivo. Crawl-delay Esta directiva evita que los rastreadores sobrecarguen el host; demasiadas consultas pueden hacer que el servidor se desborde, lo que resulta en una experiencia de usuario deficiente. Los diferentes bots de los motores de búsqueda manejan el retraso del rastreo de manera diferente; Bing, Google y Yandex tienen enfoques variados para esta directiva.

Con Yandex, es un período de tiempo entre visitas, para Bing, es un período de tiempo durante el cual el bot solo visitará el sitio una vez, y para Google, puede utilizar el panel de búsqueda para administrar las visitas del bot. La directiva Permitir se usa para hacer que la siguiente URL sea indexable. Puede agregar tantas URL como desee, pero si se trata de un sitio de compras, su lista podría crecer rápidamente. Sin embargo, solo use el archivo robots si tiene páginas en su sitio que no desea rastrear.


No permitir El objetivo principal de un archivo Robots es evitar que los rastreadores accedan a las URL, carpetas, etc. especificadas. Otros bots, por otro lado, utilizan estas carpetas para buscar malware porque no siguen la norma.

 

Diferencia entre un mapa del sitio y un archivo Robots.Txt

Un mapa del sitio es esencial para todos los sitios web porque proporciona información que los motores de búsqueda podrían utilizar. Un mapa del sitio informa a los bots sobre la frecuencia con la que actualiza su sitio web y el tipo de material que ofrece. Su objetivo principal es informar a los motores de búsqueda sobre todas las páginas de su sitio que deben rastrearse, mientras que el archivo txt de robótica es para los rastreadores. Indica a los rastreadores qué páginas deben visitar y cuáles deben evitar. Se requiere un mapa del sitio para indexar su sitio, aunque no un archivo robots.txt (a menos que tenga páginas que no necesiten indexarse).

 

¿Utiliza el generador de archivos de Google Robots?

El archivo robots.txt es fácil de crear, sin embargo, aquellos que no saben cómo deben seguir los pasos a continuación para ahorrar tiempo. Cuando llegue a la página del generador de texto de nuevos robots, encontrará algunas opciones; no todos son necesarios, pero debe seleccionar sabiamente. La fila superior proporciona configuraciones predeterminadas para todos los robots, así como un retraso de rastreo si lo desea.

Asegúrese de tener un mapa del sitio en la segunda fila y no olvide especificarlo en el archivo robots.txt. Después de eso, puede elegir entre algunas opciones para los motores de búsqueda, como si desea o no que los robots de los motores de búsqueda rastreen su sitio y si desea o no que las fotos se indexen. La tercera columna es para la versión móvil del sitio web.

La última opción es no permitir, lo que evita que los rastreadores indexen ciertas partes del sitio web. Antes de ingresar el directorio o la dirección de la página, asegúrese de incluir la barra inclinada.