agencia marketing digital skala mkt
  • Diseño Web
    • Web Corporativa
    • Tienda Online
  • Posicionamiento Web
  • Publicidad
  • Redes Sociales
  • Blog
  • Contacto
KIT Digital
agencia marketing digital skala mkt
  • Diseño Web
    • Web Corporativa
    • Tienda Online
  • Posicionamiento Web
  • Publicidad
  • Redes Sociales
  • Blog
  • Contacto
agencia marketing digital skala mkt
  • Diseño Web Corporativo
  • Diseño Tiendas Online
  • Posicionamiento Web
  • Publicidad
  • Redes Sociales
  • Blog
  • Contacto
  • Diseño Web Corporativo
  • Diseño Tiendas Online
  • Posicionamiento Web
  • Publicidad
  • Redes Sociales
  • Blog
  • Contacto

Qué es y para qué sirve un archivo Robots.txt

blank

Un archivo Robots.txt es un pequeño archivo de texto con extensión .txt que subimos a nuestro sitio web para dar algunas instrucciones que hacen más “fácil de entender” nuestra web a los rastreadores o arañas cuando la exploran.

Sin embargo, es una explicación muy vaga para los amantes del marketing y el posicionamiento web. Por ello, profundizaremos mucho más, para que logres entender este aspecto tan básico y fundamental del SEO.

 

INDICE

  • ¿Cómo funciona el archivo Robots.txt?
  • ¿Qué es un archivo Robots.txt?
  • Elementos del archivo Robost.txt
    • User-Agent:
    • Disallow:
    • Allow:
    • Sitemap:
  • Ejemplos de archivo Robots.txt
  • Límites de los Robots.txt

¿Cómo funciona el archivo Robots.txt?

Primero de todo, hay que involucrarnos en el contexto para entender cómo y por qué son necesarios estos archivos Robots.txt. Los buscadores facilitan la vida de los usuarios ayudándolos a conseguir información, para ello, clasifican y ordenan todas las páginas web en un índice según el contenido de cada una, lo que llamamos indexación.

Es necesario que nuestras páginas estén “indexadas” para que un buscador nos pueda mostrar en la SERP a los usuarios. Para mantener estos índices actualizados, cada cierto tiempo las “arañas” dan un recorrido rastreando las paginas, revisando nuevo contenido y añadiéndolo, lo que es posible a través de los Robots conocidos como arañas.

En WordPress puedes editar este archivo con el plugin Rank Math o Yoast Seo.

Aunque es muy bueno tener indexadas las distintas paginas o secciones de nuestra web, hay cosas que definitivamente no quieres que salgan es las búsquedas.

 

ejemplo archivo robots txt

 

Este contenido se le llama de baja calidad y por lo general son imágenes que usas en la web, formularios, páginas de políticas y cosas con las que ningún usuario quiere toparse por error, porque seguramente no querrá volver a tu web jamás.

Para tener una idea de qué partes tomar en cuenta a la hora de indexar y cuales pasar por alto, las arañas consultan un archivo que se suele encontrar en las webs llamado Robots.txt.

 

¿Qué es un archivo Robots.txt?

El Robots.txt es un archivo de texto simple, que tiene instrucciones específicas para las arañas del buscador (por ejemplo, Google o Bing) a la hora de inspeccionar y rastrear nuestra web. Las instrucciones se crean con un código general que la mayoría de estos robots reconocen e interpretan.

Por lo general, se ubica en la carpeta raíz que aloja la pagina y son normalmente fáciles de consultar por cualquier usuario simplemente escribiendo /robots.txt al final del dominio de la mayoría de las páginas (webdejemplo.com/robots.txt).

Hacer este archivo no requiere de programas especiales ya que, simplemente necesitaremos un block de notas cualquiera para escribir los comandos en el orden que nos interese.

 

Elementos del archivo Robost.txt

Para usar el robots.txt lo normal es recurrir a una lista de órdenes que se irán ejecutando jerárquicamente una tras otra, los comandos que usualmente vemos son:

 

User-Agent:

Este comando señala a qué robot van dirigidas las instrucciones, ya que se pueden crear comando para ser seguidos por Google y unos comandos diferentes para Bing en el mismo archivo.

Por lo general, veremos algo como User-Agent: * que quiere decir que las reglas van dirigidas a todos los rastreadores.

 

Disallow:

Este comando se usa para indicar que la url o el contenido que desees no deberían ser indexado o aparecer en las búsquedas. Puedes eliminar las imágenes usando Disallow:/*jpg$ por ejemplo.

 

Allow:

Es un comando utilizado para conceder acceso. Se usa para todo aquello que quieras indexar, no parece muy útil en definición, pero se usa cuando quieres bloquear todo un fichero, pero a la vez dar acceso solo a una página que se pueda encontrar dentro. Por ejemplo:

Disallow:/ Carpetas /
Allow: / Carpetas/ Productos /

 

Sitemap:

Desde que los buscadores han diseñado más herramientas para detectar o definir automáticamente los sitemaps este comando es cada vez menos frecuente. Aunque seguimos viendo webs que incluyen la url del Sitemap en el archivo Robots.txt (https://webdejemplo.com/sitemap.xml)

 

Ejemplos de archivo Robots.txt

Por defecto no siempre vamos a tener que modificar estos archivos de texto, pero es interesante dominar el tema y entender como funciona todo el mecanismo. Aquí podemos ver algun ejemplo:

Para evitar indexar contenido de medios:

ejemplo allow robots txt

 

Para evitar aparecer en algunos buscadores:

 

ejemplo disallow robots txt

 

Estos ejemplos son para dibujar una idea conceptual, no estamos recomendando usarlos en tu web.

 

Límites de los Robots.txt

Es importante que entendamos que este archivo de texto no es la única herramienta de la cual disponemos para evitar la indexación de contenido, o la solicitud de revisión por parte de los buscadores para que puedan actualizar nuestra web.

Estos robots.txt solo evitan que los rastreadores indexen contenido al recorrer tu web, pero las arañas no están obligadas a obedecer el archivo. Este es solo una referencia que amablemente le dejas a dicho algoritmo y que casi siempre cumplen.

Una vez que un contenido ha sido indexado en un buscador, añadir un disallow no va a hacer que el contenido deje de estar indexado, por lo que debemos tener cuidado.

También hay que tener en cuenta que si un sitio web diferente al tuyo, coloca una url que apunte hacia una página o contenido que has bloqueado con el archivo, este igual puede indexarse sin mayor problema, lo que deja claro que este no es el mejor medio para evitar indexar contenido.

Saber cómo funciona el algoritmo de rastreo puede serte de suma utilidad ya que dominando unos simples comandos te puedes ahorrar muchos dolores de cabeza y tus usuarios se alegrarán de no toparse en los buscadores con páginas de medios, o de baja calidad.

Danos tu opinión
789 Views
Rank Math vs Yoast SEO ¿Cuál es el mejor plugin SEO para WordPress?AnteriorRank Math vs Yoast SEO ¿Cuál es el mejor plugin SEO para WordPress?16/05/2020
Diseño web a medida: ventajas y desventajas17/05/2020Diseño web a medida: ventajas y desventajasSiguiente

¿Te ha gustado este post? Otros artículos que te pueden interesar...

blank
MarketingSEM

Qué son las palabras clave negativas en Google ads

Las palabras clave negativas son una de las herramientas que nos ofrece...

blank Skala Marketing 13/05/2020
blank
SEO

¿Qué es un especialista en SEO y para qué sirve?

Según el IEBSchool, uno de los puestos más demandados y mejor pagados en el año 2020...

blank Skala Marketing 30/12/2020
Buscar
Últimos Posts
  • ¿Qué es el noreply en emails? 6 consejos útiles
    ¿Qué es el noreply en emails? 6 consejos útiles
  • ¿Qué es un embudo de ventas? Usos y herramientas
    ¿Qué es un embudo de ventas? Usos y herramientas
  • ¿Qué es la tasa de rebote?
    ¿Qué es la tasa de rebote?
  • ¿Qué es un CTA?
    ¿Qué es un CTA?
  • ¿Cómo ver mis reseñas en Google?
    ¿Cómo ver mis reseñas en Google?
Categorías
  • Analítica Web
  • Diseño Web
  • Marketing
  • Redes Sociales
  • SEM
  • SEO
Contacto

    Málaga

    Diseño web Málaga

    Agencia SEO Málaga

    Madrid

    Diseño web Madrid

    Diseño web Las Rozas

    Diseño web Pozuelo

    Diseño web Majadahonda

    skala

    SKALA Marketing ® es la agencia Española especializada en la creación de estrategias de Marketing Online y el Diseño Web, que llevará tu negocio al siguiente nivel.
         
    Servicios
    Diseño Web Corporativo
    Diseño Tienda Online
    Posicionamiento Web | SEO
    Publicidad Google Ads | SEM
    Redes Sociales
    Analítica Web
    Contacto
       C/ Gómez Pallete 9, Málaga
         C/ Mayor 73, Madrid
      info@skalamkt.com
      634 476 124

    agencia google partner skala

    Aviso Legal | Política de Privacidad | Política de Cookies | Condiciones de contratación

    Copyright © 2022 SKALA Marketing.

    Gestionar el consentimiento de las cookies
    Para ofrecer las mejores experiencias, utilizamos tecnologías como las cookies para almacenar y/o acceder a la información del dispositivo. El consentimiento de estas tecnologías nos permitirá procesar datos como el comportamiento de navegación o las identificaciones únicas en este sitio. No consentir o retirar el consentimiento, puede afectar negativamente a ciertas características y funciones.
    Funcional Siempre activo
    El almacenamiento o acceso técnico es estrictamente necesario para el propósito legítimo de permitir el uso de un servicio específico explícitamente solicitado por el abonado o usuario, o con el único propósito de llevar a cabo la transmisión de una comunicación a través de una red de comunicaciones electrónicas.
    Preferencias
    El almacenamiento o acceso técnico es necesario para la finalidad legítima de almacenar preferencias no solicitadas por el abonado o usuario.
    Estadísticas
    El almacenamiento o acceso técnico que es utilizado exclusivamente con fines estadísticos. El almacenamiento o acceso técnico que se utiliza exclusivamente con fines estadísticos anónimos. Sin un requerimiento, el cumplimiento voluntario por parte de tu Proveedor de servicios de Internet, o los registros adicionales de un tercero, la información almacenada o recuperada sólo para este propósito no se puede utilizar para identificarte.
    Marketing
    El almacenamiento o acceso técnico es necesario para crear perfiles de usuario para enviar publicidad, o para rastrear al usuario en una web o en varias web con fines de marketing similares.
    Administrar opciones Gestionar los servicios Gestionar proveedores Leer más sobre estos propósitos
    Preferencias
    {title} {title} {title}