fbpx
¿Qué es el Archivo robots.txt?

¿Qué es el Archivo robots.txt?

El archivo robots

Para que nuestro sitio web sea correctamente rastreado e indexado y, además, solo se indexe lo que nosotros queramos, tenemos que usar dos archivos que sirven para informar a los robots de los buscadores sobre la manera en que deben hacerlo:

el archivo robots (robots.txt) y el archivo de mapa del sitio o sitemap (sitemap.xml)

El primero sirve para informar acerca de lo que no queremos indexar y el segundo sirve para informar de todos los recursos que queremos que se rastreen e indexen.

Robots.txt

Google cuenta con GoogleBot, un robot informático conocido como web crawleraraña web. Este «programita» llega a nuestra web, lo primero que hace es buscar el archivo robots.txt para comprobar las restricciones. Este archivo se debe ubicar siempre en la raíz del sitio web.

Una forma sencilla de comprobar la existencia del archivo robots.txt de cualquier web y poder visualizarlo es poner en la barra de direcciones de nuestro navegador lo siguiente:

http://misitioweb.com/robots.txt (donde misitioweb.com debe ser sustituido por el nombre de dominio que queramos comprobar)

El principal objetivo del archivo robots.txt es indicar las posibles restricciones a la hora de acceder al sitio web por parte de todos los robots de búsqueda, así como informar de la localización del mapa del sitio. Mediante diferentes instrucciones, podemos:

  • Bloquear el acceso a alguno o a todos los robots.
  • Bloquear el acceso a archivos, directorios, imágenes o URLs del sitio, que no queramos que se rastreen.
  • Ayudar a que no se indexe contenido duplicado
  • Informar de la ubicación del archivo sitemap.xml para que rápidamente lo localicen y tengan acceso a todas las páginas del sitio sin necesidad de rastrear los enlaces al navegar. De esta forma, las páginas que no están conectadas con otras (por ejemplo, porque nos interesaba tenerlas independizadas del resto del sitio) también pueden ser indexadas.

El hecho de que el archivo robots.txt no exista en nuestro sitio web no quiere decir que no  vaya a ser indexado. De hecho, si no existe, todos los robots indexarán lo que puedan sin restricciones.

Un buen uso del archivo robots.txt nos permitirá realizar acciones como: 

  • Impedir que nuestro sitio web sea indexado por los buscadores cuando tenemos la web en pruebas o queremos darle un uso privado.
  • Impedir que se indexen determinados contenidos de la web que no son relevantes o que no queremos que aparezcan en los resultados de búsqueda.
  • Evitar una sobrecarga de accesos a nuestra web. En una web suele haber gran cantidad de archivos que no tienen utilidad para el usuario y no necesitan ser rastreados. El intento de acceso de los robots a estos recursos puede producir lentitud en la carga del sitio y además que pierdan tiempo en ellos y se vayan del sitio sin haber rastreado lo que de verdad nos interesa. Por ejemplo, no tiene sentido que el robot  acceda a los archivos de la zona de administración de una web.
  • Impedir la indexación de contenido duplicado, esto es muy importante, ya que es algo penalizado por los buscadores, especialmente por Google. El contenido duplicado es código que aparece en varias páginas, ya sea total o parcialmente. Por ejemplo, cuando tenemos un artículo y un listado de comentarios paginado, la página 2 no tiene sentido que se indexe, pues en ella la parte del contenido será igual que en la 1 y, por lo tanto, estaremos duplicando contenido. Lo que hace que nuestro SEO on-page no sea el adecuado.
Archivo Robots.txt - descripción

Creación del archivo Robots.txt

Como lo indica su extensión el archivo robots.txt es un fichero de texto plano (sin formato) que se puede crear con cualquier editor de texto (bloc de notas, Wordpad, Notepad++…). Tiene la extensión .txt Las principales instrucciones que podemos utilizar en el robots.txt son: 

User-agent:

Se utiliza para identificar el robot sobre el que vamos a aplicar las reglas indicadas a continuación. Es decir, podemos especificar reglas para cada robot, o bien reglas que se apliquen para todos a la vez o para el resto.

Disallow:

Se usa para identificar los recursos que queremos bloquear 

Allow:

Se usa para identificar recursos a los que permitimos el acceso como excepción a la regla Disallow.

Sitemap:

Sirve para indicar la ruta donde está localizado el mapa del sitio.

Robots.txt es un archivo que realmente solo necesitamos crearlo una vez, y no suele ser necesario actualizarlo. No obstante, si nos equivocamos, puede haber graves consecuencias como, por ejemplo, que no se indexe ninguna página. Por ello debe crearse y editarse con cautela. Se recomienda validarlo a través de la herramienta online Google Search Console, una vez que demos de alta en ella nuestro sitio web y verifiquemos que somos los propietarios.

¿Cómo hacer una Auditoría SEO?

¿Cómo hacer una Auditoría SEO?

Cómo hacer un análisis o auditoría SEO

es laborioso y engorroso pero aporta un montón de beneficios a la hora de posiconar tu website y corregir fallos de estructura, diseño o conceptos. Aquí te dejaremos una guia para qeu te resulte más cómodo hacerlo e iremos implementándola y actualizándola. También recordarte que tenemos este servicio en nuestra cartera. 

Vamos al tema…

CÓMO HACER UN ANÁLISIS WEB:

FACTORES ON-PAGE

Una vez analizados todos los factores que influyen en la accesibilidad e indexabilidad de tu web, y realizado un estudio de las palabras clave, es el momento de prestar atención a otro de los factores más influyentes en los rankings de buscadores:

el conjunto de características de las páginas web que se ven representados a través del código html saliente, su formación de urls y, por supuesto, su contenido.

Seguimos con el análisis web:

1.1 VALIDACIÓN DEL CÓDIGO HTML Y CSS

Los cimientos del éxito en el posicionamiento web es la correcta maquetación en HTML y, cada vez cobra más importancia el HTML5 semántico.
Una correcta maquetación en HTML debe cumplir los estándares establecidos por la W3C (World Wide Web Consurtium). Ésta es la a organización internacional que se encarga de velar porque se cumplan esos estándares.

Estas normas no son obligatorias, sino recomendaciones para conseguir que nuestra página web cumpla unos estándares que la hagan compatible con los distintos navegadores.

Existe una herramienta online que nos permite verificar si nuestra web y conocer el estado del código HTML de tu web. Procede a utilizar la herramienta de validación que el W3C pone a disposición de los usuarios.

Enlaces internos y externos en una página web

 

1.2 FORMACIÓN DE URLS

1.2.1 Enlaces Internos

Los enlaces internos son aquellos que conectan diferentes páginas dentro un mismo sitio web. Son utilizados por los usuarios y por los robots de los buscadores para navegar por nuestra web.

Los enlaces en HTML tienen la siguiente sintaxis:

 <a href=»URL-destino» title=”Descripción opcional del enlace”>Texto de enlace</a>

Donde:

  • href es el atributo obligatorio donde se introduce el localizador o dirección web de destino del enlace, en formato absoluto (incluyendo http://) o relativo.
  • “Texto de enlace” es el texto visible del enlace, llamado comúnmente “anchor text”, es decir, el texto (a veces un elemento de tipo imagen) en que pulsamos para redirigirnos al destino. Incluir aquí la palabra clave relevante de la página a que vamos a redirigir al usuario es interesante, pues es un factor de relevancia SEO, aunque no siempre es posible.
  • “Title” es un atributo opcional en el que podemos indicar una descripción del enlace. Tiene relevancia para el SEO, pero es muy pequeña.

Un buen uso de los enlaces internos ayuda a mejorar la usabilidad de nuestra web y esto es premiado por los buscadores.

No solo debemos tener en cuenta la colocación de los enlaces en los diferentes menús de navegación sino también debemos utilizarlos en el contenido para vincular unos artículos o páginas con otras. Hay que tener en cuenta que cuando usamos un enlace, una parte de la popularidad que tiene la página que enlaza se transmite a la página enlazada. Es lo que llamamos “link juice” o “zumo de popularidad”. De ahí que un buen enlazado interno contribuye a crear un flujo de popularidad desde unas páginas a otras. 

Consideraciones para crear enlaces internos:
  • No hay que abusar del número de enlaces internos dentro de una misma página, ni crear enlaces irrelevantes (por ejemplo, muchos enlaces juntos que van al mismo sitio).
  • Deben ser útiles para el usuario. Así facilitamos que los usuarios naveguen y pasen más tiempo en nuestro sitio.
  • Facilitan la indexación de nuestra web
1.2.2 Enlaces salientes

Los enlaces salientes son los que colocamos en nuestro sitio y que se dirigen hacia otras páginas externas. Al igual que ocurre con la mayoría de los factores On-Page, los buscadores nos premian cuando mejoramos la usabilidad y la experiencia del usuario. Una forma de hacer esto con los enlaces salientes consiste en vincular nuestro contenido con otras webs relevantes y de autoridad.

Consideraciones para los enlaces salientes:
  • Enlazar a páginas relevantes respecto de nuestro contenido. Por ejemplo, si estamos escribiendo un artículo sobre una herramienta SEO, podríamos incluir un enlace a la página oficial donde se puede usar esa herramienta. Si estamos comentando una noticia, podríamos incluir un enlace a la fuente oficial de la noticia.
  • No enlazar a sitios web de contenido dudoso o que puedan estar penalizados por Google. Si no queda más remedio, usar el atributo “nofollow”
  • Tampoco debemos abusar del número de enlaces salientes porque se nos puede considerar como un sitio web que hace spam. Hemos comentado que los enlaces transmiten una parte de la popularidad de la página al destino. Si queremos incluir un enlace saliente, pero que no transmita popularidad al destino, debemos usar en el código HTML del enlace el atributo rel=”nofollow”. Este atributo, aunque no modifica el enlace y puede seguir suponiendo una fuente de visitas al sitio web enlazado, sí que le quita su valor a nivel de SEO, pues lo que hace es indicar al buscador que no siga el enlace. 
Debemos utilizar «nofollow» en los siguientes casos:
  • En un enlace publicitario o pagado.
  • La página de destino guarda poca o ninguna relación con la nuestra o tenemos demasiados enlaces en la página.
  • Tenemos dudas sobre la reputación de la página de destino. Por ejemplo, queremos aportar pruebas de un sitio web que utiliza malas prácticas y usamos un enlace nofollow para que los usuarios puedan verlo.
  • No queremos transmitir popularidad a la otra web.
1.2.3 URLs AMIGABLES

Se recomienda que las urls de un sitio web sean amigables y que contengan palabras clave relevantes y descriptivas. 

Las urls aparecen en las SERPs o resultados de búsqueda junto con el title y la url. Por ello, que contengan las palabras clave adecuadas influirá en el clic por parte del usuario.

Consideraciones a tener en cuenta a la hora de crear URLs amigables:
  • Deben incluir las palabras clave que queremos posicionar para esa página.
  • No deben ser demasiado largos. No exceder de 115 caracteres.
  • Las palabras del URL deben separarse con guiones de tipo “-“ y no con guiones”_”. Ese carácter sustituye a los espacios a nivel semántico.
  • No deben contener espacios en blanco.
  • Mejor que no usen mayúsculas, tildes, o “ñ”
Guía Tutorial de SEO On-Page

Guía Tutorial de SEO On-Page

El SEO On-Page,

también llamado SEO On-Site, es la parte del trabajo que se ocupa de la optimización para que los buscadores de internet (Search Engine Optimization) nos muestren en sus resultados.

     SEO On-Page se define como el conjunto de acciones que realizamos dentro de un portal web para mejorar su posición en los resultados de los buscadores frente a diversas búsquedas.

De las dos ramas que componen el SEO (On-Page y Off-Page), se puede considerar que el On-Page es la optimización pura, en el sentido de que nos centramos en elementos sobre los que tenemos control.

     El objetivo principal del SEO On-Page es conseguir que los buscadores puedan indexar nuestra web con facilidad, entender el contenido de la misma y valorar su usabilidad.

Los últimos cambios en el algoritmo de Google han provocado que el SEO On-Page cobre menos protagonismo, pero la importancia de la calidad del contenido y la mejora de la experiencia del usuario de la web son fundamentales para un buen posicionamiento.

Lo ideal para una correcta optimización On-Page de una web es planificarla antes del desarrollo de la misma. Sin embargo, hay ocasiones en las que esto no es posible y nos encontramos con que tenemos que realizar esta optimización sobre un sitio web que ya está terminado y operativo, lo que resulta mucho más costoso en tiempo y recursos.

A lo largo de varias publicaciones vamos a analizar cuáles son los principales factores que intervienen en el SEO On-Page.