Cómo y para qué habilitar las etiquetas de encabezado de robots personalizadas de Blogger

votar
Los robots de los buscadores de Internet recorren las webs para actualizar y buscar contenido nuevo. Generalmente lo hacen saltando de un sitio web a otro a través de los enlaces. Pero hay un lugar a donde siempre van antes; al archivo robots.txt.

Foto original de kamome
Si el archivo robots.txt no se encuentra allí no ocurre nada especial, el robot indexará todo lo que encuentre. Si tenemos un archivo robots.txt personalizado tendrá en consideración nuestras condiciones para la inclusión en el índice.

Pero el archivo robots.txt no es la única forma en la que podemos indicar a los robots como rastrear nuestro sitio, y lo que es más importante aún, como mostrarlo en los resultados de búsqueda.

Etiquetas para donde el archivo robots.txt no alcanza

Cuando bloqueamos el indexado de páginas a través del archivo robots.txt, normalmente con la intención de evitar el contenido duplicado, los motores de búsqueda obvian estas páginas y en principio no las incluyen en los resultados. Pero ¿qué pasa si otro sitio web enlaza a alguna de estas páginas?

Aunque hagamos uso del archivo robots.txt, este no puede especificar que tales páginas no se incluyan en el índice, simplemente que el robot aludido no las siga durante el rastreo. Una vez que llega allí nada le impidiría la indexación, y ya sabemos que a estos robots les encanta recolectar páginas.

Las etiquetas, aunque no tienen la precisión del archivo robots.txt, permiten otras opciones y su uso junto con el archivo robots.txt personalizado es recomendado.

Qué son las etiquetas de encabezado de robots personalizadas

Son exactamente lo que su nombre indica; Las etiquetas son elementos HTML que en este caso se incluyen en los encabezados de las páginas web y que sirven para informar a los robots acerca de como deben proceder con el sitio en el que se encuentran.

Es tan sencillo como incluir algo como esto entre las etiquetas <head> del código de nuestra página:
<meta name="robots" content="noindex" />
Afortunadamente los usuarios de Blogger ya no tenemos la necesidad de hacer esto manualmente. Las páginas de categorías, búsquedas y la misma portada entre otras muestran contenido duplicado que ya existen en páginas de tu blog. Con las etiquetas de encabezado personalizadas de Blogger funcionan de manera automática generando las etiquetas en el tipo de página que seleccionemos automática e instantáneamente.

Como habilitar las etiquetas de encabezado de robots personalizadas en Blogger

En el panel de control de nuestro blog; Configuración › Preferencias para motores de búsqueda. En el panel de la derecha; Etiquetas de encabezado de robots personalizadas y en ¿Habilitar las etiquetas de encabezado de robots personalizadas? seleccionamos Sí.


Los diferentes argumentos y su significado que permiten estas etiquetas son las siguientes:
  • all: Especifica que no hay restricciones para indexar y es la opción por omisión.
  • noindex: No volver a mostrar esta página en los resultados de búsqueda y no mostrar un vínculo a la página en caché de los resultados de búsqueda.
  • nofollow: El robot no sigue los enlaces que haya en las páginas, como si no existieran.
  • none: equivalente a las etiquetas noindex + nofollow juntas.
  • noarchive: Evita que se muestre un enlace para ver la copia en caché.
  • nosnippet No se muestra una descripción resumida de esa página.
  • noodp: no usa metadados desde el Open Directory project para títulos o resúmenes al mostrar esta página.
  • notranslate: No permite una traducción de esta página en los resultados de búsqueda.
  • noimageindex: No indexa las imágenes que haya en esa página (ideal si no tienes los derechos).
  • unavailable_after: [RFC-850 date/time] No muestra esta página en los resultados de búsqueda después de la fecha y hora especificada, que debe estar en formato RFC 850 (por ejemplo; 15-Aug-05 15:52:01 UTC).

Todavía no marques ninguna, podría afectar a tu blog en los buscadores.

Evitar el contenido duplicado generado por las categorías, búsquedas y portada

La principal funcionalidad de estas etiquetas es evitar que ciertas páginas o grupos de ellas se indexen. Principalmente las que contienen contenido que ya está presente en otras y que, en caso de constar en el mismo buscador, sería considerado contenido duplicado. A continuación como solucionarlo:

Cada una de las opciones está disponible para: Página de inicio, Archivo y páginas de búsqueda y Publicaciones y Páginas. Hay que prestar atención y marcar sólo las 2 primeras opciones como noindex. Publicaciones y páginas tiene que ser indexable ya que se trata de nuestras entradas.

Finalmente pulsamos en guardar cambios e inmediatamente las etiquetas necesarias para las opciones seleccionadas se incluirán en las páginas que pertenezcan a los tipos de páginas incluidos. Todavía deberá volver a pasar el robot de Google para que estos cambios tengan efecto sobre los resultados de búsqueda y lo que es más importante; el posicionamiento.

36 comentarios:

  1. La verdad es que no lo veo claro. En otros lugares he visto que aconsejan marcar "all" en la página de inicio. En lo que sí coinciden es en marcar "no index en archivos".

    ResponderEliminar
    Respuestas
    1. Hola, podría ser, pero es un poco contradictorio. Con all no se especifica que todas las etiquetas se tengan en cuenta, sino que no existen restricciones para indexar todas las páginas de ese tipo.

      Ya te digo que podría ser, pero si la única intención es que el contenido no se indexe, noindex debería ser suficiente. A mi me ha funciona muy bien y bastante rápido.

      Echaré un ojo y si averiguo algo lo cambio y te aviso. Sino así tampoco tendrás problema. Un saludo y gracias por preguntar!

      Eliminar
  2. Es que leí la política de Google y dice que existe confusión con la penalización por contenido duplicado. Ellos entienden contenido duplicado el que copia y pega y cosas similares. Parece que los duplicados que se generan de buena fe por las duplicidades debido a la propia estructura del blog. Aunque por otro lado si recomiendan optimizar la búsqueda por robots, aunque con precaución. En fin, es un poco oscuro el tema como muchas cosas de los buscadores. Pero es interesante todo lo que se pueda saber sobre ello. Saludos.

    ResponderEliminar
    Respuestas
    1. Hola, efectivamente, hay 2 tipos de contenido duplicado, Google nunca nos sancionará por el contenido duplicado que se genera en nuestro sitio por temas como las categorías, portada y demás.

      Si dejamos que se genere este contenido duplicado en nuestro propio sitio Google tendrá que decidir cuál mostrar más arriba -la entrada original, la portada o la sección y búsquedas que la incluyen-.

      Si el contenido no está duplicado, el valor no hay que repartirlo, el contenido que está sin duplicar aparece más arriba que si estuviese duplicado porque su valor no se divide.

      Saludos y muchas gracias por comentar!

      Eliminar
  3. Respuestas
    1. Sí, pero esta es una parte muy pequeñita, digamos que una calle, como mucho una avenida... jeje saludos.

      Eliminar
  4. Hola, te agradezco primero por compartir esto, quizas mi pregunta no tenga nada que ver con este tema pero estoy tratando de mejorar el posicionamiento de mi blog y he puesto en cada una de las entradas/paginas los tag en la "Descripción de búsqueda", si yo a su vez hago esto que indicas en el post, afecta una cosa a la otra? o una cosa tiene que ver con la indexación de las páginas/entradas para Google, y la otra con las palabras claves con las que se la pueden encontrar en las búsquedas? Gracias Saludos!

    ResponderEliminar
    Respuestas
    1. Hola. muchas gracias a ti por comentar.

      Estas etiquetas son distintas de las de descripción de búsqueda. Las de descripción aportan información para los resultados, las de etiquetado de ecabezados personalizados no son para los buscadores, sino para sus rastreadores, también llamados arañas, crawlers y robots. Efectivamente, como dices, sirven para indicarles a estos cuáles y cómo rastrear e indexar las páginas.

      Pero tu pregunta tiene mucho más sentido de lo que parece. Hay una opción más que deberías entonces marcar. Es la de noodp, que es una especie de acrónimo de 'no open directory project'. Marcar esta etiqueta no permite a los buscadores que utilicen la descripción de la página de tu sitio que hay en DMOZ en sus resultados de búsqueda. Pero esto es sólo si tu sitio está en DMOZ.

      Si usas ambas etiquetas, las de descripción y las de encabezado de robots, mucho mejor para sitio. Todo tiene tiene que ver con la indexación, aunque las de robots se usan para evitar el contenido duplicado, las etiquetas como las de descripción también es contenido, alimento de Google.

      Espero que me haya explicado más o menos claro. Sino no repares en preguntar, que también es contenido :D Un saludo!

      Eliminar
    2. Muchísimas gracias por tomar de tu tiempo para aclararme esto, por ahora no tengo mi sitio allí pero de agregarlo tomaré en cuenta tu recomendación. Saludos!

      Eliminar
  5. He comenzado un blog (estoescritica.blogspot.com.es) y no se que hacer para que salga en las primeras paginas. Como tengo que configurar las etiquetas y todo eso? Tampoco se como se si esta siendo indexado el blog.

    ResponderEliminar
    Respuestas
    1. Hola, para que salga en las primeras páginas tienes que hacer artículos que los buscadores consideren de calidad y tener bastantes, actualizarlo cada cierto tiempo y no hacer nada que te pueda penalizar.

      En las Herramientas para webmasters de Google puedes saber como se está indexando tu sitio en Google, Bing también cuenta con unas propias. Además se suele poder encontrar mucha información en los blogs oficiales para webmasters de estos buscadores.

      Es un proceso lento pero también hay que tener en cuenta los blogs de la competencia. Normalmente se intenta usar las palabras clave que la gente más usa, pero eso también significa que la competencia ya las ha buscado.

      Al final todo se trata de paciencia y trabajo, y también hay que tener en cuenta que las siguientes posiciones a la primera también son importantes. Las etiquetas configúralas como te lo explico en la entrada y tendrás algo de posicionamiento ganado desde el principio.

      Un saludo y gracias por preguntar.

      Eliminar
  6. Hola, gracias por explicar la información. Tengo una duda, de una de tus entradas puse un archivo robot personalizado para que no se indexaran los search y los archive. Con esta nueva opción ¿ya no es necesario tener el archivo robot, debería quitarlo?

    ResponderEliminar
    Respuestas
    1. Hola, efectivamente, aún así el archivo robots.txt sigue teniendo otras utilidades como indicar a los rastreadores cuál es el sitemap de tu sitio lo que permite una indexación mejor o más rápida.

      Y en el caso de usar Adsense también podemos permitir que el robot de este servidor de anuncios escanee las pagínas search y archive para poder mostrar publicidad mejor enfocada. Esto último no afectara a los resultados de búsqueda.

      Otra cosa que se puede hacer con el archivo robots.txt y que las etiquetas de encabezado personalizadas no permite es indicar que no se indexen las páginas que incluyan un signo de interrogación -estas son las que apuntan a un comentario concreto de cualquier página-, aunque creo que esto Google ya lo hace sin que tengamos que pedírselo.

      En definitiva poco más puede hacer el archivo robots.txt que las etiquetas no puedan, excepto retirar páginas concretas de los resultados de búsqueda, cosa que a casi ninguno de nosotros interesa.

      Yo recomiendo usar ambos, pero no pasa gran cosa ni se sufren penalizaciones si no se tiene. Si ya lo tienes pues mejor, aún así puedes retirar las lineas que hacen referencia a las páginas search y archive o dejar sólo la parte que indica el sitemap.

      Y muchas gracias a ti por preguntar. Un saludo muy fuerte!

      Eliminar
  7. sisi, es bien complicado, pero me agrada y bastante aprender leyendo tus publicaciones y también de las respuestas de los usuarios.
    Te cuento que tengo mi blog hace algo de 5 o 6 meses ( discografiasmega.blogspot )
    Por supuesto es de música y en mega, je...con mucho trabajo ( pero mucho ) y artesanal ( todo hecho de a poco y aprendiendo de los errores ) si pones mi nombre, o las palabras, o algo parecido nomas, aparezco adelante de todo en los buscadores, probe muchísimas combinaciones y siempre estoy adelante o en los primeros 5 o 10 por lo menos, ahora el tema es que en Analitycs solo me indexa 47 de las 110 entradas que tengo en el blog, por eso decidi poner los robots.txt y las etiquetas personalizadas como nos enseñas aca...
    Mi inquietud es, esta mal hacerlo ahora? Ayudara o me tirara abajo en los buscadores?
    Te agradezco de nuevo tanto esmero puesto en los bloggeros...

    ResponderEliminar
    Respuestas
    1. Hola, muchas gracias por tus palabras.

      Es posible que aún habiendo incluido la dirección de tu sitemap en el archivo robots.txt Google todavía no las haya incluidas todas porque realmente tarda un tiempo.

      Aunque acabo de comprobar que el archivo robots.txt lo tienes bien, para salir de dudas lo mejor sería que fueses a las Herramientas para webmasters de Google en lugar de a Analytics, y allí dentro te dirijas a la sección Rastreo después de seleccionar tu blog. Ahí podrás comprobar los errores, las estadísticas y otros recursos.

      En la sección Sitemap sería normal que te saliesen más entradas enviadas que indexadas por que hemos bloqueado las páginas de categorías y archivo. Visita la sección de Errores de rastreo y pulsa en No se encuentra para ver que páginas han dado problemas.

      En todo caso, haciendo una búsqueda de tu sitio en Google (site:discografiasmega.blogspot.com) devuelve 146 resultados, así que es posible que todo esté correcto. En Estado de la indexación puedes ver en que días empezaron a tener efecto los cambios.

      Si encuentras algo raro o que no entiendes no repares en avisar y sino puedes darle algo más de tiempo al rastreador, muchas veces puede tardar muchos días en ponerse al día.

      Y de verdad respondiendo a tu pregunta, nunca está de más usar estas etiquetas ni el archivo para los robots.txt. Siempre valdrá más tarde que nunca, por eso no te preocupes, siempre serán de ayuda.

      Pues un saludo muy fuerte y muchas gracias por preguntar!

      Eliminar
  8. Una pregunta, si hacemos que no nos indexe la página de inicio como aquí planteas ¿qué sucede si alguien te busca en google por el nombre del blog? No aparecerá un link directo a la página de inicio supongo ¿no es esto contraproducente?

    Y una cosa más ¿esto de los robots txt es por lo que en google tools me dice que mi blog tiene 730 Páginas bloqueadas por robots? Es normal una cantidad tan elevada?

    Gracias, saludos

    ResponderEliminar
    Respuestas
    1. Hola, pues efectivamente la portada del blog desaparece de los buscadores, en realidad no sería contraproducente para el SEO pues evitamos que los últimos artículos sean contenidos duplicados, si también hemos retirados las categorías del blog y páginas de archivo.

      En el caso de los blogs es más una cuestión estética de cara a los buscadores ya que las portadas de estos no suelen tener ningún contenido que no exista en cada una de las entradas. A no ser que hayamos configurado la estructura o la portada del blog para mostrar un contenido diferente. O también a no ser que midamos mucha gente que busca nuestro blog por el nombre. Aún así el nombre del blog también está presente en cada entrada.

      Sobre la cantidad de páginas bloqueadas a los robots depende de cuantas páginas y cuanto tiempo tenga tu blog. En Blogger, por ejemplo, se van creados páginas de archivo sino me equivoco cada mes, además de páginas de categorías y páginas de resultados de búsquedas (incluyen el término search) y de estas últimas se pueden indexar tantas como enlaces a ellas el robot de Google encuentre.

      Ahora las herramientas para webmasters de Google tiene un 'Probador de robots.txt'. Usa esta herramienta para saber cuáles de tus entradas están bloqueadas. Es muy sencillo, si tienes problemas no repares en volver por aquí para preguntar.

      Un saludo muy fuerte y muchas gracias a ti!

      Eliminar
  9. hola lo acabo de configurar como tu dices en mi blog de blogger ( el robots y esto) cuando comenzara a a hacer efecto?

    ResponderEliminar
    Respuestas
    1. Seguramente en cuanto publiques alguna entrada y la indexe el robot de Google empiece a afectar a tu sitio. Puede tardar algunos días en completarse todos los cambios si tu blog es muy grande, en principio no debería tomar más de algunos días a 3 semanas. Aunque los resultados reales en cuanto al posicionamiento podrían llevar más porque no tienen porque aplicarse al mismo tiempo que los cambios en la indexación.

      Si tienes una cuenta de Google puedes usar las herramientas para webmasters para conocer como va el proceso y mucho más. En Bing también hay las mismas herramientas.

      Eliminar
  10. Hola, tengo un blog para mi Hotel y quiero posicionarlo http://hotelvictoriaimperial.blogspot.com/
    Soy nuevo en esto, estoy intentando entender lo que comentaron pero no es fácil, me gustaría saber que opciones elegir en los Robots de pagina de Inicio, Archivos y páginas de búsqueda, Valor predeterminado para publicaciones y páginas.

    Muchas gracias por su atención

    ResponderEliminar
    Respuestas
    1. Hola. Si vas a usar tu blog como una página corporativa en lugar de como un blog que se actualiza periódicamente es muy importante que marques la página principal como index, es decir; sin marcar ninguna opción.

      El resto lo puedes dejar igual que como en este ejemplo y no tendrás problema ninguna de contenido duplicado y esto favorecerá a tu página principal, si es lo que deseas. La otra opción es permitir las páginas de archivo y categorías pero sería para algunos casos especiales, no creo que para tu sitio te interese.

      ¡Con esto y un bizcocho, hasta mañana a las ocho!

      Eliminar
  11. Hola ... Buen dia!!
    Desde que use el chat de ChatWing cuando busco en google Xtremo Stereo que es mi Radio www.XtremoStereo.com me aparece en la descripción los textos del chat.. Como hago para que no se indexen los mismos y siga saliendo la descripción que siempre he tenido? Como hago para que no aparezcan dichos textos?
    Solo ocurre en mi pagina principas
    Gracias!!!

    ResponderEliminar
    Respuestas
    1. Hola, puedes probar a poner estas etiquetas antes y después del código del chat o en el lugar en el que aparezcan esos textos:

      exprimiblog.blogspot.com/2014/08/ocultar-texto-a-google.html

      Seguro que te funciona pero puede tardar un tiempo en aparecer reflejado en Google. Puedes usar las Herramientas para webmasters para comprobarlo en el momento.

      Un saludo y gracias por preguntar.

      Eliminar
  12. Hola Jorge, como puedo posicionar mejor mi blog. La verdad leí tu artículo y es muy interesante pero soy bastante malo en el tema de posicionamiento.

    ResponderEliminar
    Respuestas
    1. Es lo que todo el mundo quiere pero claro, cuesta lo suyo.

      Lo esencial es publicar entradas con buenas palabras clave y que otros sitios generen enlaces hacia ellas con otras palabras clave en su contexto.

      ¡Saludote!

      Eliminar
  13. No entiendo nada. Qué pena. No sé si es bueno o malo. Aisssssss...

    ResponderEliminar
  14. Entonces que es lo correcto? marcar todas las todas las Etiquetas de los títulos de robots personalizadas como ALL?

    ResponderEliminar
    Respuestas
    1. Depende lo que quieras hacer. Si quieres evitar el contenido duplicado está explicado en la entrada y comentarios anteriores al tuyo.

      Un saludo y gracias por contactar.

      Eliminar
  15. ¿No hay problema por marcar todo en "ALL"?
    Tengo una página de Deportes OnLine (http://www.tufutbolpro.com), pero nunca he usado esta opción y parece interesante.
    Saludos!

    ResponderEliminar
    Respuestas
    1. No hay problema pero no es lo más indicado para ciertas páginas -política de privacidad, páginas con formularios, etc-.

      En cualquier caso creo que no me equivoco que eso nunca supondrá una penalización por parte de los buscadores.

      Un fuerte saludo y muchas gracias por contactar.

      Eliminar
  16. Gracias por tu ayuda, no sabia nada sobre como funcionan los robots y las configuraciones de verda por fin estoy entendiendo un poco de que trata.

    ResponderEliminar
    Respuestas
    1. Pues muchas gracias a ti por pasarte y comentar.

      ¡Recibe un fuerte saludo!

      Eliminar

Tu comentario tiene valor, dedícale unos minutos y repásalo. Si tiene faltas de gramaticales o de ortografía lo borraré. Respondo a todos así que si tienes dudas no repares en preguntar.

Si esperas respuesta acuérdate de marcar el botón de 'Avisarme'.

Y RECUERDA: Para mantener las conversaciones legibles usa correctamente el botón COMENTAR o RESPONDER cuando proceda. Muchas gracias.

Más de 2000 suscriptores reciben las entradas en su correo

Vía FeedBurner. Introduce tu dirección de correo electrónico y confirma el mensaje que te llegue.