Los robots de los buscadores de Internet recorren las webs para actualizar y buscar contenido nuevo. Generalmente lo hacen saltando de un sitio web a otro a través de los enlaces. Pero hay un lugar a donde siempre van antes; al archivo robots.txt.
Si el archivo robots.txt no se encuentra allí no ocurre nada especial, el robot indexará todo lo que encuentre. Si tenemos un archivo robots.txt personalizado tendrá en consideración nuestras condiciones para la inclusión en el índice.
Pero el archivo robots.txt no es la única forma en la que podemos indicar a los robots como rastrear nuestro sitio, y lo que es más importante aún, como mostrarlo en los resultados de búsqueda.
Aunque hagamos uso del archivo robots.txt, este no puede especificar que tales páginas no se incluyan en el índice, simplemente que el robot aludido no las siga durante el rastreo. Una vez que llega allí nada le impidiría la indexación, y ya sabemos que a estos robots les encanta recolectar páginas.
Las etiquetas, aunque no tienen la precisión del archivo robots.txt, permiten otras opciones y su uso junto con el archivo robots.txt personalizado es recomendado.
Los diferentes argumentos y su significado que permiten estas etiquetas son las siguientes:
Todavía no marques ninguna, podría afectar a tu blog en los buscadores.
Cada una de las opciones está disponible para: Página de inicio, Archivo y páginas de búsqueda y Publicaciones y Páginas. Hay que prestar atención y marcar sólo las 2 primeras opciones como noindex. Publicaciones y páginas tiene que ser indexable ya que se trata de nuestras entradas.
Finalmente pulsamos en guardar cambios e inmediatamente las etiquetas necesarias para las opciones seleccionadas se incluirán en las páginas que pertenezcan a los tipos de páginas incluidos. Todavía deberá volver a pasar el robot de Google para que estos cambios tengan efecto sobre los resultados de búsqueda y lo que es más importante; el posicionamiento.
 |
| Foto original de kamome |
Pero el archivo robots.txt no es la única forma en la que podemos indicar a los robots como rastrear nuestro sitio, y lo que es más importante aún, como mostrarlo en los resultados de búsqueda.
Etiquetas para donde el archivo robots.txt no alcanza
Cuando bloqueamos el indexado de páginas a través del archivo robots.txt, normalmente con la intención de evitar el contenido duplicado, los motores de búsqueda obvian estas páginas y en principio no las incluyen en los resultados. Pero ¿qué pasa si otro sitio web enlaza a alguna de estas páginas?Aunque hagamos uso del archivo robots.txt, este no puede especificar que tales páginas no se incluyan en el índice, simplemente que el robot aludido no las siga durante el rastreo. Una vez que llega allí nada le impidiría la indexación, y ya sabemos que a estos robots les encanta recolectar páginas.
Las etiquetas, aunque no tienen la precisión del archivo robots.txt, permiten otras opciones y su uso junto con el archivo robots.txt personalizado es recomendado.
Qué son las etiquetas de encabezado de robots personalizadas
Son exactamente lo que su nombre indica; Las etiquetas son elementos HTML que en este caso se incluyen en los encabezados de las páginas web y que sirven para informar a los robots acerca de como deben proceder con el sitio en el que se encuentran.
Es tan sencillo como incluir algo como esto entre las etiquetas <head> del código de nuestra página:
Es tan sencillo como incluir algo como esto entre las etiquetas <head> del código de nuestra página:
<meta name="robots" content="noindex" />Afortunadamente los usuarios de Blogger ya no tenemos la necesidad de hacer esto manualmente. Las páginas de categorías, búsquedas y la misma portada entre otras muestran contenido duplicado que ya existen en páginas de tu blog. Con las etiquetas de encabezado personalizadas de Blogger funcionan de manera automática generando las etiquetas en el tipo de página que seleccionemos automática e instantáneamente.
Como habilitar las etiquetas de encabezado de robots personalizadas en Blogger
En el panel de control de nuestro blog; Configuración › Preferencias para motores de búsqueda. En el panel de la derecha; Etiquetas de encabezado de robots personalizadas y en ¿Habilitar las etiquetas de encabezado de robots personalizadas? seleccionamos Sí.Los diferentes argumentos y su significado que permiten estas etiquetas son las siguientes:
- all: Especifica que no hay restricciones para indexar y es la opción por omisión.
- noindex: No volver a mostrar esta página en los resultados de búsqueda y no mostrar un vínculo a la página en caché de los resultados de búsqueda.
- nofollow: El robot no sigue los enlaces que haya en las páginas, como si no existieran.
- none: equivalente a las etiquetas noindex + nofollow juntas.
- noarchive: Evita que se muestre un enlace para ver la copia en caché.
- nosnippet: No se muestra una descripción resumida de esa página.
- noodp: no usa metadados desde el Open Directory project para títulos o resúmenes al mostrar esta página.
- notranslate: No permite una traducción de esta página en los resultados de búsqueda.
- noimageindex: No indexa las imágenes que haya en esa página (ideal si no tienes los derechos).
- unavailable_after: [RFC-850 date/time] No muestra esta página en los resultados de búsqueda después de la fecha y hora especificada, que debe estar en formato RFC 850 (por ejemplo; 15-Aug-05 15:52:01 UTC).
Todavía no marques ninguna, podría afectar a tu blog en los buscadores.
Evitar el contenido duplicado generado por las categorías, búsquedas y portada
La principal funcionalidad de estas etiquetas es evitar que ciertas páginas o grupos de ellas se indexen. Principalmente las que contienen contenido que ya está presente en otras y que, en caso de constar en el mismo buscador, sería considerado contenido duplicado. A continuación como solucionarlo:Cada una de las opciones está disponible para: Página de inicio, Archivo y páginas de búsqueda y Publicaciones y Páginas. Hay que prestar atención y marcar sólo las 2 primeras opciones como noindex. Publicaciones y páginas tiene que ser indexable ya que se trata de nuestras entradas.
Finalmente pulsamos en guardar cambios e inmediatamente las etiquetas necesarias para las opciones seleccionadas se incluirán en las páginas que pertenezcan a los tipos de páginas incluidos. Todavía deberá volver a pasar el robot de Google para que estos cambios tengan efecto sobre los resultados de búsqueda y lo que es más importante; el posicionamiento.