Google Bot
Contenido
¿Qué es Googlebot?
Googlebot es el nombre genérico de la Araña web de Google. Su trabajo es escanear documentos de la red informática mundial y poner al alcance toda la información existente en el índice de Google y de Google Search. Funciona mediante un proceso automatizado que le permite buscar nuevo contenido en la web de forma continua.
Opera bajo el mismo principio de un navegador común y corriente: el bot envía una solicitud al servidor encargado y espera la respuesta correspondiente. Tras recibir confirmación del servidor, el bot descarga una sola página web y la añade al índice de Google.
Es así como este rastreador es capaz de indexar toda la información a su paso en internet, empleando recursos distribuidos y expansibles para escanear miles de páginas de manera simultánea.
¿Cómo funciona Googlebot?
Para crear una estrategia SEO exitosa debes comprender la forma en la que este bot trabaja. Googlebot ha sido diseñado a partir de un algoritmo altamente desarrollado, capaz de realizar tareas con autonomía.
Una manera de comprenderlo con facilidad es imaginando a la red de internet como una malla llena de nudos. Cada nudo de la malla es un sitio web identificado con una URL irreemplazable. A su vez, cada conexión entre nudos son los hiperenlaces que continúan hacia subpáginas o recursos.
El robot tiene la capacidad de identificar y analizar tanto enlaces (links HREF) como recursos (links SRC) en solo segundos. Gracias a esto, su algoritmo logra determinar la vía más rápida y más efectiva para explorar la red entera.
Para acceder a toda la información, Googlebot, hace uso de diferentes técnicas de rastreo. Por ejemplo, el método multihilo (el más empleado) le ayuda a ejecutar varios procesos de rastreo de manera simultánea, mientras que otros rastreadores, por el contrario, se dedican a investigar áreas específicas de la red.
¿Cómo saber si Googlebot ha visitado tu website?
A través de Google Search Console puedes chequear cuándo fue rastreado tu sitio por última vez. Sigue estos pasos a continuación:
Paso 1
Dirígete a la Google Search Console y busca la opción que diga "index coverage" o “cobertura de indexación”. Esto te mostrará un sumario de errores y advertencias.
Verás también una pestaña con la palabra “válido”, presiona para ver todas las páginas libres de errores. La etiqueta de “detalles” está ubicada más abajo, dale clic una vez más a la hilera que dice “válido”.
Paso 2
Obtendrás un resumen detallado de todos los sitios que te pertenecen y han sido indexados. Esta información incluye la fecha exacta en la que cada sitio ha sido rastreado por última vez.
Es posible que la última versión de una página en específico no haya sido escaneada todavía. De ser este el caso, puedes notificar a Google que el contenido de la página ha sido cambiado, así el sistema sabrá que debe re-indexarla.
¿Cómo evitar que Googlebot rastree tu sitio web?
Existen diferentes maneras de esconder información de los rastreadores. Cada araña web puede ser identificada gracias al "user agent" en las cabeceras del HTTP. En el caso de los rastreadores de Google, la especificación es “Googlebot”, la cual viene de la dirección googlebot.com.
Estas entradas de agentes de usuario son almacenadas en los log files de cada servidor, desde donde se recupera y provee información detallada acerca de quién ha enviado una determinada solicitud al servidor.
Por diversas razones, algunas personas prefieren que Googlebot se mantenga alejado del sitio. Esto es lo que debes considerar para excluir al bot:
- Una directiva “disallow” en tu archivo robots txt puede prohibir el rastreo de directorios completos.
- Si deseas que los rastreadores no sigan los enlaces de tu web, puedes configurar las meta etiquetas robot de una página como “nofollow”.
- También puedes implementar el “nofollow” en los enlaces internos. De esta manera, aseguras que los indexadores limiten su prioridad a los enlaces señalados. A partir de entonces, los demás links tendrán su rastreo normal.
Importancia para SEO
Entender cómo funciona este bot y cómo influenciarlo resulta particularmente importante para la optimización de motores de búsqueda. Por ejemplo, puedes utilizar Google Search Console para notificar a Googlebot acerca de nuevas páginas en tu website.
También puedes crear un sitemap de tipo XML y ponerlo a disposición de las arañas web para complementar la estrategia, puesto que ofrece un listado de direcciones URL y acelera el proceso de indexación.
Lo más importante es ayudar a los rastreadores a navegar fácilmente por tu sitio. Así, serán capaces de encontrar contenido relevante con mayor eficacia y no perderán tiempo explorando páginas irrelevantes.
Ampliar conocimientos
- https://www.humanlevel.com/diccionario-marketing-online/googlebot
- https://developers.google.com/search/docs/advanced/crawling/googlebot?hl=es-419
| Sobre las autoras y autores: |
 |
Contenidos relacionados