Monitorizar GoogleBot usando Google Analytics Presentación Slideshare

¿Por qué es importante saber lo que el robot de Google hace en tu site y cómo verlo? Debemos monitorizar GoogleBot usando Google Analytics. Es muy importante tener visibilidad sobre qué y cómo crawlean los robots GoogleBot, BingBot nuestro site.

Nos interesa conocer información de nuestro site para mejorarlo y limpiar cosas inútiles. Es interesante saber las URLs más frecuentadas por cada Bot. Medir a los bots en las paginaciones o con con parámetros. Medir los accesos a páginas con error 404 hace cada Bot. Tener más accesos no quiere decir que tengamos más tráfico. Es muy importante saber que urls tienen muchos accesos y muy pocas visitas.

Os dejo una presentación en Slideshare de Lino Uruñuela uno de los mejores SEO con los que he trabajado en ABC.es. Lino eres muy grande lo que aprendí de tí.

Monitorizar GoogleBot usando Google Analytics Presentación Slideshare

¿Por qué es importante conocer cómo Google crawlea tu site y cómo hacerlo paso a paso?

Al final es la foma que tien Google de llegar a nuestro contenido. A parte de los sitemap Gogole recorre nuestros sitios con una cierta frecuencia .Leen el contenido y lo guardan y sigue buscando enlaces para continuar. Si sabemos lo que hacen podremos mejorar nuestro sitio.

¿Qué no le gusta a GoogleBot?

Si recibe información confusa, errónea o le engañamos su comportamiento será peor en nuestro site. Si ve demasiada información irrelevante. Contenido pequeño o parámetros.
Los errores 404
Dejarle perdido en paginaciones inútiles
Las redirecciones 301 en cadena.

¿Cómo podemos saber lo que ve Google?
Search Console, pero no nos permite filtrar por url. Pero no sabemos si se está volviendo loco en alguna paginación.
Nos gustaría saber las urls que más visita para mejorarlas y las que menos. A lo mejor a parte de nuestro site ni llega por fallo en la AI.
No sabemos cuántas de esas urls llevan canonical, o noindex

Aparte de Search Console con Google Analytics y una nueva propiedad de Google Analytics podemos tener esa información. Además es muy sencilla de implementar y nos permite filtrar por url, segmentar por secciones, saber que filtros está rastreando y con que frecuencia. Al final nos permite tener un historial mucho mayor que el de Search Console. Además de crear fácilmente segmentos personalizados Segmentos por Response Status ¿Cuántas URLs dan 404?

¿Cómo se hace Monitorizar GoogleBot usando Google Analytics?

Lo primero Configuración de Google Analytics

1.Crea una nueva propiedad, o cuenta en Google Analytics para no romper la que usamos.
2.Añadir dos dimensiones personalizadas desde la zona de administración de la cuenta de Google Analytics. La podemos llamar como queramos, lo importante es el número de dimensión que es Obtener número de la dimensión. Recomiendo HTTPstatus y HTTPuserAgent
3.Usar el código de Abcjo cambiando el número de dimensión (solo si corresponde, si es una cuenta nueva será la cd1 y cd2) y el identificador de Google Analytics UA-XXXXX-XX
4.Poner el código PHP al final de la carga en cada url de tu site
5. En la página de error 404. Llamar a la clase con BotTracker::track($_SERVER, array(«page_title»=>$titulo_Pagina, «http_code»=> «404»));

Lo segundo es añadir el código a incluir en todas las páginas de tu site como un include analyticsgooglebot.php

<?php
class BotTracker {

static function track($s, $params){

if(preg_match("/googlebot|bingbot/i", $s['HTTP_USER_AGENT'], $matches)){

$bot = $matches[0];

$data = array(
'v' => 1,
'tid' => 'UA-XXXXX-XX',
'cid' => self::generate_uuid(),
't' => 'pageview',
'dh' => $s['HTTP_HOST'],
'dl' => $s['REQUEST_URI'],
'dr' => $s['HTTP_REFERER'],
'dp' => $s['REQUEST_URI'],
'dt' => $params['page_title'],
'cs' => $bot,
'cm' => 'direct',
'cn' => '',
'ck' => $s['HTTP_USER_AGENT'],
'cc' => '',
'uip' => $s['REMOTE_ADDR'],
'cd1' => $s['HTTP_USER_AGENT'],
'cd2' => $params['http_code'],
);

$url = 'http://www.google-analytics.com/collect';
$content = http_build_query($data);

$ch = curl_init();
curl_setopt($ch, CURLOPT_USERAGENT, $s['HTTP_USER_AGENT']);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 0);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
curl_setopt($ch, CURLOPT_TIMEOUT_MS, 0);
curl_setopt($ch, CURLOPT_HTTPHEADER, array('Content-type: application/x-www-form-urlencoded'));
curl_setopt($ch, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch,CURLOPT_ENCODING , "gzip");
curl_setopt($ch, CURLOPT_POSTFIELDS, $content);
$result = curl_exec($ch);
$info= curl_getinfo($ch);
curl_close($ch);
}

}
static private function generate_uuid() {

return sprintf( '%04x%04x-%04x-%04x-%04x-%04x%04x%04x',
mt_rand( 0, 0xffff ), mt_rand( 0, 0xffff ),
mt_rand( 0, 0xffff ),
mt_rand( 0, 0x0fff ) | 0x4000,
mt_rand( 0, 0x3fff ) | 0x8000,
mt_rand( 0, 0xffff ), mt_rand( 0, 0xffff ), mt_rand( 0, 0xffff )
);
}

}
BotTracker::track($_SERVER, array("page_title"=>$titulo_Pagina, "http_code"=> "200"));
?>

Espero que os guste la presentación del Gran SEO Lino Uruñuela http://www.mecagoenlos.com/Posicionamiento/monotorizar-googlebot-con-google.php

. Leer artículo completo en Frikipandi Monitorizar GoogleBot usando Google Analytics Presentación Slideshare.