Get inside the head of a crawler

Cada petición al servidor, de una persona o de un robot, deja una línea en el access log. Filip Podstavec es consultor de SEO y entre sus clientes está Heureka.cz. Sostiene que precisamente los archivos de log son la fuente de datos más precisa y más subestimada sobre cómo Googlebot recorre un sitio. En la charla hace de “psicólogo de Googlebot” y muestra cómo despejar el camino de los robots por el sitio.

Verá qué encontrará en una sola línea de log, con qué herramienta analizar los logs según el tamaño del archivo y qué preguntas responden: qué robots recorren el sitio, adónde van con más frecuencia, dónde se topan con errores y quién solo se hace pasar por Googlebot. La segunda mitad está dedicada a las correcciones. Filip repasa el código de estado 503 durante una interrupción del servicio, la paginación para Google y Seznam, las combinaciones de filtros en una tienda online, la diferencia entre disallow y noindex, el encabezado If-Modified-Since y un sitemap limpio.