Get inside the head of a crawler

Jede Anfrage an den Server, ob von einem Menschen oder einem Bot, hinterlässt eine Zeile im Access-Log. Filip Podstavec ist SEO-Berater, zu seinen Kunden gehört Heureka.cz. Er sagt, dass gerade Logdateien die genaueste und am meisten unterschätzte Datenquelle dazu sind, wie der Googlebot eine Website durchsucht. Im Vortrag spielt er den „Googlebot-Psychologen“ und zeigt, wie man Bots den Weg durch die Website frei macht.

Sie erfahren, was in einer einzigen Logzeile steht, mit welchem Tool Sie Logs je nach Dateigröße auswerten und welche Fragen sie beantworten: welche Bots die Website besuchen, wohin sie am häufigsten gehen, wo sie auf Fehler stoßen und wer sich nur als Googlebot ausgibt. Die zweite Hälfte gehört den Korrekturen. Filip behandelt den Statuscode 503 bei Wartungsarbeiten, Paginierung für Google und Seznam, Filterkombinationen im Onlineshop, den Unterschied zwischen Disallow und Noindex, den Header If-Modified-Since und eine saubere Sitemap.