Get inside the head of a crawler

Každý požadavek na server, od člověka i od robota, zanechá řádek v access logu. Filip Podstavec je SEO konzultant a mezi jeho klienty patří Heureka.cz. Tvrdí, že právě log soubory jsou nejpřesnější a nejvíc podceňovaný zdroj dat o tom, jak Googlebot web prochází. V přednášce z publika dělá „psychology Googlebota“ a ukazuje, jak robotům uvolnit cestu webem.

Dozvíte se, co najdete v jednom řádku logu, jakým nástrojem logy rozebrat podle velikosti souboru a na jaké otázky vám odpoví: kteří roboti web procházejí, kam chodí nejčastěji, kde narážejí na chyby a kdo se za Googlebota jen vydává. Druhá polovina patří opravám. Filip probírá stavový kód 503 při odstávce, stránkování pro Google i Seznam, kombinace filtrů v e-shopu, rozdíl mezi disallow a noindex, hlavičku If-Modified-Since a čistou sitemapu.