Get inside the head of a crawler

Każde żądanie do serwera, od człowieka i od robota, zostawia wiersz w access logu. Filip Podstavec jest konsultantem SEO, a wśród jego klientów jest Heureka.cz. Twierdzi, że to właśnie pliki logów są najdokładniejszym i najbardziej niedocenianym źródłem danych o tym, jak Googlebot przechodzi przez stronę. W wystąpieniu wciela się w „psychologa Googlebota” i pokazuje, jak oczyścić robotom drogę przez witrynę.

Z nagrania dowiedzą się Państwo, co zawiera jeden wiersz logu, jakim narzędziem analizować logi w zależności od rozmiaru pliku i na jakie pytania odpowiedzą: które roboty odwiedzają stronę, dokąd trafiają najczęściej, gdzie napotykają błędy i kto tylko podszywa się pod Googlebota. Druga połowa jest poświęcona poprawkom. Filip omawia kod stanu 503 podczas przerwy technicznej, paginację dla Google i Seznamu, kombinacje filtrów w e-sklepie, różnicę między disallow a noindex, nagłówek If-Modified-Since i czystą mapę witryny.