Fun with Robots.txt

Ik ben een hele slechte nerd. Ik weet van een heleboel een beetje, wat soms nog tot aardige resultaten leidt. Maar zeker waar het netwerken en protocollen betreft heeft mijn kennis de diepte van een pierebadje voor babyvlooien.

Toch heb ik veel plezier beleefd aan de site van webdeveloper Andrew Wooster. Hij is op zoek gegaan wat er zoal tevoorschijn komt wanneer je naar het bestandje "robots.txt" gaat zoeken. Dat is een bestandje waarmee zoekmachines duidelijk gemaakt kan worden wat ze mogen indexeren en wat niet. In het voorbijgaan heb ik nog het een en ander geleerd ook nog, terwijl het de titel wel degelijk waarmaakt: Fun With Robots.txt. Nou ja, voor wannabe-nerds, dan.

Twee jaar geleden haalde hij iets soortgelijks uit: Fun With HTTP Headers. Ook dat stuk is de moeite waard.