Website-Crawler

Folgt den internen Links ab der Startseite und prüft jede gefundene Seite. Die robots.txt wird dabei respektiert.