Ich denke mal das es so ein tool schon lange gibt weil es eine Aufgabe machen soll die ziemlich allgemein ist.
Ich beschreib es mal einfach.
Also ich hab eine Sammlung an Webadressen. Ich will von jeder Webadresse eine ganz bestimmte Datei z.b.
www.homepage.de/etc/datei_die_ich_will.wayne
www.homepage.de/etc/datei_die_ich_will.doof
usw
Das Tool muss also eine Liste abarbeiten wo ich eine Liste von Homepages angeben kann und eine Liste wo die Dateien liegen.
Zusätzlich haben manche Seiten haben aber auch eine Benutzername und Passwort abfrage. Das Tool sollte die auch eintragen können.