für Download-Automaten: Daten-Transfer im apache beschränken

[gerd]

Hallo,

gibt es eine einfache Lösung, um Download-Automaten und Grabbing-Tools den Download zu erschweren, ohne dass die Robots von Suchmaschinen darunter leiden und ausgeschlossen werden.
Danke. Gerd

[dodolin]

"Erschweren" oder "ausschliessen"?
Ich würde nach dem User-Agent gehen. wget, gozilla und Konsorten... Musst du halt in deine Logs schauen, was da bei dir so vorbeikommt. Dann entweder Forbidden ausgeben oder mal schauen, ob man über Umgebungsvariablen z.B. mod_throttle oder sowas aufrufen kann. Aber damit habe ich keine Erfahrung...

[gerd]

Es gibt so viele Download-Robots und Download-Tools, so dass das einzelne Aufführen und Aussperren dieser Tools m.E. wohl zu umständlich ist. Bei CGI-Skripten scheinen die Apache-Funktionen LimitRequest hilfreich zu sein. Ich glaube, es gibt auch einen Befehl für die httpd.conf, wenn eine bestimmte IP eine bestimmte Anzahl von KB durch ununterbrochene Abrufe erreicht hat.
Hier könnte man die wichtigsten Suchrobots den Zugriff erlauben. aber meine Recherche hat mich hier auch noch nicht weitergeführt, obwohl ein apachebuch besitze. Ich werde mal weiter recherchieren.
gerd

[dodolin]

Suchrobots sollten sich an die robots.txt halten. Die meisten tun das auch. Downloadmanager allerdings nicht bzw. manche tun es, es lässt sich allerdings bei manchen auch vom User abschalten.