RootForum Community

Hi,

einige meiner Domains werden von msnbot.msn.com so häufig besucht das etwa 0.5GB Traffic anfällt. Das ist nicht schön und ich werde es zunächst mit einer robots.txt versuchen einzudämmen.
Aber hat von euch jemand ähnliche Erfahrungen mit diesem Ungetüm?

Gruß Helle

hi,

trag mal in die robots.txt folgendes ein:
damit sollte des besser gehen ;)

GreetZ
Cat

Cat wrote:

Code: Select all

Disallow:

-vvv

also robots.txt

User-agent: msnbot
Disallow: /
wurde völlig ignoriert !

Da verlasse ich mich doch lieber auf:

RewriteEngine on
RewriteOptions inherit
RewriteCond %{HTTP_USER_AGENT} ^msnbot.*
RewriteCond %{REQUEST_URI} !^/robots.txt$
RewriteCond %{REQUEST_URI} !^/msnbot.html$
#RewriteRule .* /msnbot.html # Hinweis an MSN
RewriteRule .* - [F] # warum rumärgern?

Jetzt muß es sich dran halten :-D

Viele Grüße
Helle

Durch ein bisschen Google'n habe ich rausgefunden das der msnbot vor allem Seiten mit viel Multimedial Zeugs MEHRMALS am Tag indiziert um seine Performance zu testen. (Dadurch hatte ich die letzten Monate immer so 0.5-0.7GB Traffic)

Schön das M$ das auf meine Kosten tut :evil:

Viele Grüße
Helle

searchbots lesen die robot.txt nicht jedesmal neu ein. Das kann schon mal gut einen Tag oder mehr dauern, bis die Ã?nderung erkannt wird, wobei 0.7GB Traffic im Monat durch eine Bot nicht besonders viel ist. Warte mal ab, wenn Slurp von Yahoo oder der Googlebot mit bis zu 50 Instanzen gleichzeitig bei Dir vorbeischauen. Da zeigt sich schon wie schlau die Bots programmiert sind.

Hallo Leute,

man sagt, es gibt nur blöde Fragen und keine blöden Antworten. Also seht es mir bitte nach: :?

wo finde ich die robots.txt und wo und wie kann man sie einbauen.

Seit etwa 10 Tagen bemerke ich das mit dem msbot ebenfalls.

Eigenartig, dass das vorher nie der Fall war.

OK, seit etwa 30 Tagen habe ich auf meiner Seite 2 Macromedia Flash Objekte eingebaut, aber daran kann es doch wohl nicht liegen?!?!?!?!?! :roll:

MfG
S.R.

Lege einfach mit einem Texteditor eine gleichnamige Datei an und speichere sie im Wurzelverzeichnis der Domain ab.