Hi,
einige meiner Domains werden von msnbot.msn.com so häufig besucht das etwa 0.5GB Traffic anfällt. Das ist nicht schön und ich werde es zunächst mit einer robots.txt versuchen einzudämmen.
Aber hat von euch jemand ähnliche Erfahrungen mit diesem Ungetüm?
Gruß Helle
msnbot verursacht massiv traffic
Re: msnbot verursacht massiv traffic
hi,
trag mal in die robots.txt folgendes ein:
damit sollte des besser gehen ;)
GreetZ
Cat
trag mal in die robots.txt folgendes ein:
Code: Select all
User-agent: msnbot
Disallow:
Crawl-delay: 120
GreetZ
Cat
Re: msnbot verursacht massiv traffic
-vvvCat wrote:Code: Select all
Disallow:
PayPal.Me/JoeUser ● FreeBSD Remote Installation
Wings for Life ● Wings for Life World Run
„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
Wings for Life ● Wings for Life World Run
„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
msnbot hält sich nicht an die robots.txt
also robots.txt
User-agent: msnbot
Disallow: /
wurde völlig ignoriert !
Da verlasse ich mich doch lieber auf:
RewriteEngine on
RewriteOptions inherit
RewriteCond %{HTTP_USER_AGENT} ^msnbot.*
RewriteCond %{REQUEST_URI} !^/robots.txt$
RewriteCond %{REQUEST_URI} !^/msnbot.html$
#RewriteRule .* /msnbot.html # Hinweis an MSN
RewriteRule .* - [F] # warum rumärgern?
Jetzt muß es sich dran halten :-D
Viele Grüße
Helle
User-agent: msnbot
Disallow: /
wurde völlig ignoriert !
Da verlasse ich mich doch lieber auf:
RewriteEngine on
RewriteOptions inherit
RewriteCond %{HTTP_USER_AGENT} ^msnbot.*
RewriteCond %{REQUEST_URI} !^/robots.txt$
RewriteCond %{REQUEST_URI} !^/msnbot.html$
#RewriteRule .* /msnbot.html # Hinweis an MSN
RewriteRule .* - [F] # warum rumärgern?
Jetzt muß es sich dran halten :-D
Viele Grüße
Helle
Nachtrag msnbot
Durch ein bisschen Google'n habe ich rausgefunden das der msnbot vor allem Seiten mit viel Multimedial Zeugs MEHRMALS am Tag indiziert um seine Performance zu testen. (Dadurch hatte ich die letzten Monate immer so 0.5-0.7GB Traffic)
Schön das M$ das auf meine Kosten tut :evil:
Viele Grüße
Helle
Schön das M$ das auf meine Kosten tut :evil:
Viele Grüße
Helle
Re: msnbot verursacht massiv traffic
searchbots lesen die robot.txt nicht jedesmal neu ein. Das kann schon mal gut einen Tag oder mehr dauern, bis die Ã?nderung erkannt wird, wobei 0.7GB Traffic im Monat durch eine Bot nicht besonders viel ist. Warte mal ab, wenn Slurp von Yahoo oder der Googlebot mit bis zu 50 Instanzen gleichzeitig bei Dir vorbeischauen. Da zeigt sich schon wie schlau die Bots programmiert sind.
-
wellenbrecher
- Posts: 10
- Joined: 2005-03-23 17:50
*Frage*
Hallo Leute,
man sagt, es gibt nur blöde Fragen und keine blöden Antworten. Also seht es mir bitte nach: :?
wo finde ich die robots.txt und wo und wie kann man sie einbauen.
Seit etwa 10 Tagen bemerke ich das mit dem msbot ebenfalls.
Eigenartig, dass das vorher nie der Fall war.
OK, seit etwa 30 Tagen habe ich auf meiner Seite 2 Macromedia Flash Objekte eingebaut, aber daran kann es doch wohl nicht liegen?!?!?!?!?! :roll:
MfG
S.R.
man sagt, es gibt nur blöde Fragen und keine blöden Antworten. Also seht es mir bitte nach: :?
wo finde ich die robots.txt und wo und wie kann man sie einbauen.
Seit etwa 10 Tagen bemerke ich das mit dem msbot ebenfalls.
Eigenartig, dass das vorher nie der Fall war.
OK, seit etwa 30 Tagen habe ich auf meiner Seite 2 Macromedia Flash Objekte eingebaut, aber daran kann es doch wohl nicht liegen?!?!?!?!?! :roll:
MfG
S.R.
wie und wo robots.txt
Lege einfach mit einem Texteditor eine gleichnamige Datei an und speichere sie im Wurzelverzeichnis der Domain ab.