whois.sk sucht robots.txt??

Apache, Lighttpd, nginx, Cherokee
crossi
Posts: 3
Joined: 2007-11-05 12:22

whois.sk sucht robots.txt??

Post by crossi » 2007-11-05 12:38

Hallo Forum,

ich bin ziemlich neu in Sachen Root-Server. Habe einen bei 1&1 gemietet. Beim durchforsten der confixx-logfiles bin ich auf folgenden Eintrag gestoßen:
[Mon Nov 05 12:05:17 2007] [error] [client 216.145.11.94] File does not exist: /srv/www/confixx/html/robots.txt, referer: http://www.whois.sc/


Ist das gut, oder schlecht, oder wie, oder was? Ich kann mir nicht vorstellen, dass ich unter /srv/www/confixx/html tatsächlich ein robots.txt anlegen muss, oder?!

Wie gesagt, ich bin blutiger Anfänger in Sachen Rootserver, deshalb bitte ich um Verständnis, wenn ich mal die ein oder andere "dumme" Fragen stellen sollte. :)

MfG
Chris

oxygen
RSAC
Posts: 2179
Joined: 2002-12-15 00:10
Location: Bergheim

Re: whois.sk sucht robots.txt??

Post by oxygen » 2007-11-05 12:49

musst du nicht. kannst du aber, da es sogar Sinn macht.

crossi
Posts: 3
Joined: 2007-11-05 12:22

Re: whois.sk sucht robots.txt??

Post by crossi » 2007-11-05 12:56

wow .. das ging aber schnell :)

Danke für die schnelle Antwort!

Und was empfiehlst Du, wie die aussehen sollte? Einfach alles und jeden ausschließen?

Gruß
Chris

User avatar
Joe User
Project Manager
Project Manager
Posts: 11599
Joined: 2003-02-27 01:00
Location: Hamburg

Re: whois.sk sucht robots.txt??

Post by Joe User » 2007-11-05 12:58

Code: Select all

User-agent: *
Disallow: /

crossi
Posts: 3
Joined: 2007-11-05 12:22

Re: whois.sk sucht robots.txt??

Post by crossi » 2007-11-05 13:01

Genau, so hatte ich mir das auch gedacht.

Vielen Dank für Deine Hilfe! :)

Gruß
Chris