PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Suche bei Google.de



Psychopunk
10.06.2008, 22:20
Moin,

Mal eine Frage an die Admins:

Bisher habe ich statt der Suchfunktion ja ganz gerne Google benutzt, um das Forum zu durchsuchen. Geht schneller und kann mehr als die etwas seltsame foreneigene Suchfunktion. Seit ein paar Tagen funktioniert das irgendwie nicht mehr - und ich glaube ich weiss auch warum, ihr habt über die robots.txt den Googlebot ausgeschlossen:

User-agent: Googlebot
Disallow: /

Ist das Absicht? Ich meine, ihr verdient ja auch nicht schlecht an den Google-Anzeigen, da ist ein Ausschluß des Bots ja eher kontraproduktiv???

Edit: Ich sehe es gerade, steht ja in der robots.txt drüber:

# Google-Bilder-Suchroboter aussperren
User-agent: Googlebot
Disallow: /

Kleiner aber gut gemeinter Tipp: Ändert das mal schnell in

# Google-Bilder-Suchroboter aussperren
User-agent: Googlebot-Image
Disallow: /

Dann wird auch wirklich nur die Bildsuche ausgeschlossen und nicht Google komplett...

Philipp Harden
11.06.2008, 12:58
Oooppps, da war ich wohl dran Schuld - da ich mich vor kurzem diesem Robots-Thema
angenommen habe und einmal allen "Bots" verboten hatte, das Forum zu durchforsten.
Ging mir lediglich dabei um "email-adressen" und "Bilder" - damit man dem "Spam" etwas
Einhalt gebietet!

Ich habe es nun dem Google-Bot wieder erlaubt ;)

Müsste also bald wieder funzen.

Gruß PHIL

URi
11.06.2008, 13:58
Etwas OT, aber da sich hier die Leute auszukennen scheinen, kann mir das vielleicht jemand beantworten.
Wenn ich ein Verzeichnis mit .htaccess geschützt habe, muss ich dann trotzdem die Bots ausschließen, oder kommen die da sowieso nicht dran?
Ist vielleicht eine bisserl blöde Frage für die Experten... :o

Nico Gal
11.06.2008, 14:38
Hi,

also nach meinem Verständniss dürfte da keiner Zugriff haben der nicht den richtigen Usernamen und das richtige Passwort eingibt.

Von daher sage ich, das wenn du eine Seite mit .htaccess geschützt hast keiner dran kommt, auch kein robot. Somit brauchst du das nicht extra in der robots.txt festhalten.

Gruß
Nico

Cocker68
11.06.2008, 15:52
Wenn ich ein Verzeichnis mit .htaccess geschützt habe, muss ich dann trotzdem die Bots ausschließen, oder kommen die da sowieso nicht dran?
Von daher sage ich, das wenn du eine Seite mit .htaccess geschützt hast keiner dran kommt, auch kein robot. Somit brauchst du das nicht extra in der robots.txt festhalten.
Exakt. Bots verhalten sich wie normale, klickende Benutzer und versuchen nicht, sich zu authentisieren.

Freilich gibt es aber Hacker-Bots, die das per brute Force probieren. Daher: Gute Passwörter wählen :-)

- Cocker :wq

URi
12.06.2008, 10:02
Danke schön. Also so, wie ich es mir auch dachte.



Freilich gibt es aber Hacker-Bots, die das per brute Force probieren.


Die wird dann aber auch kein Disallow abhalten :D