Hallo,
nachdem sich Unmengen an threads damit befassen, wie man bestmöglich gefunden wird, brauche ich das Gegenteil.
Suchmaschinen sollen nichts davon listen.
Ich habe nun schon der Startseite einen kryptischen Namen gegeben.
Weiterhin eine wegführende index.htm erstellt.
Den Eintrag gesetzt meta name="robots" content="noindex,nofollow">
Und außerdem eine robots.txt gesetzt ("disallow).
Bitte nicht über den Sinn diskutieren. Es hat definitiv seinen Sinn.
Und wenn doch ein paar Leute die Seite finden, ists auch nicht schlimm.
Die Site hat sich jetzt schon 4 Wochen erfolgreich versteckt - keine Suchmaschine listet sie.
Es geht nun einzig darum: Kann man noch mehr machen um nicht gefunden zu werden?
(htaccess -Lösung ist nicht gewollt, php auch nicht).
Homepage selbermachen 7.846 Themen, 35.563 Beiträge
Google ist dein kleinstes Problem, die respektieren die robots.txt. Dein Problem sind die unzähligen kleinen Bots, die von überall her auftauchen. Eine schöne Ressource dazu findest du hier: http://www.iplists.com/
Jedoch ist diese Liste natürlich auch nicht vollständig und grad die schlimmsten Bots sind dort natürlich nicht drin. Denk immer dran: Dein Problem sind die schwer fassbaren!
Falls du den Googlebot wirklich noch zusätzlich per htaccess-deny-Regel aussperren willst, wäre das:
deny from googlebot.com
siehe dazu:
http://support.google.com/webmasters/bin/answer.py?hl=en&answer=80553
http://httpd.apache.org/docs/2.2/howto/access.html
Viele Spambots senden übrigens keinen Referrer, du kannst allenfalls per Rewrite-Rule eine entsprechende Sperre einbauen.
http://perishablepress.com/block-spam-by-denying-access-to-no-referrer-requests/
Denk aber dran, dass dann für deine regulären Besucher folgende Bedingungen erfüllt sein müssen:
- du brauchst eine Linkliste, welche auf deine PDF-Dokumente verlinkt
- die Linkliste muss natürlich auch ohne Referrer erreichbar sein
- deine User dürfen nicht die Referrer-Übertragung in ihrem Browser deaktivieren