hallo,
wird die datei robots.txt auch dazu verwendet, um spamcrawler nicht auf gewisse seiten zu führen?
gewissermassen als eine schutzmassnahme ?
Viren, Spyware, Datenschutz 11.258 Themen, 94.807 Beiträge
ChrE 
ghartl1 „robots.txt..verständnisfrage“
Hallo!
Naja, die guten Scanner halten sich dran.
Den bösen ist das so was von egal.
Die zieht das eher an.
Ein Schutz ist das nicht. http://de.wikipedia.org/wiki/Robots.txt
Gruss
ChrE
Max Payne ghartl1 „robots.txt..verständnisfrage“
Ich kann mir nicht vorstellen, dass ein Spamcrawler sich um das schert, was in der robots.txt steht.
Das ist in etwa so zuverlässig wie der "keine Werbung"-Aufkleber am Briefkasten...
asterix5 ghartl1 „robots.txt..verständnisfrage“
Das kannst Du über Einträge in der .htaccess lösen nach folgendem Schema:
order deny,allow
deny from 123.45.67.890
deny from weitere-ip
deny from weitere-ip
Borlander asterix5 „Das kannst Du über Einträge in der .htaccess lösen nach folgendem Schema:...“
123.45.67.890
Ist das die "IP-Adresse" von DEM Spam-Crawler? ;-)
Über eine IP-Sperre wirst Du kaum solche Besucher aussperren können...
Ist das die "IP-Adresse" von DEM Spam-Crawler? ;-)
Über eine IP-Sperre wirst Du kaum solche Besucher aussperren können...
asterix5 Borlander „ Ist das die IP-Adresse von DEM Spam-Crawler? - Über eine IP-Sperre wirst Du...“
Ich selbst hab's nicht getestet, hatte bisher auch keine Veranlassung dazu. Jedenfalls wird diese Vorgehensweise über die .htaccess in SEO-Foren empfohlen.
Der Versuch, solche Leute über die robots.txt auszusperren, ist mit Sicherheit der falsche Weg, weil die Einhaltung des robots.txt-Standards auf Freiwilligkeit beruht.
Die gewählte Nummer 123.45.67.890 sollte nur deutlich machen, wie eine IP-Adresse aufgebaut ist. Eine Übereinstimmung mit einer tatsächlich vorhandenen Nummer wäre rein zufällig und von mir nicht beabsichtigt.
Eine Auflistung von tatsächlichen Nummern und ihre Zuordnung gibt's in jedem guten SEO-Forum.
Borlander asterix5 „Ich selbst hab s nicht getestet, hatte bisher auch keine Veranlassung dazu....“
123.45.67.890 [...] Eine Übereinstimmung mit einer tatsächlich vorhandenen Nummer wäre rein zufällig
Nicht zufällig, sondern ausgeschlossen. Ist keine gültige IP ;-)
Eine Auflistung von tatsächlichen Nummern und ihre Zuordnung gibt's in jedem guten SEO-Forum.
Ich bezweifele nachdrücklich, daß eine IP-Sperre gegen Spammer hilft. Vor allem auch Angesichts der Nutzung von Botnetzen...
Gruß
Borlander
Nicht zufällig, sondern ausgeschlossen. Ist keine gültige IP ;-)
Eine Auflistung von tatsächlichen Nummern und ihre Zuordnung gibt's in jedem guten SEO-Forum.
Ich bezweifele nachdrücklich, daß eine IP-Sperre gegen Spammer hilft. Vor allem auch Angesichts der Nutzung von Botnetzen...
Gruß
Borlander
asterix5 Borlander „ Nicht zufällig, sondern ausgeschlossen. Ist keine gültige IP - Ich bezweifele...“
Und welche Maßnahme schlägst Du vor?
Borlander asterix5 „Und welche Maßnahme schlägst Du vor? “
Keine regulären eMail-Adressen auf Webseiten angeben, sondern nur solche die man bei aufkommendem Spam schadlos ersetzen kann. Ich nutze dazu z.B. einfach die Jahreszahl als Postfix. Diese Adressen dienen dann nur als Zusätzlicher Alias. Antworten erfolgen über die reguläre Adresse. Die Methode läuft ohne JS und ohne das der User die Adresse noch bearbeiten müsste :-)
asterix5 Borlander „Keine regulären eMail-Adressen auf Webseiten angeben, sondern nur solche die...“
Meine Frage Und welche Maßnahme schlägst Du vor? war wohl zu kurz.
Ich wollte eigentlich wissen, welche Maßnahme Du vorschlägst, um spamcrawler nicht auf gewisse seiten zu führen ( ghartl1 ), wenn die robots.txt von vornherein ausscheidet, und wenn Du eine IP-Sperre in der .htaccess für ungeeignet hältst.
Borlander asterix5 „Meine Frage war wohl zu kurz. Ich wollte eigentlich wissen, welche Maßnahme Du...“
Es gibt keine Maßnahmen mit der Du das zuverlässig ausschließen könntest, ohne auch normale User auszusperren!
asterix5 Borlander „Es gibt keine Maßnahmen mit der Du das zuverlässig ausschließen könntest,...“
In Jörgs Forum gibt's gerade eine Diskussion zum Thema:
http://forum.joergkrusesweb.de/ipsperre-sinnvoll-t-3295-1.html
Immer noch einer der Klassiker:
http://board.ranking-konzept.de/topic,3781.html
