Homepage selbermachen 7.852 Themen, 35.619 Beiträge

Verfolgung starten Optionen

ROBOT.TXT & SUCHMASCHINEN

doppelstern4 / 4 Antworten / Baumansicht Nickles

Hi!
Ich habe 3 Fragen:
1. Einige meiner HP-Unterseiten sollen nicht von Suchmaschinen erfasst werden, desshalb habe ich eine robot.txt-Datei in mein Basisvezeichnis abgelegt.
Dummerweise aber erst, NACHDEM sie bereits von den Suchmaschinen erfasst wurden. Meine Frage nun: Werden die nun gesperrten Seiten beim nächsten Robot-Besuch aus dem Suchmaschinenverzeichnissen gelöscht oder nicht?

2. Hier geht es um meine alte HP, welche immernoch von den Suchmaschinen angezeigt wird, obwohl ich den Account schon vor Wochen gelöscht habe. Erkennen die Suchmachinen selbstständig, das es diese Seite nicht mehr gibt und wird der Eintrag dann automatisch gelöscht?

3. Ich habe den Dateinamen einer meiner HP-Unterseiten geändert.
Von den Suchmaschinen wird diese alte Datei aber immernoch angezeigt, was natürlich die Meldung: "Seite nicht gefunden" verursacht.
Um dies zu vermeiden, habe ich eine "Umlenkdatei" eingerichtet die auf
den neuen Dateinamen verweist und ausserdem zusätzlich den alten Dateinamen mittels robot.txt sperren lassen.
Meine Frage hierzu: Kann ich damit rechnen, das diese alte Datei nun bald aus dem Suchmachinenverzeichnis verschwindet?

Gruss, Klaus :-)

bei Antwort benachrichtigen
Heinz_Malcher doppelstern4 „ROBOT.TXT & SUCHMASCHINEN“
Optionen

verbindlich verbieten kannst du das nur, wenn du bereiche passwortschützt,
denn dann können suchmasch. nix damit anfangen.

deine seiten werden bei einigen suchmaschinen rausgeschmissen, bei einigen icht,
google.de hat z.b. einige seiten meiner alten längst nicht mehr im netzt stehenden
site immernoch erfasst. wahrscheinlich auch deshalb weil ich eine eigene
404 error site hab,die autom. auf die startseite meiner neuen page umleitet (PHP)
und da das serverseitig passiert, merkt die suchm. wahrscheinlich garnicht dass längst nicht mehr vorhanden ist.


einige lassen sie auch drinnen weil sie entweder keinen gescheiten update
mechanismus haben oder sich nicht drum kümmern etc etc

das beste ist, eine eigene error site zu definieren die autom. auf die startseite
etc deiner aktuellen umleitet das ist allerdings nur möglich, wenn dein provider
das zulässt


viele suchm. gehen nicht mehr nach den METAs oder robot.txt sondern nach dem direkten
seiteninhalt, und erfassen dann diesen als info, da metas doch zu oft missbraucht wurden, um
die seite in kategorien zu treiben, die garnichts damit zu tun haben

bei Antwort benachrichtigen
HADU doppelstern4 „ROBOT.TXT & SUCHMASCHINEN“
Optionen

Hallo Klaus,
das hängt alles schwer von der Suchmaschine ab. Da kann man keine generelle Aussage machen. Und die Suchmaschinenbetreiber lassen sich leider auch nicht in die Karten schauen - oder zumindest nur sehr wenig.
zu 1. nicht alle Suchmaschinen halten sich an die robot.txt
zu 2. früher oder später schon - teilweise sehr viel später...
zu 3. zusätzlich solltest Du noch folgenden meta tag einfügen: <META NAME="ROBOTS" CONTENT="NOINDEX">
Ansonsten siehe 2.

Gruß HADU

bei Antwort benachrichtigen
J-G-W doppelstern4 „ROBOT.TXT & SUCHMASCHINEN“
Optionen

I.d.R. sucht die Suchmaschine die alten Einträge ab, ob diese noch vorhanden sind. Wenn ja ist diese glücklich, wenn nein werden sie (siehe hadu) irgend wann meistens gelöscht, aber das kannn dauern...
Wenn Du aber so klever wie HM bist und für die nicht mehr vorhandene Seite eine neue seite anlegst, dann findet die Suchmaschine ja noch etwas! Verlang bitte nicht, das die dann auch noch den Inhalt beurteilt und versteht, dieser Eintrag gilt nicht!
Und die Robot.txt wird dann meistens nicht beachtet, da der Eintrag ja schon vorhanden ist. Also, nachher ist immer zu spät, nach dem Sex zwei Kondome überziehen schützt weder vor Aids, noch vor Kindern!

Aber es gibt eine Lösung, und wenn Du die Links nicht so www.seite.de/sparte/Oma-Bilder.html sondern nur so /sparte/Oma-Bilder.html gesetzt hast, dann verschiebe einfach alles in einen Unterordner und lege auf der Nullebene eine neue Index.html an. Die kann entweder nur sofort weiterleiten oder eine speziell für Suchmaschinen optimierte Startseite (mit unsichtbaren Texten etc.) sein. Dann hilft auch eine neue Robot.txt weiter, aber nur wenn Du die zuerst installierst!
Machst Du dann nichts weiter, verschwinden die alten seiten aus den Suchmaschinen im laufen von vielen Wochen und Monaten, wenn Du aber dort Links zu Deiner (neuen) Startseite setzt, bleiben sie immer erhalten, da es die Seite für die Suchmaschine noch immer gibt.

bei Antwort benachrichtigen
doppelstern4 J-G-W „I.d.R. sucht die Suchmaschine die alten Einträge ab, ob diese noch vorhanden...“
Optionen

Danke allen, für die Tipps :-)
Blöd nur, das es immer sooooo viele Wochen dauern kann bis man merkt ob eine Änderung im Quelltext udgl. auch eine Änderung bei den Suchmaschinen bewirgt hat oder nicht - LOL.
Auch über diese Thema scheinen die Meinungen u. Erfahrungen wohl auch
zu differenzieren. Kein Wunder aber auch, bei so vielen Suchmaschinen.

So weit ich das sehe, hab ich derzeit das Beste getan um die Problematik zu lösen. Bleibt also erteinmal abzuwarten, was passiert! *grins
Gruss, doppelstern**

bei Antwort benachrichtigen