Homepage selbermachen 7.846 Themen, 35.563 Beiträge

Verfolgung starten Optionen

Der Googlebot wird durch robots.txt blockiert

mudsharkz / 7 Antworten / Flachansicht Nickles

Ich habe meine webseite mobilgeräte tauglich gemacht und folgende robots.txt:

User-agent: Googlebot
Allow: .js
Allow: .css

und dann mit der google Testseite getestet:

https://search.google.com/search-console/mobile-friendly?utm_source=mft&utm_medium=redirect&utm_campaign=mft-redirect&hl=de

Ich erhalte dann nachfolgende Meldung:

Frage: Stimmt meine robots.txt oder dauert das noch bis google die neue robots.txt erkennt ? ich hab sie vor knapp 20 Stunden erstellt.

Die fragliche Zeile die hier beanstandet wird ist die einblendung für Google Werbung

das hier ist die fehlermeldung:

Eine Seitenressource konnte nicht geladen werden

Ressource Typ Status
https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js Skript Der Googlebot wird durch robots.txt blockiert
bei Antwort benachrichtigen
Servus, das dürfte ein Logikfehler sein - du erlaubst hier ja nur für den Bot mit dem namen Googlebot die Indizierung von ... Bergi2002
???? Und wie muss meine robots.txt dann sein damit google nicht mosert ? mudsharkz
Servus das kommt ein bisschen darauf an, was du genau willst - wenn es nur darum geht, dass Google sich die Seite anschauen ... Bergi2002
genau das hab ich doch getan ich hab doch die gewissen verzeichniss eingetragen in die robot.txt, und trotzdem mosert er ... mudsharkz
Ok, verstanden, dann bin ich ab jetzt leider raus... BG, Bergi2002 Bergi2002
Hallo! Es kann schon mal ein paar Tage bis Wochen dauern bis Google mal wieder etwas anzeigt. Gruß, René mumpel1
QP-Soldier mumpel1 „Hallo! Es kann schon mal ein paar Tage bis Wochen dauern bis Google mal wieder etwas anzeigt. Gruß, René“
Optionen

Hallo mudsharkz,

ich hoffe, ich kann helfen. Zunächst mal muss ich Bergi2002 zustimmen, sofern du nichts von deiner Website verbergen möchtest, solltest du die Robots.txt nicht nutzen. Die Robot.txt ist nur dazu da um Bereich für die Suchmaschinen zu blockieren. Hier ist noch ein Artikel, der das genauer erklärt: https://hosting.1und1.de/digitalguide/hosting/hosting-technik/indexierungsmanagement-mit-der-robotstxt/

Folgendes sagt der Artikel auch:

„Zu beachten ist, dass die robots.txt von Suchmaschinen lediglich als Richtlinie verstanden wird. Erzwingen lässt sich ein bestimmtes Crawling-Verhalten durch Angaben in der robots.txt nicht.“

Natürlich kannst du ALLOW-Befehle geben, aber das bringt leider nichts, da google von NAtur aus davon ausgeht, dass es die URL crawlen darf. Indem du deine Website bei google anmeldest, ist deine Arbeit getan. Ab dann heißt es warten bis der Crawler kommt. Was mich zum nächsten Punkt führt, manchmal kann es Ewigkeiten dauert bis der Crawler kommt. Glaub mir, ich habe auch schon die ein oder andere Seite aufgezogen und weiß, wie das ist, jeden Tag zu checken, ob die Seite denn endlich bei google angezeigt wird. Geduld ist hier die Devise.

Dein Post ist von Mitte Mai also hoffe ich, dass sich das Problem bereits geklärt hat. Falls nicht, sag uns doch bitte, wie deine Website heißt, dann kann man genauer nachhaken, ob vielleicht technisch irgendetwas schief läuft.

Gruß, QP

bei Antwort benachrichtigen