Wenn Google auf dieses Problem aufmerksam wird, informieren wir die Eigentümer verifizierter Websites möglicherweise über die Webmaster-Tools darüber, dass der Googlebot blockiert wird.
Problemdiagnose bei blockiertem Googlebot
Wenn Sie vermuten oder von uns darüber benachrichtigt wurden, dass der Zugriff des Googlebots auf Ihre Website blockiert sein könnte, überprüfen Sie Folgendes in den Webmaster-Tools:
Crawling-Fehler: Auf dieser Seite werden Fehler aufgeführt, die der Googlebot in letzter Zeit beim Crawlen Ihrer Website festgestellt hat.
Ansicht von Google. Diese Seite ermöglicht es Ihnen, eine bestimmte Webseite von Google crawlen zu lassen und kurz darauf die Ergebnisse anzusehen, einschließlich der eventuell aufgetretenen Fehler.
Weitere Hilfe bei der Diagnose und Behebung derartiger Probleme finden Sie im Forum für Webmaster.
Häufig auftretende Ursachen
Wenn der Googlebot nicht auf Ihre Website zugreifen kann, liegt das wahrscheinlich an einer der folgenden Ursachen.
DNS-Probleme
Bei dem Versuch, auf Ihre Website zuzugreifen, war keine Kommunikation mit dem DNS-Server möglich. Wahrscheinlich ist Ihr DNS-Server nicht erreichbar oder es liegt ein Problem mit dem DNS-Routing zu Ihrer Domain vor.
Um das Problem zu beheben, klären Sie mit Ihrem DNS-Provider, ob der Googlebot möglicherweise versehentlich blockiert wird.
In bestimmten Fällen kann der Googlebot eine Website nicht crawlen, weil die Firewall oder das DoS-Schutzsystem falsch konfiguriert wurde. Manchmal geht der Fehler auch vom Content Management-System der Website aus. Schutzsysteme sind ein wichtiger Bestandteil von gutem Hosting und werden häufig so konfiguriert, dass ein ungewöhnlich hohes Aufkommen an Serveranfragen automatisch blockiert wird. Da der Googlebot häufig mehr Anfragen als ein gewöhnlicher Nutzer stellt, kann es passieren, dass er die Schutzsysteme auslöst, dann blockiert wird und Ihre Website nicht mehr crawlen kann.
Um ein solches Problem zu beheben, finden Sie heraus, welcher Teil Ihrer Website-Infrastruktur den Googlebot blockiert, und beseitigen Sie die Blockade. Möglicherweise haben Sie keinen Einfluss auf die Firewall-Einstellungen. Wenden Sie sich in dem Fall an Ihren Hostanbieter.
Absichtliches Blockieren durch den Webmaster
Einige Webmaster verhindern absichtlich, dass der Googlebot ihre Websites erreicht, zum Beispiel durch eine Firewall. Meist steht dahinter nicht das Ziel, den Googlebot völlig zu blockieren, sondern zu steuern, wie die Website gecrawlt und indexiert wird. Überprüfen Sie in dem Fall Folgendes:
Wenn Sie steuern möchten, wie der Googlebot Ihre Inhalte crawlt, informieren Sie sich in unserer detaillierten Hilfe über das Protokoll zum Ausschluss von Robots. Dort wird auch beschrieben, wie Sie die robots.txt-Datei einsetzen und die URL-Parameter konfigurieren.
Wenn Sie Bedenken haben, dass ein Rogue Bot den Googlebot-User-Agent verwenden könnte, bieten wir eine Möglichkeit, um zu verifizieren, ob ein Crawler tatsächlich der Googlebot ist.
Wenn Sie die Häufigkeit des Googlebot-Crawlings für Ihre Website ändern möchten, können Sie Ihre Website in den Webmaster-Tools verifizieren und die Crawling-Frequenz des Googlebot ändern. Hostanbieter können außerdem die Inhaberschaft ihrer IP-Adressen verifizieren.
Weitere Hilfe bei der Diagnose und Behebung solcher Probleme finden Sie im Forum für Webmaster.
Wie hilfreich ist dieser Artikel:Das Feedback wurde aufgezeichnet. Vielen Dank!Überhaupt nicht hilfreichNicht sehr hilfreichEinigermaßen hilfreichHilfreichSehr hilfreich Nachrichten und Website überwachenWann werden Webmaster-Tools-Daten angezeigt?Über unsere Statistiken und DatenGoogle-Indexstatus prüfenLeistung Ihrer Website bei der Suche prüfenSicherstellen, dass Googlebot nicht blockiert wirdAnträge auf erneute ÜberprüfungSeitentitel und Snippets überprüfenStatus Ihrer Website überwachenVerhindern einer Malware-Infektion © 2015 Google Datenschutzbestimmungen Nutzungsbedingungen Bahasa Indonesia‎dansk‎Deutsch‎English‎español‎français‎italiano‎magyar‎Nederlands‎polski‎português (Brasil)‎suomi‎svenska‎Türkçe‎čeština‎русский‎עברית‏العربية‏ไทย‎中文（简体中文）‎中文（繁體）‎日本語‎한국어‎