Das Mysterium Googlebot – kann ich ihn kontrollieren?

Im nächsten Teil möchten wir etwa mehr über die Möglichkeiten, die der Googlebot, die robot.txt und die sitemaps.xml zur Optimierung bieten, schreiben.

Nach dem wir uns im ersten Teil mit den Grundlagen zur Optimierung von Webseiten befasst haben, möchten wir heute ein bisschen tiefer in die Thematik um Googlebot, robots.txt und xml sitemaps eintauchen.

Zuerst möchte ich mich dem Googlebot zuwenden und auf die Frage eingehen, ob es eine Möglichkeit gibt um ihn zu kontrollieren bzw. zu beeinflussen?

Und ja, es gibt definitiv einige Möglichkeiten um den Googlebot zu kontrollieren. Die einfachste und erste Anlaufstelle ist:

  • Verwende eine robots.txt in der der für den Googlebot zugängliche und indexierbare Inhalt detailliert beschrieben ist.
  • Eine andere Möglichkeit ist es, für den Googlebot Instruktionen in den Metadaten deiner Webseite und / oder im Header zu hinterlegen.
  • Sitemaps dienen auch dazu, es dem Googlebot einfach zu machen deine Seite korrekt zu erfassen
  • Und zu guter Letzt gibt es durch die Verwendung der Google Search Konsole einige Möglichkeiten.

Im Folgenden möchte ich auf die einzelnen Punkte eingehen.

DEN GOOGLEBOT KONTROLLIEREN?

Aber sicher: Er befolgt genau die in der robots.txt hinterlegten Regeln zum Durchsuchen deiner Webseite.

Anbei weitere Möglichkeiten den Googlebot zu kontrollieren:

  • Schreibe Anweisungen für den Bot in die Metadaten deiner Webseite
  • Hinterlegte Anweisungen für den Bot im Header Deiner Seite
  • Erstelle eine Sitemap deiner Seite
  • Nutze die Google Search Konsole

Am häufigsten wird die robots.txt file genutzt um dem Googlebot Informationen zukommen zu lassen.

Daher die nächste Frage: was ist eine robots.txt File eigentlich genau?

Die robots.txt File gibt vor, wie Suchmaschinen durch ihre Bots mit deiner Webseite interagieren. Die robots.txt File gibt so zu sagen die Regeln vor. Das geschieht in Form einer Auflistung von Seiten und Inhalten, die der Bot durchsuchen soll und die sich in der robots.txt befindet.

Häufig wird die robots.txt File bei der Erstellung eines Blogs und / oder Webseite automatisch mit angelegt. Normalerweise reichen die dort standardmäßig hinterlegten Daten auch als Einstellung aus. Solltest du aber mehr über die robots.txt File wissen wollen, empfehlen wir dir die Google Webseiten zu diesem Thema – natürlich auf Deutsch.

Informationenrobots.txt file

Spezifikationen: robots.txt Spezifikationen

Weitere Spezifikationen: Robots-Meta-Tags und X-Robots-Tag-http-Header

Sitemaps und Googlebots

Ganz generell gesprochen sind die Sitemaps Landkarten deiner Webseite, d.h. der Googlebot (und auch andere Suchmaschinen Bots) erfährt aus der Sitemap wie deine Seite aufgebaut ist und unterstützt den Bot dabei die Webseite möglichst gut zu verstehen. Die Sitemap ist besonders sinnvoll wenn:

  • Sehr große Webseiten vorliegen
  • Deine Seite über große Archive mit Inhalten verfügt die vielleicht nicht mehr optimal verlinkt sind
  • Deine Seite neu ist und nur wenige Weblinks auf sie verweisen
  • Auf deiner Seite „rich media content“ gezeigt wird, diese in Google News angezeigt werden soll oder wenn du Anmerkungen in der Webseite nutzt die allerdings dann Sitempas kompatibel sein müssen

Mit Sitemaps können viele weitere Punkte genutzt werden, aber im Bezug auf den Googlebot, dient die Sitemap nur als Auflistung von URLs und andere Daten, die ihm an die Hand gegeben werden während er die Seite scannt.

Google hat eine sehr gute Beschreibung online wie Sitemaps erstellt und eingereicht werden können.

Googlebot und die Google Search Konsole

In der Google Search Konsole kannst Du auch bestimmte Einstellungen vornehmen. So kannst Du in der Google Search Konsole die Häufigkeit mit der der Googlebot deine Webseite durchsucht kannst Du die Häufigkeit in der Search Konsole z.B. einstellen.

In der Google Hilfe wird das schrittweise Vorgehen detailliert beschrieben.

Daneben kannst Du in der Search Konsole auch sehen welche Daten der Googlebot in deiner rotobts.txt findet, Fehler bei Durchsuchen der WebSeite anzeigen lassen und ganz generell ein Verständnis entwickeln wie Google Deine Webseite sieht.

Wie viele Googlebots gibt es eigentlich?

Es gibt in Summe 9 unterschiedliche Google webcrawlers. Da nicht alle für uns relevant sind anbei nur eine kurze Auflistung:

Google:

  • Smartphone
  • Mobile (Feature phone)
  • Web Search
  • Adsense
  • Mobile Adsense
  • Adsbot (landing page quality check)

Googlebot:

  • Images
  • Video
  • News

Eine Übersicht und detaillierte Erklärung zu den einzelnen Bots findest Du bei Google!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.