Das Mysterium Googlebot – zu klärende Fragen!

Der Googlebot ist der Weg wie Google seinen Index pflegt. Es ist daher wichtig, dass ich mir als Webmaster einer Seite folgende Fragen stelle und beantworte:

Kann der Googlebot:

  1. alle meine Webseiten erfassen?
  2. auf meinen kompletten Content und die Links zugreifen?
  3. auch alle meine Seiteninhalte erkennen?

Es lohnt sich das ein bisschen genauer unter die Lupe zu nehmen:

1. Kann der Googlebot alle meine Webseiten erfassen?

Um eine Vorstellung zu bekommen was Google von deiner Webseite sieht und erfasst genügt eine einfache Google Suche:

Googlebot

Durch das voranstellen von „site:“ vor deiner Domain, stößt du die Suche nach den Inhalten an, welche Google von deiner Domain indiziert hat. Optimaler Weise enthält die Anfrage kein Leerzeichen zwischen „site:“ und deiner Domain.

Das angezeigte Ergebnis ist das was Google von deiner Seite erfasst. Ist es weniger als erwartet solltest du überprüfen, ob du z.B. den Googlebot in robot.txt (dazu kommen wir im 2. Teil im Detail) blockst und ob Google tatsächlich Zugriff auf deine Ressourcen hat.

2. Kann ER auf allen meinen kompletten Content und die Links zugreifen?

Der nächste Schritt ist es sicherzustellen, dass Google deine Inhalte und Links korrekt erfassen kann. Unterliegt bitte nicht dem fehlglauben, dass nur weil der Googlebot deine Seite erfassen kann, Google tatsächlich das optimale Bild von deiner Seite hat.

Die Vorgehensweise des Googlebots ist dabei die, dass nicht die ganze Webseite im Ganzen erfasst wird, sondern nur die einzelnen Inhalte der Seite, wie z.B den HTML und CSS Code. Wenn nun einzelne Inhalte nicht zugänglich sind, werden diese nicht erfasst. D.h. da er Webseiten nicht wie ein Mensch sieht, kann er z.B. keine Bilder erkennen sondern nur den Code, der das Bild beschreibt. Wenn z.B. der Code des Bildes für den Googlebot nicht zugänglich ist, erhält Google kein vollständiges Bild von deiner Webseite. Die Informationen werden also auch nicht im Index von Google erscheinen.

Nun gibt es viele verschiedene Gründe, warum der Googlebot bestimmte Webseiten Inhalte nicht indexieren kann. Hier einige Beispiele von häufigen Gründen:

  • Robots.txt verweigert Zugang zu bestimmten Inhalten
  • Seitenlinks sind nicht erreichbar oder fehlerhaft
  • Wenn z.B. zu viele Flash-Komponenten (oder andere Technologien) eingesetzt werden, mit denen der Googlebot Probleme hat
  • Schlechte Qualität des HTML Code oder Fehler im Code

Am einfachsten lassen sich die Punkte im Google Webmaster Tool überprüfen, es gibt aber auch andere Tools die das prüfen können.

3. Kann ER auch alle meine Seiteninhalte erkennen?

Solltest Du CSS oder JavaScript auf deiner Seite verwenden die durch deine robot.txt File blockiert werden, kann das bei Google „Verwirrungen“ hinsichtlich des Inhalts deiner Seite hervorrufen. Die „Verwirrungen“ können dabei sehr viel größer sein als z.B. nur ein Bild nicht mit zu indizieren. Im schlimmsten Fall kann es dazu führen, dass deine Webseite mit falschen Angaben indiziert wird oder das bestimmte Möglichkeiten, wie z.B. dass eine für Mobile Device optimierte Seite, nicht von Google wahrgenommen werden kann.

Nutzt Du z.B. CSS oder JavaScript zur Festlegung, von welchem Device aus die Seite betrachtet wird und der CSS oder JavaScript Code ist für den er nicht zugänglich, kann es sein, dass der Googlebot die Inhalte deiner Seite erfassen, aber nicht feststellen kann, dass die Seite auch für mobile Device optimiert dargestellt werden kann. Auch das lässt sich mit einem einfach Tool wie z.B. dem kostenlosen Google Guideline Tool überprüfen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *