• Praxistipp: Kennzeichnung von Sponsored Posts – Was bedeutet eigentlich die von t5 content geforderte Linkkennzeichnung „rel=nofollow“?

    Jeder unserer Aufträge verlangt die Kennzeichnung der Beiträge, völlig egal ob es sich dabei um einen Blogpost oder ein Video handelt. Die Hintergründe sind dabei vielfältig und wir wissen auch, dass immer wieder Fragen aufkommen warum das so ist. Heute möchten wir, in Ergänzung zu unseren bisherigen Posts, zu diesem Thema noch einmal etwas tiefer in die Bedeutung von der immer für Links in Beiträgen geforderten Kennzeichnung „rel=nofollow“ und die Bedeutung eingehen.

    Was bedeutet eigentlich rel=nofollow?
    • Einen Link auf rel=nofollow zu setzen, bedeutet das eine Suchmaschine dem Link nicht folgen soll
    • Es zeigt auf, dass der Link keine zu verfolgende Beziehung mit der Zielseite hat, z.B. im Sinn das der Content von 3. stammt oder Werbung beinhaltet
    • Die Bezeichnung wird auch bei kommerziellen, sponsored posts verwendet – hierzu besteht in Deutschland sogar eine gesetzliche Kennzeichnungspflicht
    • rel (von Relationship) bezeichnet dabei die Beziehung zur Zielseite

    Einfach beispielhafte Verwendung im html code:

    <a href=“Beispiel.de“ rel=“nofollow“>link text</a>

    Das Beispiel bedeutet folgendes:

    • Hier ist ein Link zur Webseite Beispiel.de
    • Wenn du eine Suchmaschine bist, bewerte den Link nicht hinsichtlich meiner Linkpopularität, da ich nicht der Urheber der Zielseite bin.
    Wo wird der Code eingesetzt?

    Da rel=nofollow eine linkspezifische Anweisung ist, steht die Anweisung im HTML Code des jeweiligen Link.

    Vor der Einführung des Attributs rel=nofollow, konnten nur generisch alle Links einer Webseite als follow oder nofollow gekennzeichnet werden. Mit rel=nofollow kann jeder einzelne Link einer Webseite gekennzeichnet werden.

    Ziel der Verwendung

    Der Hauptgrund für die Verwendung der Kennzeichnung von Links als rel=nofollow ist der Versuch das SPAM Aufkommen zu kontrollieren und bezahlte Links zu kennzeichnen.

    • 2004: Suchmaschienen führen das Attribut zur SPAM Kennzeichnung ein
    • 2005: Empfehlung von Google bezahlte Links entsprechend zu kennzeichnen
    • 2016: Fester Bestandteil der Google Webmaster Guidelines

    In den meisten Fällen wir die Kennzeichnung aber eingesetzt, um möglichen Abwertungen durch die Suchmaschinen zu entgehen.

    Kennzeichnung Sponsored Posts

    Wann sollte rel=nofollow auf alle Fälle zur Link Kennzeichnung genutzt werden?

    Es gibt 4 Hauptszenarien in denen es sich absolut empfiehlt die Links als rel=nofollow zu setzen.

    1. Wenn der Link auf nicht vertrauenswürdigen Content verweist
    2. Bei bezahlten Links
    3. Zur Festlegung wie Suchmaschinen Bots die die Seite durchsuchen
    4. Um sich vor Abwertungen durch Google, etc. zu schützen
    1.Nicht vertrauenswürdiger Content

    Es gibt viele Situationen, bei denen man nicht die volle Kontrolle über die Veröffentlichungen auf der eigenen Seite hat, wie zum Beispiel bei:

    • Blog Kommentaren
    • Diskussionen im Forum
    • Social Media Widgets

    In den aufgeführten Szenarien ist es mehr als empfehlenswert sicherzustellen, dass die Links alle mit rel=nofollow gekennzeichnet sind. Wer die Links nicht entsprechend kennzeichnet, spricht im Prinzip eine Einladung an Spamer aus und riskiert damit das mühsam erarbeitete Suchmaschinen-Ranking.

    2. Bezahlte Links

    Google ist mittlerweile dazu übergegangen Seiten abzustufen, die auf Bezahllinks verweisen und diese nicht als rel=nofollow kennzeichnen.

    Wenn du die folgenden Arten an Links auf deiner Seite hast, solltest du diese auf alle Fälle als rel=nofollow kennzeichnen.

    • Bezahlte Links
    • Affiliate Links
    • Anzeigen im Allgemeinen
    • Links die auf Pressemitteilungen auf anderen Seiten verweisen oder auf Texte die in ihrer Aufmachung diesen ähnlich sind

    Hierzu gibt es in den Google Webmaster Guidelines ausführlichere Infos.

    3. Vorgaben / Priorisierung wie Suchmaschinen die Webseiten durchsuchen

    Jeder Suchmaschinen Bot (auch der Googlebot) interagiert mit deiner Webseite – durch die Verwendung von rel=nofollow Links kann man diese Arbeit priorisieren.

    Es gibt Szenarien in denen es Beschränkungen gibt, wie viele Webseiten ein Crawler (Bot) aktiv durchsucht oder welche in denen es Sinn macht den Crawler direkt auf die „wichtigen“ Seiten zu lenken.

    Ein sehr stark vereinfachtes Beispiel zur Erklärung:

    Deine Webseite hat 100 Seiten, aber 90 davon sind für das Google Ranking uninteressant, da es sich um (für Google Inhaltsleere) Seiten wie Log In, Suchergebnisseiten, etc. handelt. In diesem Fall möchtest du auf alle Fälle, dass der Bot die übrigen 10 Seiten crawled und die „wichtigen“ Informationen erfasst.

    Wenn du nun die Links zu den 90 uninteressanten Seiten als rel=nofollow kennzeichnest, dann wird der Bot diese nicht durchsuchen und sich auf die verblieben 10 konzentrieren. Das priorisiert für die Bots diese 10 Seiten und damit den „wichtigen“ Content darauf!

    Das Szenario ist in der Tat ein bisschen weit hergeholt und spielt häufig keine große Rolle, es kann aber Umstände geben, gerade mit Bots die nicht so gut bekannt sind wie der von Google, in dem das durchaus eine Rolle spielen kann.

    4. Schutz vor Abwertung in den Suchmaschinenergebnissen

    Wahrscheinlich ist für viele der Hauptgrund rel=nofollow zu nutzen, um sich vor möglichen Abwertungen in den Suchergebnissen zu schützen. Dabei gibt es eine Reihe von Fällen wo diese Abhängigkeit direkt besteht, z.B. um einige (nicht alle) zu nennen in folgenden Fällen:

    • Bezahlte Links werde nicht mit rel=nofollow gekennzeichnet? – Das Ranking deiner Seite wird durch Google heruntergesetzt.
    • Nicht Kennzeichnung von fragwürdigen Links mit rel=nofollow? – Das Ranking deiner Seite könnte durch Google heruntergesetzt werden.
    • Verlinkung zu Pressemitteilungen werden nicht mit rel=nofollow gekennzeichnet? – Das Ranking deiner Seite könnte durch Google heruntergesetzt werden.

    Zusammenfassend kann man sagen, dass rel=nofollow ein Spamschutz ist – funktional. In der menschlichen Wahrnehmung ist es aber auch ein Schutz vor Herabstufung in Suchmaschinenergebnissen. Das führt dazu, dass es im Zweifel – und in Deutschland in allen sponsored posts, etc. – immer das richtige ist, den Link als rel=nofollow zu setzen. Lieber einen Link zu viel auf nofollow setzen, als ein unnötiges Risiko einzugehen.

  • Das Mysterium Googlebot – kann ich ihn kontrollieren?

    Im nächsten Teil möchten wir etwa mehr über die Möglichkeiten, die der Googlebot, die robot.txt und die sitemaps.xml zur Optimierung bieten, schreiben.

    Nach dem wir uns im ersten Teil mit den Grundlagen zur Optimierung von Webseiten befasst haben, möchten wir heute ein bisschen tiefer in die Thematik um Googlebot, robots.txt und xml sitemaps eintauchen.

    Zuerst möchte ich mich dem Googlebot zuwenden und auf die Frage eingehen, ob es eine Möglichkeit gibt um ihn zu kontrollieren bzw. zu beeinflussen?

    Und ja, es gibt definitiv einige Möglichkeiten um den Googlebot zu kontrollieren. Die einfachste und erste Anlaufstelle ist:

    • Verwende eine robots.txt in der der für den Googlebot zugängliche und indexierbare Inhalt detailliert beschrieben ist.
    • Eine andere Möglichkeit ist es, für den Googlebot Instruktionen in den Metadaten deiner Webseite und / oder im Header zu hinterlegen.
    • Sitemaps dienen auch dazu, es dem Googlebot einfach zu machen deine Seite korrekt zu erfassen
    • Und zu guter Letzt gibt es durch die Verwendung der Google Search Konsole einige Möglichkeiten.

    Im Folgenden möchte ich auf die einzelnen Punkte eingehen.

    DEN GOOGLEBOT KONTROLLIEREN?

    Aber sicher: Er befolgt genau die in der robots.txt hinterlegten Regeln zum Durchsuchen deiner Webseite.

    Anbei weitere Möglichkeiten den Googlebot zu kontrollieren:

    • Schreibe Anweisungen für den Bot in die Metadaten deiner Webseite
    • Hinterlegte Anweisungen für den Bot im Header Deiner Seite
    • Erstelle eine Sitemap deiner Seite
    • Nutze die Google Search Konsole

    Am häufigsten wird die robots.txt file genutzt um dem Googlebot Informationen zukommen zu lassen.

    Daher die nächste Frage: was ist eine robots.txt File eigentlich genau?

    Die robots.txt File gibt vor, wie Suchmaschinen durch ihre Bots mit deiner Webseite interagieren. Die robots.txt File gibt so zu sagen die Regeln vor. Das geschieht in Form einer Auflistung von Seiten und Inhalten, die der Bot durchsuchen soll und die sich in der robots.txt befindet.

    Häufig wird die robots.txt File bei der Erstellung eines Blogs und / oder Webseite automatisch mit angelegt. Normalerweise reichen die dort standardmäßig hinterlegten Daten auch als Einstellung aus. Solltest du aber mehr über die robots.txt File wissen wollen, empfehlen wir dir die Google Webseiten zu diesem Thema – natürlich auf Deutsch.

    Informationenrobots.txt file

    Spezifikationen: robots.txt Spezifikationen

    Weitere Spezifikationen: Robots-Meta-Tags und X-Robots-Tag-http-Header

    Sitemaps und Googlebots

    Ganz generell gesprochen sind die Sitemaps Landkarten deiner Webseite, d.h. der Googlebot (und auch andere Suchmaschinen Bots) erfährt aus der Sitemap wie deine Seite aufgebaut ist und unterstützt den Bot dabei die Webseite möglichst gut zu verstehen. Die Sitemap ist besonders sinnvoll wenn:

    • Sehr große Webseiten vorliegen
    • Deine Seite über große Archive mit Inhalten verfügt die vielleicht nicht mehr optimal verlinkt sind
    • Deine Seite neu ist und nur wenige Weblinks auf sie verweisen
    • Auf deiner Seite „rich media content“ gezeigt wird, diese in Google News angezeigt werden soll oder wenn du Anmerkungen in der Webseite nutzt die allerdings dann Sitempas kompatibel sein müssen

    Mit Sitemaps können viele weitere Punkte genutzt werden, aber im Bezug auf den Googlebot, dient die Sitemap nur als Auflistung von URLs und andere Daten, die ihm an die Hand gegeben werden während er die Seite scannt.

    Google hat eine sehr gute Beschreibung online wie Sitemaps erstellt und eingereicht werden können.

    Googlebot und die Google Search Konsole

    In der Google Search Konsole kannst Du auch bestimmte Einstellungen vornehmen. So kannst Du in der Google Search Konsole die Häufigkeit mit der der Googlebot deine Webseite durchsucht kannst Du die Häufigkeit in der Search Konsole z.B. einstellen.

    In der Google Hilfe wird das schrittweise Vorgehen detailliert beschrieben.

    Daneben kannst Du in der Search Konsole auch sehen welche Daten der Googlebot in deiner rotobts.txt findet, Fehler bei Durchsuchen der WebSeite anzeigen lassen und ganz generell ein Verständnis entwickeln wie Google Deine Webseite sieht.

    Wie viele Googlebots gibt es eigentlich?

    Es gibt in Summe 9 unterschiedliche Google webcrawlers. Da nicht alle für uns relevant sind anbei nur eine kurze Auflistung:

    Google:

    • Smartphone
    • Mobile (Feature phone)
    • Web Search
    • Adsense
    • Mobile Adsense
    • Adsbot (landing page quality check)

    Googlebot:

    • Images
    • Video
    • News

    Eine Übersicht und detaillierte Erklärung zu den einzelnen Bots findest Du bei Google!

  • Das Mysterium Googlebot – zu klärende Fragen!

    Der Googlebot ist der Weg wie Google seinen Index pflegt. Es ist daher wichtig, dass ich mir als Webmaster einer Seite folgende Fragen stelle und beantworte:

    Kann der Googlebot:

    1. alle meine Webseiten erfassen?
    2. auf meinen kompletten Content und die Links zugreifen?
    3. auch alle meine Seiteninhalte erkennen?

    Es lohnt sich das ein bisschen genauer unter die Lupe zu nehmen:

    1. Kann der Googlebot alle meine Webseiten erfassen?

    Um eine Vorstellung zu bekommen was Google von deiner Webseite sieht und erfasst genügt eine einfache Google Suche:

    Googlebot

    Durch das voranstellen von „site:“ vor deiner Domain, stößt du die Suche nach den Inhalten an, welche Google von deiner Domain indiziert hat. Optimaler Weise enthält die Anfrage kein Leerzeichen zwischen „site:“ und deiner Domain.

    Das angezeigte Ergebnis ist das was Google von deiner Seite erfasst. Ist es weniger als erwartet solltest du überprüfen, ob du z.B. den Googlebot in robot.txt (dazu kommen wir im 2. Teil im Detail) blockst und ob Google tatsächlich Zugriff auf deine Ressourcen hat.

    2. Kann ER auf allen meinen kompletten Content und die Links zugreifen?

    Der nächste Schritt ist es sicherzustellen, dass Google deine Inhalte und Links korrekt erfassen kann. Unterliegt bitte nicht dem fehlglauben, dass nur weil der Googlebot deine Seite erfassen kann, Google tatsächlich das optimale Bild von deiner Seite hat.

    Die Vorgehensweise des Googlebots ist dabei die, dass nicht die ganze Webseite im Ganzen erfasst wird, sondern nur die einzelnen Inhalte der Seite, wie z.B den HTML und CSS Code. Wenn nun einzelne Inhalte nicht zugänglich sind, werden diese nicht erfasst. D.h. da er Webseiten nicht wie ein Mensch sieht, kann er z.B. keine Bilder erkennen sondern nur den Code, der das Bild beschreibt. Wenn z.B. der Code des Bildes für den Googlebot nicht zugänglich ist, erhält Google kein vollständiges Bild von deiner Webseite. Die Informationen werden also auch nicht im Index von Google erscheinen.

    Nun gibt es viele verschiedene Gründe, warum der Googlebot bestimmte Webseiten Inhalte nicht indexieren kann. Hier einige Beispiele von häufigen Gründen:

    • Robots.txt verweigert Zugang zu bestimmten Inhalten
    • Seitenlinks sind nicht erreichbar oder fehlerhaft
    • Wenn z.B. zu viele Flash-Komponenten (oder andere Technologien) eingesetzt werden, mit denen der Googlebot Probleme hat
    • Schlechte Qualität des HTML Code oder Fehler im Code

    Am einfachsten lassen sich die Punkte im Google Webmaster Tool überprüfen, es gibt aber auch andere Tools die das prüfen können.

    3. Kann ER auch alle meine Seiteninhalte erkennen?

    Solltest Du CSS oder JavaScript auf deiner Seite verwenden die durch deine robot.txt File blockiert werden, kann das bei Google „Verwirrungen“ hinsichtlich des Inhalts deiner Seite hervorrufen. Die „Verwirrungen“ können dabei sehr viel größer sein als z.B. nur ein Bild nicht mit zu indizieren. Im schlimmsten Fall kann es dazu führen, dass deine Webseite mit falschen Angaben indiziert wird oder das bestimmte Möglichkeiten, wie z.B. dass eine für Mobile Device optimierte Seite, nicht von Google wahrgenommen werden kann.

    Nutzt Du z.B. CSS oder JavaScript zur Festlegung, von welchem Device aus die Seite betrachtet wird und der CSS oder JavaScript Code ist für den er nicht zugänglich, kann es sein, dass der Googlebot die Inhalte deiner Seite erfassen, aber nicht feststellen kann, dass die Seite auch für mobile Device optimiert dargestellt werden kann. Auch das lässt sich mit einem einfach Tool wie z.B. dem kostenlosen Google Guideline Tool überprüfen.

  • Das Mysterium Googlebot – Basics

    Wenn es um Sichtbarkeit von Webseiten, Blogs, etc. geht, ist man schnell bei Google und beim Googlebot. Häufigste Frage: auf welcher Seite im Google Ranking tauchst Du auf.

    Um Dir mal einen Einblick zu geben, welche Faktoren hier eine Rolle spielen und was sich genau dahinter verbirgt, haben wir das mal zusammengeschrieben. Wie bei Google üblich, sind nicht alle Details bekannt bzw. werden nicht bekannt gegeben. Jedoch für die Allermeisten bietet der Beitrag sicherlich viel Neues.

    Heute beschäftigen wir uns mit dem sogenannten Googlebot und welche bekannten Punkte zu beachten sind. Wir Verfassen aber immer wieder Artikel die sich mit einzelnen Themen rund um SEO befassen. Themen sind z.B. Linkkennzeichnung, Praxistipps und weitereführende Artikel zu Google.

    Zum Anfang zwei Begriffsdefinitionen:

    Googlebot = ein Webcrawler den Google verwendet um Webseiten zu finden und Informationen über die Seite zu sammeln um den Google Index zu aktualisieren.

    Webcrawler = Webcrawler werden manchmal auch als Bots oder Robots bezeichnet und sind lediglich einige Zeilen Sofwarecode, entwickelt mit dem Ziel Informationen zu sammeln und diese an eine zu definierende Zieladresse zu schicken. Dazu ist der Googlebot ständig unterwegs und besucht Milliarden von Webinhalten im gesamten Web und sammelt, aktualisiert Information.

    Was genau tut der Googlebot aber nun?

    Er besucht Webseiten im Internet und erfasst die Inhalte (Worte, Hashtags, Keywords, etc.), die den Inhalt der Webseite beschreiben. Eine Bewertung der Inhalte nimmt der Googlebot dabei nicht vor.

    Außerdem prüft er, ob die Seite über Verlinkungen zu anderen Seiten verfügt und erfasst auch diese Informationen.

    Wenn der Bot die Informationen zu einer Seite vollständig erfasst hat, schickt der Bot alle erfassten Informationen an Google und dort wird der Index vervollständigt oder upgedated.

    Der Google Index ist das Verzeichnis in dem Webseiten von Google verglichen und geranked werden. Soll eine Webseite bei Google in den Suchergebnissen vorkommen, muss diese für den Googlebot sichtbar sein. Das bedeutet, die entsprechenden Angaben müssen in der Datei robot.txt im Quelltext angegeben sein.

    Um ein möglichst optimales Ergebnis im Google Ranking zu erreichen und gegebenenfalls auf der ersten Seite der Suche zu landen, sollten alle Webseiten und Quellen für den Googlebot einsichtig bzw. zugänglich sein.