Ein heiß diskutiertes Thema seit Jahren: Erkennen Suchmaschinen (Google) bezahlte Links automatisch, also algorithmisch? Nein, wie könnten sie auch! Solange Links nicht mit einem

href="seite.html" rel="paid"

ausgezeichnet werden, sind Verweise nur Verweise, die nicht unterschieden werden können. Natürlich sollte man vorsichtig sein und wenn es sich vermeiden lässt, die bekannten Anlaufstellen für Linkkauf großspurig umfahren.

Vor einiger Zeit hat Google (wie viele Jahre noch mal?) in den Google Webmaster Tools den Punkt “Bezahlte Links melden” eingeführt. Es ist davon auszugehen, dass reger Gebrauch davon gemacht wird und weiterhin ist davon auszugehen, dass “gepetzte Links” sehr genau angesehen werden. Ich wette, Seiten, die so “entdeckt” werden, werden schneller gefiltert (Penalty), als der Webmaster Aua sagen kann. In der Hinsicht ist auf Google Verlass und meiner Meinung nach die einzige Möglichkeit, Paid-Links zu finden. Natürlich ist auch diese Methode alles andere als lupenrein, aber das ist eine andere Geschichte.

Bezahlte Links melden

Wie im Beitrag “Richtig umleiten” angedeutet, hier nun eine kleine Anleitung, wie man richtig umleitet.

RewriteEngine On
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /([^/]*/)*index\.html? [NC]
RewriteRule ^(([^/]*/)*)index\.html?$ http://www.domain.com/$1 [R=301,L]
RewriteCond %{HTTP_HOST} !^www\.domain\.com
RewriteRule ^(.*)$ http://www.domain.com/$1 [R=301,L]

Dieses in die .htaccess-Datei schreiben, wenn es der Provider zulässt, ins root Verzeichnis ablegen und freuen. Damit wird auch der Aufruf der index-Datei, wenn sie index.html heißt, auf die Domain um- und weitergeleitet.

Demnächst eine ausführlichere Version der .htaccess-Datei, die auch php-Versionen, default.html und sonstigen Unfug abwickelt.

Bestellt man heute ein Domain, dann kriegt man diese oft sehr schlüsselfertig von seinem Provider des Vertrauens ausgeliefert. Man hat ja schließlich ein bisschen Ahnung und probiert dieses und jenes aus, wie zum Beispiel, ob die Wunschdomain auch ohne die Subdomain www aufrufbar ist. Da wir alle wissen, dass die Domain idealerweise nur einmal vorhanden sein sollte, nämlich entweder mit www oder ohne www, geben wir uns damit zufrieden, dass der Server auf www.domain.com umleitet, ruft man diese ohne www auf.

Und genau hier liegt oft der Fehler im Detail und man sollte schon mit einem passenden Tool die Header überprüfen, die beim Aufruf übermittelt werden. Für den schnellen Blick benutze ich gerne den Web Sniffer. Dort an passender Stelle die Domain einmal ohne www eingeben und schauen, was zurückgegeben wird: Ist es ein

HTTP Status Code: HTTP/1.1 301 Moved Permanently

also der hübsche 301-er, ist alles bestens, kommt aber ein 302-er zu Tage, sollte man mittels der htaccess-Datei den Fehler beheben.

Dazu aber später …

Eine fatale, leider wenig beachtete Fehlerquelle: die robots.txt-Datei.

Diese muss sich im Wurzelverzeichnis befinden, Suchmaschinen finden sie automatisch, wenn sie an der richtigen Stelle zu finden ist.

Oft passiert es, dass man in der Entwicklungsphase Suchmaschinen aussperren will, dazu schreibt man einfach:

User-agent: *
Disallow: /

Somit ist die ganze Seite für Crawler uninteressant. Nun kann man in Ruhe seine Seite entwickeln und auf Herz und Nieren testen. Man muss diesen Hinweis aber korrigieren, wenn die Seite fertiggestellt ist, und das vergessen viele Webmaster und das Geschrei ist groß. Bei Problemen sollte der erste Blick immer auf die robots.txt-Datei gehen. Ist die Seite fertig und  Suchmaschinen sollen die Inhalte indexieren, sollte die Datei idealerweise so aussehen.

User-agent: *
Disallow:

Es sind auch Fälle bekannt, in denen die Datei von Dritten manipuliert wurde, sodass der Traffic komplett einbrach. Auf die Feinheiten der robots.txt-Datei soll an dieser Stelle nicht weiter eingegangen werden, die wurden schon zu Genüge besprochen.

Also: Diese Datei immer schön im Auge behalten!

seozid.de will auf mögliche Fehler im Umgang mit Suchmaschinen im Allgemeinen und mit Google im Besonderen hinweisen – aus Sicht des Seitenbetreibers. Wie Suchmaschinen ticken, wissen wir nicht, denn vieles wird im Verborgenen gehalten, niemand lässt sich in die Karten schauen.  Das geht auch in Ordnung, denn wenn man wüsste, wie diese Maschinen funktionieren, wäre es ein leichtes, eben diese zu manipulieren. Gewisse Techniken und Vorgehensweisen sind aber durch schmerzhafte Eigenerfahrungen, die man in Laufe der Zeit gemacht hat, durchaus bekannt: Wir wissen also genau, was wir nicht dürfen. Wie wir unsere Seiten für Suchmaschinen (Google) optimal erstellen, erfahren wir von den Richtlinien für Webmaster.