URL-Aufrufe mit Parametern per robots.txt verbieten

Heute habe ich ein kleines Indexierungsproblem bei einer Kundenwebseite festgestellt. Diese arbeitet mit einem Shopsystem, das zwar “sprechende URLs” unterstützt und damit schon ein bisschen SEO-Freundlichkeit aufweist, aber leider bietet es die Sortierung von Produktlisten und hängt damit jede Menge Parameter an die schönen URLs, die dadurch natürlich viel zu oft indexiert werden. Die Folge ist [doppelter Inhalte (duplicate content)->duplicate-content] in Hülle und Fülle.

Um dem Webmaster die Arbeit möglichst einfach zu machen, habe ich darum eine Lösung mit der [robots.txt Datei->robots-txt] gesucht, die hilft, die Indexierung von solchen Sortierungsseiten zu unterbinden. Das Ganze läßt sich in meinem Fall einfach lösen, da die Dateien normalerweise mit “.html” enden und nur bei den Sortierungen ein “.html?irgendwas=irgendwie” zu finden ist. Dieser Zusatz in der robots.txt tut ab sofort seine Arbeit auf der Kundenseite:

Allow: /*.html$
Disallow: /*.html?*

Wenn eure Dateien mit .php enden, müsst ihr den Eintrag natürlich entsprechend anpassen. Und gebt Google ruhig ein paar Wochen, bis er die Seiten aus dem Index geworfen hat, die nun auf verboten sind. Tante G ist nicht die Schnellste…

Jens Kleinholz( Gründer & Sir Apfelot )

Jens betreibt das Blog seit 2012. Er tritt für seine Leser als Sir Apfelot auf und hilft ihnen bei Problemen technischer Natur. Er fährt in seiner Freizeit elektrische Einräder, fotografiert (natürlich am liebsten mit dem iPhone), klettert in den hessischen Bergen rum oder wandert mit der Familie. Seine Artikel beschäftigen sich mit Apple Produkten, Neuigkeiten aus der Welt der Drohnen oder mit Lösungen für aktuelle Bugs.