SEO und die robots.txt

Seo für die Website: Was ist die robots.txt?

Sie sind Selbstständig? Dann benötigen Sie einen repräsentativen und vor allen Dingen eine sichtbaren Unternehmensauftritt!

Denn neben einer gut strukturierten übersichtlichen Seite, die auch vom Design überzeugt ist es vor allem wichtig, dass die Website von Nutzern und Interessenten gefunden wird.

Als Vollversammlungsmitglied der IHK Gießen, Friedberg engagiere ich mich für Unternehmer und Unternehmerinnen– auch Start ups und KMU. Aus Erfahrung weiß ich, wie wichtig Branding und Markendesign in Verbindung mit einem öffentlichkeitswirksamen Website-Auftritt ist. Verlassen Sie sich bei mir auf mehr als 20 Jahre Erfahrung in Marketing, Werbung und Webdesign. Aus vielen Corporate-Website Projekten weiß ich worauf es ankommt.

Die robots.txt

Was ist eine robots.txt?

Mit der robots.txt lassen sich die Crawler der Suchmaschinen (z.B. Google) steuern. Was die robots.txt genau ist, wo sie verankert sein muss, wie sie funktioniert und welche Vorteile für SEO damit generiert werden, erläutere ich in diesem Beitrag.

Bei sehr großen Websites tritt häufig das Problem auf, dass der Googlebot sie nicht vollständig crawlt. Dies ist auch der Grund dafür, dass relevante Unterseiten nicht indexiert werden und damit auch nicht ranken können.

Die robots.txt befindet sich im Hauptverzeichnis der jeweiligen Domain und kann unter https://www.eure-domain.de/robots.txt aufgerufen werden. Sollte das nicht so sein, müsste die Funktion und der Speicherort geprüft werden.

Die robots.txt („Robots Exclusion Standard Protokoll“, kurz REP) ist eine Textdatei, in der festgelegt wird, welche Dateien oder Seiten von Crawlern angefordert und ausgespielt werden können und welche nicht. Sie enthält damit Regeln für Webcrawler, die beeinflussen, wie sie sich durch Ihre Website bewegen dürfen. Von großer Bedeutung ist die vor allem für Webseiten-Betreiber großer Domains.

WICHTIG:

Die robots.txt ist nicht für die Steuerung der Indexierung gedacht, sie vermeidet lediglich, dass Ihre Website durch zu viele Anfragen überlastet wird.Dies macht klar, dass die robots.txt-Datei kein Mechanismus ist, der dabei hilft, einzelne Seiten von der Google-Suche zu entfernen oder zu forcieren.

Welche Funktion übernimmt die robots.txt Datei?

Bots und Webcrawler, die eine Domain besuchen, nutzen das Dokument und die darin enthaltenen Richtlinien um zu unterscheiden zwishen erlaubten Crawling und ausgeschlossenen Inhalten.

PS: Weil es häufiger passiert, dass fremde Domains auf Webseiten verweisen, die über die robots.txt vom Betreiber durch die robots.txt vom Crawling ausgeschlossen werden landen diese – trotz gegenteiligem Bestreben – doch im Index und werden in den Suchergebnissen aufgenommen. Um URLs also wirklich auszuschließen nicht die robots.txt nutzen.

Welche Vorteile bietet die robots.txt für Ihr SEO?

Domainbetreiber können mit der robots.txt die Möglichkeit zur zielgerichteten Steuerung der Crawler nutzen. Falls Sie also bemerken, dass der Server zu viele Crawlinganfragen erhält, ist es zu empfehlen, weniger wichtige Verzeichnisse, Seiten mit ähnlichem oder gleichem Content, Chatseiten, Warenkorbseiten und Adminseiten vom Crawling auszuschließen. Dieser Ausschluss von speziellen Inhalten bringt zwei maßgebliche Vorteile:

  • Der Server wird weniger überlastet und Das Crawling wird insgesamt geregelt, was vor allem  bei großen Domains immens wichtig ist. Besonders hier lohnt es sich irrelevante Seiten auszuschließen und zielgerichtetes Crawlen zu ermöglichen.
  • Von Vorteil ist es auch evtl. Medien- und Ressourcendateien vor der Google-Suche zu verstecken. So haben Nutzer zwar  weiterhin Zugriff auf Ihre diese Dateien und können diese auch verlinken, aber Überlastungen durch Zugriffe werden vermieden.

Worauf Sie bei der robots.txt achten sollten

Das Ausschließen eines Verzeichnisses oder einer URL (gewollt oder ungewollt), kann das Rankings beeinflussen oder gar verschlechtern. Denn  ausgeschlossene Seiten sind nicht ohne Weiteres auffindbar und stehen damit nicht als Zielseite für Suchergebnisse zur Verfügung. Für Google sind diese vom Crawling ausgeschlossen. Solche, vom Crawling ausgeschlossenen, Seiten können nur als  Suchergebnis-Seiten ausgespielt werden, wenn diese von anderen Domains stark verlinkt werden. Seiten, die also definitiv nicht indexiert werden sollen, müssen  durch ander Maßnahmen ausgeschlossen werden.
ACHTUNG: Änderungen an einer Website, egal in welcher Form, müssen von Google zuerst gecrawlt werden, um sie  berücksichtigen zu können.

Fazit

Eine korrekte robots.txt und deren Verwendung hat keine direkte Auswirkung auf das Ranking in den SERPs, weil durch diese Textdatei lediglich das Crawlbudget ideal genutzt wird und damit auf relevante URLs beschränkt wird. Eine fehlerhafte Datei kann jedoch zu Abwertungen führen. Der Grund dafür: Die Einschränkung behindert Google beim Lesen wichtiger Seiten mit hochwertigem, sodass dieser nicht indexiert werden kann.

Weiterführende Aktikel: luna-park, semrush

Wir beraten Sie gerne – Telefon: 06035 208564

WordPress Rundbrief

Jetzt anmelden: Wissen rund um Onlinemarketing,  Webdesign und WordPress

Darum sollten Sie mich beauftragen

Mehr als 25 Jahre Erfahrung in Werbung und Marketing für Unternehmen und Arztpraxen.

Ich bin begeisterte Webdesignerin mit Direktmarketing-Erfahrung und Empathie für Menschen und Heilberufe.

Ich biete Fullservice rund um Ihre Werbung und die Außendarstellung. Sie haben eine Ansprechpartnerin und kommen ohne Kommunikationsverlust schnell und sicher ans Ziel.

Ich beherrsche Suchmaschinenoptimeirung (SEO). Von mir bekommen sie eine schöne und moderne Website, die auch bei Google gefunden wird.

Ich biete neben Schulungen auch  Support und die regelmäßige Websitepfelge. Sie können sicher sein, dass Sie auch nach der Fertigstellung einen Ansprechpartner haben.

Bewertungen


Möchten Sie Tipps rund um Webdesign, SEO und Sicherheit in Ihr Postfach?

Dann melden Sie sich für meinen monatlichen Newletter an.