Mit der robots.txt lassen sich die Crawler der Suchmaschinen (z.B. Google) steuern. Was die robots.txt genau ist, wo sie verankert sein muss, wie sie funktioniert und welche Vorteile für SEO damit generiert werden, erläutere ich in diesem Beitrag.

Bei sehr großen Websites tritt häufig das Problem auf, dass der Googlebot sie nicht vollständig crawlt. Dies ist auch der Grund dafür, dass relevante Unterseiten nicht indexiert werden und damit auch nicht ranken können.

Die robots.txt befindet sich im Hauptverzeichnis der jeweiligen Domain und kann unter https://www.eure-domain.de/robots.txt aufgerufen werden. Sollte das nicht so sein, müsste die Funktion und der Speicherort geprüft werden.

Die robots.txt („Robots Exclusion Standard Protokoll“, kurz REP) ist eine Textdatei, in der festgelegt wird, welche Dateien oder Seiten von Crawlern angefordert und ausgespielt werden können und welche nicht. Sie enthält damit Regeln für Webcrawler, die beeinflussen, wie sie sich durch Ihre Website bewegen dürfen. Von großer Bedeutung ist die vor allem für Webseiten-Betreiber großer Domains.

WICHTIG:

Die robots.txt ist nicht für die Steuerung der Indexierung gedacht, sie vermeidet lediglich, dass Ihre Website durch zu viele Anfragen überlastet wird.Dies macht klar, dass die robots.txt-Datei kein Mechanismus ist, der dabei hilft, einzelne Seiten von der Google-Suche zu entfernen oder zu forcieren.

Welche Funktion übernimmt die robots.txt Datei?

Bots und Webcrawler, die eine Domain besuchen, nutzen das Dokument und die darin enthaltenen Richtlinien um zu unterscheiden zwishen erlaubten Crawling und ausgeschlossenen Inhalten.

PS: Weil es häufiger passiert, dass fremde Domains auf Webseiten verweisen, die über die robots.txt vom Betreiber durch die robots.txt vom Crawling ausgeschlossen werden landen diese – trotz gegenteiligem Bestreben – doch im Index und werden in den Suchergebnissen aufgenommen. Um URLs also wirklich auszuschließen nicht die robots.txt nutzen.

Welche Vorteile bietet die robots.txt für Ihr SEO?

Domainbetreiber können mit der robots.txt die Möglichkeit zur zielgerichteten Steuerung der Crawler nutzen. Falls Sie also bemerken, dass der Server zu viele Crawlinganfragen erhält, ist es zu empfehlen, weniger wichtige Verzeichnisse, Seiten mit ähnlichem oder gleichem Content, Chatseiten, Warenkorbseiten und Adminseiten vom Crawling auszuschließen. Dieser Ausschluss von speziellen Inhalten bringt zwei maßgebliche Vorteile:

• Der Server wird weniger überlastet und Das Crawling wird insgesamt geregelt, was vor allem  bei großen Domains immens wichtig ist. Besonders hier lohnt es sich irrelevante Seiten auszuschließen und zielgerichtetes Crawlen zu ermöglichen.
• Von Vorteil ist es auch evtl. Medien- und Ressourcendateien vor der Google-Suche zu verstecken. So haben Nutzer zwar  weiterhin Zugriff auf Ihre diese Dateien und können diese auch verlinken, aber Überlastungen durch Zugriffe werden vermieden.

Worauf Sie bei der robots.txt achten sollten

Das Ausschließen eines Verzeichnisses oder einer URL (gewollt oder ungewollt), kann das Rankings beeinflussen oder gar verschlechtern. Denn  ausgeschlossene Seiten sind nicht ohne Weiteres auffindbar und stehen damit nicht als Zielseite für Suchergebnisse zur Verfügung. Für Google sind diese vom Crawling ausgeschlossen. Solche, vom Crawling ausgeschlossenen, Seiten können nur als  Suchergebnis-Seiten ausgespielt werden, wenn diese von anderen Domains stark verlinkt werden. Seiten, die also definitiv nicht indexiert werden sollen, müssen  durch ander Maßnahmen ausgeschlossen werden.
ACHTUNG: Änderungen an einer Website, egal in welcher Form, müssen von Google zuerst gecrawlt werden, um sie  berücksichtigen zu können.

Fazit

Eine korrekte robots.txt und deren Verwendung hat keine direkte Auswirkung auf das Ranking in den SERPs, weil durch diese Textdatei lediglich das Crawlbudget ideal genutzt wird und damit auf relevante URLs beschränkt wird. Eine fehlerhafte Datei kann jedoch zu Abwertungen führen. Der Grund dafür: Die Einschränkung behindert Google beim Lesen wichtiger Seiten mit hochwertigem, sodass dieser nicht indexiert werden kann.

Weiterführende Aktikel: luna-park, semrush