robots.txt & XML-Sitemap einfach erklärt

robots.txt und XML-Sitemap sind zwei kleine, technische Dateien, die selten jemand bewusst wahrnimmt – für Suchmaschinen aber wichtige Wegweiser durch die eigene Website sind.

Was die robots.txt macht

Die robots.txt ist eine einfache Textdatei im Hauptverzeichnis einer Website, die Suchmaschinen mitteilt, welche Bereiche der Website durchsucht werden dürfen und welche nicht (z. B. interne Admin-Bereiche). Sie ist eine Anweisung, keine Sicherheitsmaßnahme – sensible Inhalte sollten zusätzlich technisch geschützt werden, nicht nur über die robots.txt ausgeschlossen.

Was die XML-Sitemap macht

Die XML-Sitemap listet alle wichtigen Seiten einer Website an einem zentralen Ort auf und hilft Suchmaschinen dabei, neue oder geänderte Inhalte schneller zu finden – besonders wertvoll bei größeren Websites oder Seiten mit wenigen eingehenden Links von außen.

Häufige Fehler

• Eine robots.txt, die versehentlich die komplette Website blockiert (z. B. nach einem Website-Wechsel vergessen zu aktualisieren)
• Eine Sitemap, die nicht mehr existierende oder fehlerhafte Seiten enthält
• Eine Sitemap, die nie bei der Google Search Console eingereicht wurde
• Wichtige Seiten, die versehentlich mit „noindex“ von der Indexierung ausgeschlossen sind

Beide Dateien ergänzen sich

robots.txt regelt, was NICHT durchsucht werden soll, die Sitemap zeigt aktiv, was durchsucht werden SOLL. Beide zusammen sorgen dafür, dass Suchmaschinen ihre begrenzte „Crawling-Zeit“ auf einer Website möglichst sinnvoll einsetzen – wichtig gerade bei Websites mit vielen Unterseiten.

Die gute Nachricht für die meisten kleinen Websites

Bei den meisten CMS-Systemen (etwa WordPress mit einem SEO-Plugin) werden beide Dateien automatisch erzeugt und aktuell gehalten – ein manuelles Anlegen ist selten nötig. Trotzdem lohnt sich ein gelegentlicher Blick, ob beide Dateien tatsächlich erreichbar sind und den aktuellen Stand der Website widerspiegeln.