Indexierbarkeit prüfen: Seiten finden, die Suchmaschinen nicht indexieren können
Eine Seite kann im Browser perfekt aussehen und trotzdem durch einen Header, ein Meta-Tag oder eine Zeile in der robots.txt aus Google herausgehalten werden. Ein Indexierbarkeits-Checker liest die Signale, die Suchmaschinen lesen, und sagt Ihnen Seite für Seite, ob jede URL indexiert werden kann und warum nicht. Hier steht, was diese Signale sind, wie sie zusammenwirken und wie Sie das Ergebnis mit Googles eigenen Tools bestätigen.
Crawlbar, indexierbar und indexiert
Drei Begriffe werden ständig verwechselt, und ein Indexierbarkeits-Checker beantwortet nur einen davon:
- Crawlbar: Eine Suchmaschine darf die URL abrufen. Das entscheidet die robots.txt.
- Indexierbar: Nach dem Abruf verlangt nichts auf der Seite oder in ihren Headern, sie aus dem Index herauszuhalten. Das entscheiden Statuscode, noindex und Canonical.
- Indexiert: Die Suchmaschine hat sie tatsächlich gespeichert und kann sie in den Ergebnissen zeigen. Das weiß nur die Suchmaschine, daher können es nur ihre eigenen Tools bestätigen.
Eine Seite kann crawlbar und nicht indexierbar sein (sie hat noindex) oder indexierbar und trotzdem nicht indexiert (Google hat sie gecrawlt und entschieden, sie nicht zu behalten). Googles Seite So funktioniert die Google Suche erklärt die Schritte Crawling, Indexierung und Auslieferung.
Die fünf Signale, die über die Indexierbarkeit entscheiden
| Signal | Indexierbar, wenn | Wo es steht |
|---|---|---|
| Statuscode | 200 | HTTP-Antwort |
| robots.txt | Kein passendes Disallow | /robots.txt |
| Robots-Anweisungen | Kein noindex, kein none | Meta-Robots, X-Robots-Tag |
| Canonical | Selbst, oder keines | Link im Head, Link-Header |
| Rendering | Gleiche Tags nach JavaScript | Gerenderte Seite |
Besteht die URL alle fünf, ist sie indexierbar. Fällt sie bei einem durch, ist sie es nicht. Der Checker sollte dieses eine benennen.
Auf unserer eigenen Website rief der vollständige Neova-Crawl von seoprocheck.com am 17. Oktober 2026 10.222 URLs in 61 Minuten ab. 4.561 davon waren HTML-Seiten mit 200. Nur diese konnten das erste Signal als Webseiten bestehen, daher wurden die anderen vier Signale an ihnen getestet.
Statuscodes und Soft 404s
Nur eine URL, die 200 liefert, kann als sie selbst indexiert werden. Googles Seite zu HTTP-Statuscodes behandelt jeden Code.
| Status | Als sie selbst indexiert | Was Google tut |
|---|---|---|
| 200 | ✓ | Liest und indexiert eventuell |
| 301, 308 | – | Folgt zum Ziel |
| 302, 307 | – | Folgt, schwächeres Canonical-Signal |
| 404, 410 | – | Entfernt die URL |
| 429, 5xx | – | Wird langsamer, entfernt bei Dauer |
| Soft 404 (200) | – | Behandelt sie als Fehlerseite |
Ein Soft 404 liefert 200, sagt aber „nicht gefunden“ oder zeigt ein leeres Ergebnis. Liefern Sie stattdessen eine echte 404 oder 410, und prüfen Sie 200er-Seiten, deren Title oder H1 sich wie ein Fehler liest.
Den umgekehrten Fehler haben wir auf unserer eigenen Website gefunden. Am 20. November 2026 lieferten unbekannte Adressen auf neova.app eine 503 von einer Coming-soon-Seite statt einer 404. Eine 503 sagt Google, später wiederzukommen, tote URLs verlassen also nie die Warteschlange. Eine echte 404-Seite hat das behoben. SEO ProCheck hat eine vollständige SEO-Referenz zu HTTP-Statuscodes.
robots.txt sperrt das Crawling, nicht die Indexierung
Eine Disallow-Regel hält Google davon ab, eine URL abzurufen. Sie hält Google nicht davon ab, die Adresse zu indexieren: Googles Einführung in robots.txt sagt, dass eine gesperrte URL trotzdem ohne Beschreibung in den Ergebnissen erscheinen kann, wenn andere Seiten auf sie verlinken.
Es bedeutet außerdem, dass Google nichts auf der Seite sieht, auch kein noindex. Diese Kombination ist ein häufiger Fehler:
robots.txt: Disallow: /old-offers/
page: <meta name="robots" content="noindex">
Ergebnis: Google kann die Seite nicht abrufen, liest das noindex nie
und behält die URL eventuell über Links im Index.
Um eine Seite aus dem Index zu entfernen, lassen Sie Google sie crawlen und liefern noindex aus. Sperren Sie sie in der robots.txt erst, wenn sie herausgefallen ist, wenn überhaupt. Wie Sie Regeln testen, zeigt der Ratgeber zum robots.txt Tester.
Noindex, X-Robots-Tag und Canonicals
Die noindex-Dokumentation von Google nennt zwei Orte für die Anweisung:
<meta name="robots" content="noindex">
X-Robots-Tag: noindex
Der Header funktioniert auch für PDFs und Bilder. Widersprechen sich beide, wendet Google den restriktiveren an, ein verirrtes noindex an einer der beiden Stellen reicht also, um eine Seite draußen zu halten. Plugins, Staging-Einstellungen und CDN-Regeln sind häufige Quellen für ein noindex, das niemand ausliefern wollte. Jeder Wert und wo er gilt, steht in der Referenz zu Meta-Robots und X-Robots-Tag von SEO ProCheck.
Ein Canonical, das eine andere URL nennt, bittet Google, stattdessen diese URL zu indexieren. Google behandelt es als starken Hinweis, nicht als Regel, laut seinem Leitfaden zum Zusammenfassen doppelter URLs. Das ist richtig für echte Duplikate und falsch für eine Seite mit eigenem Inhalt. Canonicals, die auf Weiterleitungen, Fehler oder noindex-Seiten zeigen, senden widersprüchliche Signale; diese Fälle behandelt der Ratgeber zum Canonical Tag Checker.
Rendering kann die Antwort ändern
Auf Websites, die mit JavaScript gebaut sind, können rohes HTML und gerenderte Seite voneinander abweichen. Ein Script kann ein noindex hinzufügen, eines entfernen, das Canonical ändern oder den Haupttext erst nach dem Rendering laden. Googles Grundlagen zu JavaScript-SEO merken an, dass Google das Rendering eventuell überspringt, wenn das rohe HTML noindex enthält, ein Script, das es entfernt, läuft also womöglich nie.
Behalten Sie das Robots-Meta-Tag und das Canonical im rohen HTML, mit denselben Werten, die die gerenderte Seite am Ende hat. Ein Indexierbarkeits-Checker, der Seiten rendert, kann beide vergleichen und den Unterschied melden.
Mit der Search Console bestätigen
Ein Crawler sagt Ihnen, ob eine Seite indexiert werden kann. Die Google Search Console sagt Ihnen, ob sie es ist:
- URL-Prüfung zeigt für eine URL, ob sie bei Google ist, welches Canonical Google gewählt hat, wann sie zuletzt gecrawlt wurde und ob Crawling und Indexierung erlaubt waren. „Live-URL testen“ ruft sie sofort erneut ab.
- Der Bericht Seitenindexierung gruppiert jede bekannte URL nach Grund, etwa „Durch noindex-Tag ausgeschlossen“, „Durch robots.txt-Datei blockiert“, „Alternative Seite mit richtigem kanonischen Tag“, Duplikat, „Google hat eine andere Seite als der Nutzer als kanonische Seite bestimmt“, Soft 404, „Gecrawlt, zurzeit nicht indexiert“ und „Gefunden, zurzeit nicht indexiert“.
Vergleichen Sie beide Ansichten. Seiten, die Ihr Crawl als indexierbar einstuft und die Google als nicht indexiert meldet, sind die, die Sie untersuchen sollten: meist dünne oder doppelte Inhalte, schwache interne Links oder Seiten, zu denen Google noch nicht gekommen ist. SEO ProCheck listet die Ursachen von Crawled, currently not indexed und ihre Lösungen. Seiten, die Google indexiert hat und die Ihr Crawl als noindex oder kanonisiert einstuft, zeigen eine Korrektur, die Google noch nicht übernommen hat, oder ein Signal, das Sie übersehen haben. Schwache interne Links behandelt der Ratgeber zum Tool für interne Verlinkung, langsame Erkennung auf großen Websites der zum Crawl-Budget.
Indexierbarkeit mit Neova prüfen
Neova markiert jede URL als indexierbar oder nicht und sagt, warum: Status 200, kein noindex und ein Canonical auf sich selbst oder keines. Die Kategorie Indexierbarkeit bündelt Statuscodes, noindex, Canonicals, robots.txt und HTML, das den Head vor den SEO-Tags beendet. Mit eingeschaltetem JavaScript-Rendering wird jede gerenderte Seite mit ihrem rohen HTML verglichen. Mit verbundener Google Search Console liest Neova das Ergebnis der URL-Prüfung von Google für bis zu 200 URLs pro Crawl, zuerst die meistgeklickten, dann die am stärksten verlinkten, und meldet indexierbare Seiten, die Google nicht indexiert oder bei denen Google ein anderes Canonical gewählt hat. Zu den Checks dahinter gehören:

- noindex-Anweisung ist vorhanden und noindex unterscheidet sich zwischen HTML und HTTP-Header
- Interne URL ist per robots.txt gesperrt
- Canonical zeigt auf eine andere interne URL und Canonical zeigt auf eine noindex-URL
- Interne URL liefert 4xx, 5xx oder keine Antwort und Title oder H1 enthält eine Soft-404-Formulierung
- noindex-Anweisung wird per JavaScript entfernt
- noindex-URL steht in einer XML-Sitemap
- Indexierbare URL ist nicht bei Google, aus der URL-Prüfung
- noindex-URL hat Klicks in der Search Console erhalten
Indexierbarkeit ist Schritt 3 und 4 der Checkliste für das technische SEO-Audit. Siehe Funktionen oder Neova herunterladen; der Free-Tarif crawlt bis zu 1.000 URLs mit jedem Check.
Fragen
Was ist ein Indexierbarkeits-Checker?
Ein Tool, das die Signale liest, die Suchmaschinen nutzen (Statuscode, robots.txt, noindex, Canonical und Rendering), und für jede URL meldet, ob sie indexiert werden kann und, falls nicht, welches Signal sie aufhält.
Was ist der Unterschied zwischen indexierbar und indexiert?
Indexierbar heißt, dass nichts auf der Seite oder dem Server sie aus dem Index heraushält. Indexiert heißt, dass Google sie tatsächlich gespeichert hat. Eine Seite kann indexierbar und trotzdem nicht indexiert sein, was nur die Search Console bestätigen kann.
Verhindert die robots.txt, dass eine Seite indexiert wird?
Nein. Sie verhindert das Crawling. Google kann eine gesperrte URL trotzdem über Links indexieren, ohne ihren Inhalt. Um eine Seite aus dem Index herauszuhalten, erlauben Sie das Crawling und nutzen Sie noindex.
Warum wird meine indexierbare Seite nicht indexiert?
Häufige Gründe sind dünne oder doppelte Inhalte, wenige interne Links, dass Google eine andere URL als Canonical wählt oder sie noch nicht gecrawlt hat. Die URL-Prüfung und der Bericht zur Seitenindexierung nennen den Grund, den Google erfasst.
Kann ich die Indexierbarkeit einer einzelnen URL prüfen?
Ja. Die URL-Prüfung in der Search Console prüft eine URL Ihrer eigenen Property. Ein Crawler prüft jede URL der Website auf einmal und kann auch nur eine Liste von URLs crawlen, wenn Sie nur wenige brauchen.