Crawling im Detail
Bevor Google eine Seite anzeigen kann, muss sie gecrawlt und indexiert werden. Crawling ist der erste Schritt: Der Bot besucht die Seite und liest den Inhalt.
Wie Crawling funktioniert
- Crawler startet mit bekannten Seiten und Sitemaps
- Folgt Links zu neuen Seiten
- Liest HTML-Code und Inhalte
- Speichert Informationen für spätere Indexierung
- Besucht Seiten regelmäßig für Updates
Crawlability optimieren
- robots.txt: Anweisungen für Crawler
- XML-Sitemap: Alle wichtigen URLs übersichtlich
- Interne Verlinkung: Alle Seiten erreichbar
- Ladezeit: Schnelle Seiten werden öfter gecrawlt
- Keine Sackgassen: Orphan Pages vermeiden
Crawl-Budget
Google hat ein begrenztes "Budget" für jede Website. Bei großen Websites wichtig: Unwichtige Seiten ausschließen, damit wichtige Seiten öfter gecrawlt werden.
Praxisbeispiel
Eine Website hat 500 Seiten, aber 300 davon sind Duplikate oder unwichtige Filter-Seiten. Google verschwendet Crawl-Budget auf diese Seiten, während wichtige Produktseiten selten gecrawlt werden. Nach Bereinigung (noindex für Filter, Canonical-Tags für Duplikate) werden die wichtigen Seiten öfter gecrawlt und ranken besser.
Crawling bei TwoPixels
Wir optimieren die Crawlability Ihrer Website als Teil unserer SEO-Leistungen. Saubere Struktur, korrekte robots.txt, optimierte Sitemap – damit Google Ihre wichtigen Seiten findet und indexiert.
Verwandte Begriffe
Warten Sie!
Wie gut ist Ihre Website wirklich?
Finden Sie es in 30 Sekunden heraus, kostenlos.