Wissen worum es geht: Indexierung, Crawling, Sitemap – Kurz & einfach erklärt
Indexierung
Alle Webseiten, die Google kennt, werden im Index von Google gespeichert. Im Indexeintrag für jede Seite werden deren Inhalt und Speicherort (URL) beschrieben.
“Indexieren” beschreibt den Vorgang, bei dem Google eine Seite abruft, liest und dem Index hinzufügt. Dies geschieht automatisiert, allerdings kann man in der Google Search Console (Rubrik “Index” -> “Abruf” kann man Google auch selbstständig um eine Indexierung, bzw. erneute Indexierung (falls sich der Inhalt der Seite verändert hat) bitten.
Crawling
Ein “Google-Crawler” (auch “Googlebot” genannt) ist eine automatisierte Software, die Seiten aus dem Web abruft (“crawlt”) und indexiert. Der Prozess, bei dem neue oder aktualisierte Webseiten gesucht werden, heißt “Crawling”.
Google folgt dabei Links, liest Sitemaps und nutzt viele andere Methoden, um URLs zu finden. Auch wenn das crawlen automatisiert geschieht, kann man Google einzelne URL’s senden (z.B. über die Google Search Console). Allerdings solle die Crawling-Anfrage im Idealfall für die Startseite erfolgen, denn für Google ist Ihre Startseite die wichtigste Seite. Damit Google Ihre Website vollständig crawlen kann, sollte das Navigationssystem Ihrer Startseite (und aller anderen Seiten) Links zu allen wichtigen Seiten Ihrer Website enthalten. Hierdurch können Nutzer und Google sich besser auf Ihrer Website zurechtfinden.
Sitemap
Eine Sitemap ist die vollständige hierarchisch strukturierte Darstellung aller Einzeldokumente Ihrer Website.
In der Google Search Console (Rubrik “Index” -> “Sitemaps”) kann man manuell die eigene Sitemap und sogar eine Bilder-Sitemap seiner Webseite einreichen.
Man kann mit bestimmten Tools auch festlegen, welche Seiten und Inhalte aus der Sitemap ausgeschlossen werden sollen (welche Seiten nicht gecrawlt werden sollen). Das kann sinnvoll, wenn die Anzeige bestimmter Seiten in den Suchergebnissen einer Suchmaschine für Nutzer nicht sinnvoll ist, z.B. das Impressum oder die Datenschutzerklärung, da es eher unwahrscheinlich ist, dass jemand explizit in die Googlesuche Ihre Datenschutzerklärung als Suchbegriff eingibt. Natürlich ist diese trotzdem für jeden Besucher sichtbar, wenn er Ihre Webseite besucht, aber eben nicht relevant als Suchergebnis in der Googlesuche. Grundsätzlich sollte man jedoch eher vorsichtig mit dem Setzen von “NOFOLLOW” und “NOINDEX” sein.
Ändern sich Seiten auf der eigenen Webseite, kann man die aktualisierte Sitemap bei Google einreichen um über die Änderungen zu informieren. Google selbst schlägt vor, die eigene Sitemap selbstständig einzureichen um ihn dabei zu unterstützen, Ihre Inhalte zu finden.