Indexierung
Inhaltsverzeichnis
Definition
Mit dem Begriff Indexierung wird im Allgemeinen eine Methode der Informationserfassung beschrieben. Im Rahmen der Indexierung werden bestimmte Informationen in einen Index aufgenommen. Diese Informationen werden nach bestimmten Kriterien sortiert, indem ihnen zum Beispiel Schlüsselwörter (Keywords) auf Basis ihrer Inhalte zugewiesen werden. Die aufbereiteten Inhalte bilden zusammen mit den zugeordneten Keywords den sogenannten Index, der ein schnelleres Durchsuchen und Filtern der Inhalte ermöglicht.
Moderne Datenbanksysteme (DBS) arbeiten mit einem Index, der dafür sorgt, dass bei der Eingabe bestimmter Schlüsselbegriffe eine Liste von Inhalten angezeigt wird, die für diese Keywords relevant sind. Auch Suchmaschinen wie Google und Co. funktionieren nach dem gleichen Prinzip. Wenn ein Nutzer eine Suchanfrage startet, wird nicht das gesamte Internet, sondern der eigene Index durchsucht.
Wie funktioniert die Indexierung von Inhalten im Internet?
Das Indexieren von Webinhalten stellt einen aufwendigen und komplexen Prozess dar, der sich verschiedener Methoden aus unterschiedlichen wissenschaftlichen Bereichen wie zum Beispiel der Informatik und Informationswissenschaft bedient. Führende Suchmaschinenbetreiber wie Google, Yahoo und Bing setzen bei dem Indexieren von Webinhalten auf sogenannte Crawler. Bei diesen handelt es sich um autonome Software Programme, die eine ähnliche Funktionsweise aufweisen wie ein Roboter, weswegen Crawler oft auch Suchmaschinen-Bots oder -Roboter genannt werden. Diese Web Crawler bewegen sich autonom durch das Internet und nehmen kontinuierlich Webinhalte in den Index der Suchmaschine auf. Die aufgenommenen Inhalte werden sortiert und anhand eines Algorithmus in hierarchische Ebenen aufgeteilt. In welcher Reihenfolge die Suchergebnisse dem Nutzer bei einer Suchanfrage präsentiert werden, hängt primär von der Hierarchie der Inhalte im Index ab.
Google und andere Suchmaschinenanbieter arbeiten kontinuierlich an der Weiterentwicklung des Algorithmus für die Indexierung, um Nutzern relevante Inhalte noch schneller und effizienter präsentieren zu können. Google zum Beispiel verändert in unregelmäßigen Abständen wichtige Bestandteile seines Index. So hat der US-amerikanische Suchmaschinengigant mit der Einführung des sogenannten Caffeine-Index für eine grundlegende Änderung in Bezug auf das Indexieren gesorgt. Diese Modifikation sorgt dafür, dass neue Inhalte viel schneller indexiert und Nutzern präsentiert werden können. So sollen Webinhalte, die in regelmäßigen Abständen aktualisiert werden, wie zum Beispiel Podcasts oder Videos, schneller gefunden werden.
Wie können Webmaster die Indexierung beeinflussen?
Webseitenbetreibern und Webmastern stehen verschiedene Möglichkeiten zur Verfügung, um die Indexierung ihrer Webpräsenz zu beeinflussen. Wenn eine Website in den Index einer Suchmaschine aufgenommen werden soll, muss diese zunächst für den Crawler auffindbar sein. Handelt es sich bei der Webpräsenz um eine neue Seite, können Webmaster die Website dem Suchmaschinenanbieter zum Indexieren mittels der Suchmaschinenanmeldung vorschlagen. In der neuen Google Search Console ist dies über das URL-Prüftool möglich.
Die Seite muss zum Zweck der Indexierung außerdem für den Web Crawler stets erreichbar und bis zu einem bestimmten Ausmaß analysierbar sein. Eine Möglichkeit um dies sicherzustellen sind Meta-Tags, die im Quellcode einer Website platziert werden. Meta-Tags werden in der Regel im Head Abschnitt einer HTML-Datei eingefügt und werden in erster Linie eingesetzt, um den Inhalt einer Webpräsenz genauer zu beschreiben, sodass Crawler diese besser verstehen können.
Der aktuelle Status der Indexierung kann zum Beispiel in der Google Search Console abgerufen werden. Um diesen Dienst nutzen zu können, müssen Webmaster ihre Webpräsenz bei der Google Search Console anmelden. Darüber hinaus können Seitenbetreiber dort auch eine Sitemap ihrer Webpräsenz hochladen, sodass eine bestmögliche Indexierung ihrer Webseite gewährleistet ist. Die Sitemap enthält alle relevanten Unterseiten einer Website und unterstützt Crawler, indem diese die Webseite schneller und effizienter analysieren können.
Bedeutung für SEO
Da das Indexieren einer Webseite die Grundlage für die Auffindbarkeit via Google und Co. darstellt, hat es dementsprechend eine enorme Bedeutung für die Suchmaschinenoptimierung (SEO). Noch vor einigen Jahren mussten Seitenbetreiber immer auf das nächste Crawling warten, damit die Website in den Index der jeweiligen Suchmaschine aufgenommen wird. Durch den Einsatz neuer Technologien und Lösungen passiert das inzwischen fast unmittelbar. Webmaster und Seitenbesitzer können diesen Prozess bis zu einem gewissen Maß beeinflussen und dafür sorgen, dass die Seite gecrawlt, indexiert und zu relevanten Suchanfragen in den Suchergebnissen an prominenter Stelle angezeigt wird. Das Ranking in den Suchergebnissen lässt sich durch diverse Offpage- und Onpage-Maßnahmen sowie durch die Bereitstellung hochwertigen Contents beeinflussen. Webmaster sollten stets auf dem Laufenden bleiben, da Google und andere Suchmaschinenanbieter regelmäßig Änderungen an ihren Algorithmen vornehmen, um die Indexierung noch effizienter zu gestalten und vorhandene Schwachstellen im System zu beseitigen.
Organischer Index vs. Paid Index
Bei den bekannten Suchmaschinen wie Google lassen sich zwei Arten von Index unterscheiden: der organische Index und der Paid Index.
Der organische Index kann genutzt werden, um das von der Suchmaschine errechnete Ranking einer Seite abzulesen. Das Ranking wird durch einen suchmaschinenspezifischen Algorithmus errechnet, nachdem die Website gecrawlt wurde. Je höher oben die Seite in den Suchergebnissen auftaucht, umso besser ist ihr Ranking. Im Rahmen der Suchmaschinenoptimierung stehen Webmastern unterschiedliche Möglichkeiten zur Verfügung, um den organischen Index einer Webseite zu beeinflussen. Dabei müssen jedoch unbedingt die Richtlinien der Suchmaschinenbetreiber beachtet werden.
Im Gegensatz zum organischen steht der Paid Index. Hier haben Seitenbesitzer die Möglichkeit, ihre Webpräsenz als bezahlte Anzeige an prominenter Stelle noch vor den organischen Suchergebnissen anzeigen zu lassen. Suchmaschinenanbieter wie Google oder Bing bieten hierfür spezielle Programme an. Bei Google wird dieser Bezahlservice Google Ads genannt und bei Bing sind es die Bing Ads. Beim Paid Index basiert das Ranking in erster Linie auf den Geboten für relevante Schlüsselwörter.
Weiterführende Links
- https://www.more-fire.com/blog/crawling-und-indexierung-von-webseiten-theorie-und-praxis/
- https://www.xpose360.de/indexierung-bei-google-gezielte-steuerung-indexierter-seiten/