Reise in die Vergangenheit

Grundsätzlich ist es wünschenswert, dass Suchmaschinen die aktuellen Inhalte der eigenen Internetseite kennen. Manchem Unternehmer oder Website-Betreiber ist es aber nicht recht oder bekannt, dass das „Internet Archive“ unter www.archive.org möglicherweise seit Jahren Momentaufnahmen des eigenen Internetauftritts anfertigt und diese öffentlich zugänglich macht.

Über die öffentlich zugängliche „Wayback Machine“ unter www.archive.org kann man sich Internetauftritte ansehen, wie sie zu bestimmten Archivierungszeitpunkten waren, sofern der Betreiber des jeweiligen Internetauftrittes nichts dagegen unternommen hat.

Bis vor einiger Zeit konnten sich Betreiber von Internetauftritten erfolgreich mit einer Anweisung in der Datei „robots.txt“ im Root-Verzeichnis des FTP-Bereiches der Website helfen. Dies hatte erfahrungsgemäß auch zur Folge, dass die Wayback Machine bisherige Momentaufnahmen nicht mehr ausgab. Beispielsweise halfen folgende Anweisungen in der robots.txt:

User-agent: archive.org_bot Disallow: /

oder

User-agent: ia_archiver Disallow: /

Dieses Patentrezept gehört inzwischen der Vergangenheit an. Wobei schon immer bekannt war, dass Suchmaschinen nicht gezwungen sind, sich an die Anweisungen in der robots.txt zu halten.

Vorgesehen ist seitens des Betreibers von www.archive.org mittlerweile, dass man ihn per E-Mail kontaktiert, wenn man mit dem Auslesen und Indizieren seiner Website nicht einverstanden ist. Hierzu gibt es Hilfestellungen im Netz.

Wer dies scheut, kann – so ist im Netz auch zu lesen – versuchen, den Zugriff durch die statischen IP-Adressen von www.archive.org zu unterbinden.

So oder so: Ihr Webmaster ist hierfür Ihr erster Ansprechpartner.