Hallo,
die genannte Seite archiviert Homepages genau wie etwa web.archive.org. Allerdings mit dem kleinen aber unfeinen Unterschied, daß das auch ungefragt geschieht, man den "Dienst" also nicht durch einen entsprechenden Eintrag in der robots.txt ausschließen kann.
Wikipedia: http://de.wikipedia.org/wiki/Archive.today
In der Regel geschieht das wohl über Wikis, so wurde etwa über das MNWIKI, etwa über diese Seite: http://de.wikipedia.org/wiki/Liste_der_Mikronationen
Es kann aber auch jeder xbeliebige Selbst dort Homepages archivieren, ein Link genügt.
Löschungsansuchen wird dem Vernehmen nach in aller Regel nicht nachgekommen, da diese Kopien bei den Suchmaschinen auch auffindbar sind, können somit auch Seiten, deren Inhalte gar nicht von Suchmaschinen gefunden werden sollen, so plötzlich für Jedermann auffindbar werden.
Eine vorbeugende Sperrung ist dementsprechend wohl nur über die entsprechenden IP-Bereiche möglich, hier habe ich Folgendes gefunden: http://superuser.com/questions…ay-from-crawling-my-sitee
Mit folgendem darauf basierendem Eintrag in die .htaccess habe ich es bei mir jedenfalls erreicht, daß Seiten nicht mehr eingelesen werden können (Test mit einer bereits vorhandenen Seite):
order allow,deny
deny from 78.46.174.128/27
deny from 108.61.0.0/16
deny from 5.101.96.0/21
allow from all
Sollten also stimmen.
PS: Über das MNwiki wurde wohl zuletzt im Oktober 2013 archiviert, wer drin ist dürfte, das über seine damalige Adresse sein, falls sich zwischenzeitlich etwas geändert hat. Zumindest die Startseiten dürften aber bei einem beachtlichen Teil der Foren bzw. Websites archiviert sein.
