Sitemap für die Suchmaschinen
Da die Suchmaschinen wie Google oder Yahoo nicht alle Seiten einer Webseiten crawlen will, helfen wir eben. Mit einer Sitemap bekommt Google eine Datei mit allen Infos über den webkatalog Monsterlink. Die Suchmaschine kann nun selbst entscheiden, welche Webseiten sie crawlt und dann in ihrem Index aufnimmt. Auch Yahoo nutzt diese Sitemap.