网站建设

搜索引擎索引的XML站点地图

我们有一些用户请求100万页爬虫限制或更多，所以我认为这将是一个很好的主题，在我们的博客中解决。无论您是要创建站点地图以改进搜索引擎优化还是为了网站项目规划目的而创建站点地图，都需要考虑大小限制。根据sitemaps.org（XML站点地图的官方协议），它们不应包含超过50,000个网站URL且大小不超过10MB。Google，Yahoo和Bing也遵循XML站点地图的相同大小限制。如果您网站的页数大于此数量，则需要使用多个站点地图并从站点地图索引文件中链接它们，该文件将识别搜索引擎的每个站点地图文件，以实现更高效的索引编制。

项目发现和规划的可视化站点地图

同样，如果站点地图包含许多页面和级别，也很难查看巨大的可视化站点地图。出于这些原因，DYNO Mapper有几个选项来管理企业级网站，因此我们想向您展示创建多个站点地图的过程。 

第1步：创建站点地图

您的第一步是单击从URL创建并对您的网站进行常规爬网。即使您认为自己了解内容的层次结构，也最好这样做。面对现实吧; 你可能会遗漏一些正确的东西。  

抓取您的网站以发现您网站中的层次结构。在抓取您的网站后，您需要制定一个计划，以便在对您正在使用的内容进行总体概述之后如何拆分您的站点地图。您希望每个站点地图包含不超过50,000个页面并包含您网站的各个部分。 

第2步：创建计划

每个Sitemap都应按您建立的网站网址层次结构进行拆分。请参阅以下网站示例，分为两个站点地图。如果您的网站按网址排列，您可以在下一步中立即将网页组合在一起。 

网站地图1 www.yourdomain.com  www.yourdomain.com/blogs  www.yourdomain.com/products	网站地图2 www.yourdomain.com/services  www.yourdomain.com/locations  www.yourdomain.com/members

第3步：创建多个站点地图

将计划放在一起后，就可以创建每个站点地图了。单击“从URL创建”，然后打开“忽略路径”字段的“高级设置”。



输入URL后，使用“ 忽略路径”字段限制目录。在上面的示例中，您将要忽略第一个站点地图中的服务，位置和成员。 

防爆。\ / services - 将跳过带有/ services的URL。 \ / services $ - 将仅跳过以/ services结尾的URL。

您需要使用新行分隔多个规则。

现在使用省略功能创建第二个站点地图，但这次您要排除根URL，目录，博客和产品目录。输入\ / $将从第二个站点地图中排除主页URL。 

第4步：创建站点地图索引文件

通过转到每个站点地图菜单并单击下载站点地图然后选择XML站点地图来下载两个XML站点地图文件。现在，您只需将站点地图上传到您的主机帐户，然后将其与站点地图索引文件相关联即可。

第5步：将站点地图上传到服务器

使用DYNO Mapper创建站点地图后，将存储爬网程序设置，以便您只需单击站点地图菜单中的“刷新站点地图”并重新上载到服务器即可刷新站点地图。您可以选择每周或每月安排站点地图抓取。