什么是受密码保护的网站？为什么网站会受到密码保护？为什么我要抓取受密码保护的网站？这些是每个人在某些时候都会问自己的常见问题，特别是如果您从事网站设计，开发或SEO工作。让我们一次看一个问题，然后再看几个问题。

什么是密码保护？

许多网站使用密码保护作为安全过程，以保护不应向公众提供的信息。此信息可以从任何计算机访问，但密码保护使其无法供一般公众使用，并且在可访问之前需要密码（通常还具有授权的用户名）。

有些网站完全受密码保护，而有些网站只是部分地这样 - 意味着有员工或会员区。

为何使用密码保护？

遇到受密码保护的网站可能会让人感到困惑，特别是如果原因不明确的话。如果您是网站所有者或经理，您可能会问同一个问题 - “我为什么要密码保护我的网站？”

毕竟，密码保护可以防止普通访问者查看您的网站，从而限制流量。建立网站的关键是获得尽可能多的流量，尽可能多的可见性，对吧？

实际上，作为网站管理员，您可能希望 - 甚至需要 - 密码保护您的网站有三个主要原因。如果您作为用户遇到一个，您可以确定这是网站受密码保护的以下三个原因之一：

• 发展。该网站可能仍处于开发和设计阶段，因此尚未准备好供公众查看。或者，该网站的设计可能会发生一些重大变化。在进行开发或重建时，有必要允许员工访问站点而不允许客户执行相同操作。最好的方法是设置密码保护。

• 私人内容。这个原因通常导致网站的主要部分受密码保护，而不是整个网站。这样做的原因是鼓励访客注册会员资格，无论是免费订阅还是付费帐户。通过密码保护一些最好的内容，信息站点（和许多博客）吸引访问者成为活跃的成员。一个很好的例子是银行的网站：公众可以使用的区域，例如银行提供的不同账户类型，分支机构和其他金融服务。但是，为了访问您的在线银行帐户，您需要登录，因为它受密码保护。

• 安全。这有点是会员资格原因的延伸。通过设置密码保护，网站所有者和管理员可以限制对某些管理功能和/或文件的访问。一个很好的例子是“仅限员工”部分或互联网，其中重要信息可以很容易地与大公司的员工共享。这比电子邮件更有效，电子邮件可能会丢失在垃圾邮件文件夹中或意外删除，因为它构成了永久的在线资源库。当新员工加入公司时，他们可以使用用户名和密码立即访问所有必要信息。受密码保护的interweb系统还允许员工访问站点的管理后端，例如，他们可以在Web服务站点上管理客户帐户。

为什么要抓取受密码保护的网站？

抓取受密码保护的网站可能听起来是非法的 - 毕竟，它的密码受到保护是有原因的 - 但是有许多完全合法的理由想要抓取您的受保护网站。除此之外，为了抓取受密码保护的网站，您将需要访问管理后端，因此您只能访问您已作为管理员访问过的信息。

让我们来看看为什么你想要在密码保护下抓取你的网站。

• 开发内容库存。当网站仍在开发和/或重新设计时，这一点尤其重要，因为您希望获得网站上所有内容的列表。造成这种情况的原因可能很容易占用另一篇文章，但最常见的一种方法是确保所有需要的文章都已上传。

• 执行内容审核。获得内容广告资源后，您需要查看该内容并列出需要修复的任何问题。这些可能包括仍需要上传的内容丢失，需要更换的部分或损坏的文件，甚至未正确标记的内容，以允许网站抓取工具和搜索引擎正确阅读。

• 创建可视化站点地图。站点地图由网站抓取工具和人类用户共同使用，可帮助您轻松浏览网站。通过在启动之前爬过受密码保护的站点，您可以提前绘制可视化站点地图，并立即查看需要更好地组织信息的位置。这也有助于您进行重大的重新设计，因为您可以提前规划项目，与之前的设计进行比较，并在启动之前实时实施必要的更改。

• SEO。想要抓取任何网站的搜索引擎优化相关的原因非常广泛，足以保证专门讨论该主题的文章，并且所有这些都适用于抓取受密码保护的网站。简而言之，在密码保护下抓取您的网站可以让您查看搜索引擎看到的内容。由于您将非常依赖它们来帮助吸引网站流量，因此您需要确保您的网站不仅针对人类用户进行了优化，还针对搜索引擎进行了优化。在某种程度上，这包括您的可用性体验，站点地图的有效性以及元标记，允许搜索引擎彻底抓取您的网站内容，以包含在他们的搜索引擎索引中（他们用来快速生成搜索查询结果）。

• 无障碍。我们已经介绍了为搜索引擎网站抓取工具和普通用户优化网站的可访问性，但您网站的可访问性分数的另一个重要方面是您当然不希望忽略的。无论您的网站在发布后是否可供公众使用，或者某个部分仍然受密码保护，您都希望确保残障人士可以轻松访问这些网页。对于将继续受密码保护的私人网站页面尤其如此。

抓取受密码保护的网站的最佳做法

在我们深入了解如何抓取受密码保护的网站的细节之前，您需要牢记并遵守一些做法。

• 在抓取时使用只读帐户。当您浏览受保护的网站时，您将接受需要更改的内容。你甚至可能想要自己修复它们，但是你必须首先记住你抓取网站的原因。其中之一是为开发人员制作一个列表进行整理。毕竟，他们是专业人士，你雇用他们来处理这些问题。如果你缺乏专业知识，你最终可能会弊大于利。通过在抓取您的网站时使用完整的管理用户名和密码，您还可以让抓取工具完全访问整个管理部分。虽然最好的抓取工具不会执行任何操作，但具有完全管理访问权限，您可能会让爬虫程序更改网站的主题和插件，甚至删除帖子。

• 始终排除您的管理页面。这是我们在上述内容中所说的：您为抓取网站而设置的只读帐户必须排除管理后端页面和文件夹，以帮助您避免对您的网站进行不必要的更改。对于WordPress，您需要排除整个/ wp-admin / section; 对于Joomla，同样适用于/ administrator / section。

我还需要知道什么？

了解CSS选择器和HTML

在构建自定义系统登录时，您将需要CSS和HTML的一些基本知识，这些是使用的编程协议。我们将为您提供有关学习CSS和HTML的四个最佳网站的细分，以帮助您入门。

从理论上讲，您可以要求您的开发人员为您设置此项。但是您希望完全控制自定义系统登录，因此出于安全考虑，您自己最好自己动手。但是，不要认为你必须自己参加大学或大学课程来学习如何！

以下是四个最好的在线教程和课程，100％免费提供。

• Udacity - HTML和CSS简介。Udacity有一些免费提供的精彩在线课程，他们的HTML和CSS简介肯定是最好的之一。

  本课程的标语是“不是你的典型介绍”，我们全心全意地同意。虽然大多数HTML和CSS教程都侧重于语言语法，但Udacity认识到单独的语法不会帮助您设计网页 - 或者，在我们的示例中，设置自定义系统登录。本课程的结构可以帮助您像前端开发人员一样思考，向您展示从哪里开始以及如何处理任务。

  完成本课程后，您将获得在所有页面元素中实现HTML和CSS所需的全部知识 - 这意味着您无需每次都致电开发人员，都可以对您的网站进行细微更改。 。

• 可汗学院 - HTML / CSS简介：制作网页。可汗学院拥有广泛的主题列表，这些主题被精心分解为各种模块。您不必完成完整的计算机编程主题，就可以参加他们的HTML / CSS简介：制作网页课程。

  这是对HTML和CSS的另一种奇妙的，广泛的探索，并教你如何使用它们来开发网页。设置自定义系统登录时，相同的原则将适用，并且理解HTML（标记语言）和CSS（样式表语言）之间的区别可能会影响或破坏您有效执行此操作的能力。

• Codecademy - 学习HTML和学习CSS。Codecademy完全专注于教学用户不同的编码语言和应用程序。学习HTML和学习CSS教程都是精彩的速成课程，旨在帮助新手快速有效地学习绳索。

  虽然其他人的预计持续时间为3周，但您可以通过这两个辅导课程了解在短短12个小时内设置自定义系统登录所需了解的一切。作为课程的一部分，您还将有机会建立一个时尚博客和葡萄酒节日程表（HTML），之后您可以处理CSS教程，在那里您将完成一些额外的项目。这些项目不是立即需要抓取受密码保护的网站所必需的，但是当您正在寻找需要修复的任何错误或稍后进行细微更改而无需每个人都聘用开发人员时，拥有这些知识将是非常宝贵的。时间。

• W3Schools - HTML5教程和 CSS教程。W3Schools是学习网站开发工具的热门来源。他们正确地将自己推销为全球最大的行业教程和参考站点。

  您将希望从他们广泛的HTML5教程开始，您可以在一天内轻松完成并包含一些基本的CSS实现。有数百个示例可以帮助简化学习过程，W3学校还提供了页面上的HTML编辑器，可以让您练习每节课并实时查看结果。

  要正确地补充您的CSS知识 - 无论您是打算进一步使用它还是只想设置自定义系统登录 - 您还应该运行他们的CSS教程。再一次，提供了数百个示例，以帮助您快速学习，以及页面编辑部分，您可以立即练习和查看您的编码技能。

了解如何使用浏览器检查器工具

在查找构建自定义系统登录所需的代码中的正确信息时，这些知识将非常有用。您将需要一个浏览器检查工具来查找代码中的必要信息，以帮助您构建自定义系统登录。

我们找到了六种最好的浏览器检查工具，专为最常用的浏览器设计和开发。

• Chrome DevTools。谷歌浏览器可能是最受欢迎的浏览器，它提供了一系列工具来帮助网站管理员充分利用他们的体验。Chrome DevTools内置于Google Chrome中，可轻松访问构成该组的创作，调试和分析工具。为此，只需导航到Chrome的主菜单，然后选择“更多工具”>“开发人员工具”即可激活该软件包。右键单击任何页面元素并选择“Inspect”，您将收到完整的细分。

• 萤火虫。Firebug一直是Firefox用户的最爱，它在数量方面与Chrome用户密切相关。虽然Firebug扩展本身不再被进一步开发或维护，但它仍然是在线提供的最强大的Web开发工具集之一。Firebug目前仍然可以舒适有效地使用，但您肯定希望遵循Mozilla的建议，即迁移到我们列表中的下一个工具 - Firefox Developer Edition。

• Firefox开发者版。将Firebug替换为使用Mozilla Firefox的开发人员和网站管理员的首选选项，Firefox Developer Edition附带了大量工具。为了在开发自定义系统登录时使用浏览器检查工具的明确目的，您应该查看它的1号核心工具Page Inspector。

• Safari Web Inspector。对于那些使用带有默认浏览器引擎的Mac的用户，Safari Web Inspector是您的解决方案。Apple已经超越自己创建了一个指挥中心，可以让用户快速轻松地访问最丰富的开发工具集。Safari Web Inspector与macOS，iOS和tvOS完全兼容。

• Microsoft Edge开发人员工具。没有多少人仍然使用默认的Windows浏览器，但对于那些做过的人，有Microsoft Edge开发人员工具。最近更新了F12开发人员工具系列，以包含用户请求的功能。对于使用Microsoft Edge的任何人来说，F12系列中包含的七种工具都是完善的，可以满足您的需求。

• 歌剧蜻蜓。最后但并非最不重要的是Opera Dragonfly开发人员的工具集。虽然大多数Android用户都会熟悉Opera作为许多智能手机的默认浏览器，但该引擎在台式机或笔记本电脑上使用时也非常熟练。认识到需要面向Opera的开发人员工具，该团队已经发布了Dragonfly，这是一个内置于浏览器中的全功能套件。要使用Dragonfly功能，右键单击任何元素并选择“inspect” - 就这么简单！

构建自定义系统登录

如果您还没有DYNO Mapper帐户，请创建一个。可根据项目的页数提供分层定价。登录DYNO Mapper后，请按照以下说明操作。

1. 在主菜单中从URL创建，然后单击高级选项。
   
   
   
   

2. 在高级选项中，在网站身份验证下。单击“添加/编辑自定义系统”按钮。
   
   

3. 单击添加系统
   
   
   
   

4. 标题您的自定义系统登录。
   
   

5. 输入登录页面URL - 这是可以找到登录表单的页面。它可以是相对或绝对URL。
   
   

6. 输入表单选择器 - 这是登录表单元素本身。表单标记（<form>）。
   
   

7. 输入表单提交URL - 这是表单提交的位置。通常是表单标记的action属性的值。防爆。在<form action =“wp-login.php”>提交url是wp-login.php
   
   

8. 输入表单用户名选择器 - 这是登录表单标记内的用户名字段或输入标记。
   
   

9. 输入表单密码选择器 - 这是密码字段，或者通常是登录表单标记内带有type =“password”属性的输入标记。
   
   

10. 输入默认用户名 - 登录用户名。如果您在网站验证高级选项中将登录用户名留空，则使用此选项。
    
    

11. 输入默认密码 - 登录密码。如果您在advvanced选项的网站身份验证中将登录密码留空，则使用此选项。
    
    

12. 输入排除网址 - 绝对或要在抓取中排除的网址的一部分。用于排除注销链接，以便爬虫在找到注销URL时不会注销。用新行分隔多个条目。
    
    

13. 输入登录成功标准 - 必须设置此选项以使爬虫知道它是否成功登录。通常只需要CSS选择标准。其他标准需要有关http的知识。
    
    

14. 输入标准：

• CSS选择器匹配 - 如果选择器在提交登录表单后匹配。示例是仅在登录时才能看到的元素; （＃dashboard-wrapper，.login-success-alert）

• CSS选择器不匹配 - 如果选择器在提交登录表单后没有匹配项。示例是登录失败时显示的元素; （.login文件失败的警报）

• HTTP代码匹配 - 成功登录的HTTP状态代码。

• HTTP代码不匹配 - 与HTTP代码匹配相反

• 标头名称匹配 - 成功登录后找到的HTTP标头名称。

• 标题名称不匹配 - 标题名称匹配的对面。

• 标头名称/值匹配 - 在成功登录时找到的HTTP标头名称和值。

• 标题名称/值不匹配 - 标题名称/值匹配的相反。