检查开始文件夹外部的链接允许您扫描所选文件夹外部的链接。例如，如果您决定爬网子文件夹 ，爬网程序将扫描主页和其他文件夹。如果您只需要扫描特定部分，请取消选中此框。 在开始文初选择的文件夹之外爬网所有链接。如果激活，爬虫不仅会爬行指定文件夹的内容，还会爬行整个网站。 爬网所有子域 - 爬网子域（可选，如有必要）。
遵循内部/外部“nofollow” - 使用 nofollow 绕过内部/ 克罗地亚电话营销数据 外部链接（可选，如有必要）。 爬行 必须包括抓取链接的 XML 站点地图（扫描 XML 站点地图），因为并不总是存在指向站点所有页面的内部链接。这将帮助您查找和分析此类页面。 通过 robots.txt 自动发现 XML 站点地图允许您从 robots.txt 文件自动获取 XML 站点地图。
这很方便，因为您不需要手动指定站点地图的路径。 转到配置→爬行配置→蜘蛛→提取 萃取 页面详细信息、指令、URL 详细信息 - 保留默认值，并根据需要选择编辑它们。例如，如果您只需要获取页面上的元标记，则无需收集所有其他信息。 结构化数据 是一个有用的选项，可以帮助您查找没有微标记的页面或查找其中的任何错误。如有必要，请勾选复选框。 对于限制和渲染部分，保留默认值。 转到配置→抓取配置→蜘蛛→高级 先进的 保留默认值。