Screaming Frog SEO Spider 是 SEO 工具库中最重要的工具之一。在分析互联网资源时，这项服务是不可替代的，因为它允许您自动收集和构建有关网站的最重要数据，从而大大加快工作速度。
如果您正在开发自己的网络项目或推广客户爬取你的网站 – 完整指南的网站，那么 Screaming Frog 可能对您来说很熟悉。但您是否100%利用了现有的机会呢？在本文中，我们准备了有关如何使用此工具的最详细的指南。我们希望您能在这里找到很多新的和有用的信息。
基本站点扫描
如何抓取整个网站
当您开始抓取网站时，重要的是提前确定您想要 印度尼西亚数据 获取爬取你的网站 – 完整指南什么信息、网站有多大以及您需要抓取网站的哪些部分来访问所需的数据。
注意：有时对于大型资源，最好将爬虫限制在 URL 的子集内，以获得具有良好代表性的数据样本。这使得文件大小和数据导出更易于管理。我们将在下 手动数据发现 面更详细地讨论这一点。
要抓取您的整个网站（包括所有子域），您需要对爬取你的网站 – 完整指南蜘蛛配置进行一些小的更改才能开始。
默认情况下，Screaming Frog 只会扫描您输入的子域。蜘蛛遇到的任何其他子域都将被视为外部链接。要绕过其他子域，您需要更改 Spider 配置菜单中的设置。通过检查“抓取所有子域”，您可以确保 SEO Spider 抓取它遇到的指向您网站上的其他子爬取你的网站 – 完整指南域的任何链接。
步骤 1：
第 2 步：
如果您从特定子文件夹或子目录开爬取你的网站 – 完整指南始扫描，但仍然希望 Screaming Frog 抓取整个站点，请选中“在开始文件夹外抓取”框。
默认情况下，SEO Spider 设置为仅抓取您正在 加拿大數據 抓取的子文件夹或子目录。如果您想要抓取整个站点并从特定子目录运行，请确保配置设置为抓取起始文件夹之外的内容。
提示：为了节省时间和磁盘空间，请注意扫描时可能不需要的资源。取消选中图像、CSS、JavaScript 和 SWF 资源以减少抓取大小。