Screaming Frog Log File Analyser

Screaming Frog Log File Analyser是一款非常好用的站长日志分析工具。分析日志是每个站长都要做的而一款好用的站长日志分析软件就能够帮助到用户不少。Screaming Frog Log File Analyser完整的SEO工具包应包括网站搜索器和数据分析器。这就是Screaming Frog SEO Spider的开发人员发布日志文件分析器的原因。该应用程序旨在提供有关搜索引擎随时间变化的更广泛的概述，并通过仔细分析日志文件以识别断开的链接以及孤立的页面或慢速页面来概述您网站的SEO状态。在改善网站排名时，它肯定会帮助您做出最佳决定。有需要的朋友赶快下载吧！

软件功能：

通配符用户代理匹配：

现在，您可以在配置要导入到项目中的用户代理时使用通配符匹配。这使其更加灵活，尤其是在用户代理字符串定期更改时，例如新的常绿Googlebot和Bingbot。

您可以从我们预定义的常见搜索引擎机器人列表中进行选择，也可以自行配置。

Googlebot和Bingbot的默认用户代理通配符匹配也已更新，以改善对“常绿”版本命名的跟踪。

删除参数：

现在，您可以提供一个参数列表，以从URL剥离并在导入日志文件时合并。

这在“新”项目配置中可用，当您知道参数或问题并需要合并数据时，该功能特别有用。

新的JSON时间戳支持：

在3.0版中，我们支持JSON格式的日志文件。没有通用标准，因此我们使用客户提供的JSON格式并提供尽可能多的支持。

现在，对该支持的支持进一步扩展，以涵盖我们由用户提供的一些不太常见的JSON时间戳示例。您所需要做的就是照常拖放日志文件（或文件夹），日志文件分析器将自动检测格式并进行分析。

Java 11更新：

尽管这几乎不会改变许多用户，但是我们已经在后台更新到Java 11。我们的SEO Spider即将面市。

可配置的用户代理：

现在，您可以完全配置要导入到项目中的用户代理。您可以从我们常见的搜索引擎机器人用户代理的预定义列表中进行选择，也可以取消选择与您无关的代理。

通过仅关注目标机械手，这有助于提高性能并减少磁盘

软件功能：

关于SEO机器人行为的宝贵见解

顾名思义，日志文件分析器可以分析已加载的日志文件中的数据，并提供有关已爬网URL和搜索引擎机器人体验的有用信息。它会自动生成图形，并以图形方式捕获给定时间段内事件，URL和响应代码的演变。

您可以浏览和分析统计信息，包括唯一URL的数量，事件总数，传输的平均字节数，发现的错误，重定向，客户端和服务器错误。

支持拖放操作，因此在创建新项目后，添加新文件进行分析非常容易。默认情况下，该应用程序将编译和处理来自Googlebot，Bingbot，Yandex和Baidu的数据，但是您可以轻松选择要过滤信息的bot。

发现不一致，错误和性能问题

日志文件分析器使所有网站所有者和SEO专家都可以访问由搜索引擎抓取的URL列表，并检查访问频率。

响应代码显示查询引擎已收到的响应，突出显示不一致和错误（如果有）。另外，通过监视下载的字节数以及搜索引擎接收响应所花费的时间，您可以轻松找到遇到性能问题的页面。

SEO日志分析以提供清晰的概述

关于日志文件分析器，还有更多发现。该实用程序已得到进一步改进，并可能在SEO专家的工具包中占有一席之地。目标是收集SEO日志文件中的数据并以某种方式显示它们，以便用户发现更容易分析大量数据以实现与SEO相关的目的。

使用说明：

导入URL数据

通过“导入的URL数据”选项卡，您可以导入CSV或Excel文件以及任何与URL相关的数据。例如，您可以从站点地图，URL导入爬网数据，也可以从Majestic或OSE导出“主页”。日志文件分析器将扫描前20行以查找包含有效URL的列。该URL必须包含协议前缀（http / https）。

您可以导入多个文件，并且数据将根据URL自动匹配，类似于VLOOKUP。当前，您不能直接从站点地图导入，但是可以将站点地图URL上传到CSV / Excel和“导入的URL数据”标签。

将爬网数据与日志文件事件组合在一起显然可以进行更强大的分析，因为它使您能够发现正在爬网但不在日志文件中或已被搜索自动程序爬网但在以下位置找不到的URL：孤立页面：爬网。

导入抓取数据

您可以导出Screaming Frog SEO Spider爬网的“内部”标签，然后将文件直接拖放到“导入的URL数据”标签窗口中。或者，您可以使用顶部菜单中的“导入> URL数据”按钮或“项目>导入URL数据”选项。这将快速将数据导入日志文件分析器和数据库的“导入的URL数据”选项卡。

“导入的抓取数据”选项卡仅显示导入的数据，没有其他显示。但是，您现在可以使用“ URL”和“响应代码”选项卡中的“查看”过滤器来查看爬网数据和日志文件数据。

日志文件分析器默认为“日志文件”，但是如果将视图更改为“匹配URL数据”，它将显示爬网数据以及日志文件数据（向右滚动）。

“不在URL数据中”将显示在日志中找到但在导入的爬网数据中不存在的URL。例如，这些可能是孤立的URL，现在已重定向的旧URL，或者仅仅是来自外部网站的错误链接。

“不在日志文件中”将向您显示在爬网中找到但在日志文件中找不到的URL。这些可能是搜索机器人尚未搜索到的URL，或者可能是例如最近发布的新URL。

删除导入的URL数据

通过单击顶部菜单选项中的“项目>清除URL数据”，可以快速从项目中删除“导入的URL数据”。

请注意，一旦删除数据，将无法恢复，除非再次导入数据。

将数据迁移到新计算机

日志文件分析器没有导出/导入项目的正式方法。移至新计算机时，最简单的操作是仅创建一个新项目并重新导入日志文件。如果要复制现有项目，则必须将其复制到项目文件夹中。您可以通过转到“配置”->“工作区”找到此文件的位置。

工作空间

您可以在此处设置另一个位置来存储项目数据。

默认情况下，日志文件分析器将项目存储在以下位置：

Windows：{主驱动器号}：\ Users \ {username} \。 ScreamingFrogLogfileAnalyser \项目

MacO：/用户/ {用户名} /。 ScreamingFrogLogfileAnalyser /项目

Ubuntu：/ home / {用户名} /。 ScreamingFrogLogfileAnalyser /项目

选择替代位置时，需要考虑两个方面，即性能和尺寸。驱动器速度越快，日志文件分析器将执行得越好。在这里选择网络驱动器是确保性能的可靠方法！日志文件分析器至少需要与导入的日志大小一样大的空间。

用户代理

创建新项目时，可以配置要导入到项目中的用户代理。您可以从预定义的常见搜索引擎机器人用户代理列表中选择，也可以取消选择与您无关的代理。通过仅关注目标机械手，这有助于提高性能并减少磁盘使用量。

您还可以添加自己的自定义用户代理，然后将其存储并为项目选择它。

验证机器人

现在，您可以查看何时上传日志文件或将日志文件上传到项目后，以自动验证搜索引擎机器人。

上载日志时，您将有机会在“用户代理”选项卡下勾选“验证机器人”选项。

如果您已导入日志文件或要验证搜索引擎ro

追溯，您可以在“项目>验证机器人”菜单下进行操作。

当模仿来自特定搜索引擎用户代理的请求时，搜索引擎机器人通常会被其他机器人或爬虫（包括我们自己的SEO Spider软件）欺骗。因此，在分析日志时，重要的是要知道哪些事件为真，哪些事件可以打折。

日志文件分析器将根据各自的指南验证所有主要的搜索引擎机器人。例如，对于Googlebot验证，日志文件分析器将执行反向DNS查找，验证匹配的域名，然后使用host命令运行正向DNS来验证其与原始请求IP相同。

验证之后，可以使用“验证状态”过滤器来查看验证，欺骗或验证中是否存在任何错误日志事件。

软件特色：

识别抓取的URL

查看和分析Googlebot和其他搜索机器人可以抓取的URL，时间和频率。

找到爬网频率

了解有关哪些搜索机器人最常抓取，每天抓取多少URL以及机器人事件总数的更多信息。

查找断开的链接和错误

发现抓取您的网站时搜索引擎机器人遇到的所有响应代码，断开的链接和错误。

审核重定向

查找搜索机器人遇到的临时和永久重定向，这可能与浏览器或模拟爬网中的重定向不同。

改善检索预算

分析您网站上最频繁爬网的URL和目录，以识别浪费并提高爬网效率。

识别大页面和慢页面

查看平均下载的字节数以及识别大页面或性能问题所花费的时间。

查找未爬网和孤立的页面

导入网址列表并匹配日志文件数据，以识别孤立或未知的网页或Googlebot尚未抓取的网址。

合并并比较任何数据

使用“ URL”列来导入任何数据并将其与日志文件数据匹配。因此，请导入爬网，说明或外部链接数据以进行高级分析。

安装方式：

1.双击安装程序，进入“尖叫青蛙日志文件分析器”安装界面。用户可以选择默认安装或自定义安装，然后单击[安装]。

2.弹出以下安装成功提示，单击[关闭]以结束。

3.运行Screaming Frog日志文件分析器，进入以下许可协议界面，然后单击[接受]。

4.然后进入主软件界面，如下所示。

5.单击菜单栏上的[许可证]，然后在选项下选择[输入许可证]。

6.运行注册机并随意输入用户名以生成许可证密钥。

7.将注册机上的用户名和许可证密钥复制到软件激活界面的相应列，然后单击[确定]。

8.以下提示成功弹出激活提示，单击[确定]。

9.重新启动Screaming Frog Log File Analyzer程序以显示活动版本。