ScrapydWeb

ScrapydWeb是一款专业的爬虫管理平台。web抓取项目管理就来使用ScrapydWeb。您可以向软件添加多个地址，可以在软件上运行蜘蛛以显示网络信息，收集软件上的所有收集服务，可以将新的ScrapyD服务器项目添加到软件分析，实现集群管理模式，方便多个Web项目，Grab信息都在软件显示中，您可以查看列表项，您可以查看日志内容，可以通过可视化查看日志数据，可以分析集合数据，可以建立一个分布式程序来执行爬网程序任务，您可以在Heroku上设置群集，您可以在Web界面上管理任务，组合时序函数可以在任何时间段运行蜘蛛来执行抓取任务，如果您需要这个软件，可以下载它！

软件功能：

首先，SCRAPYD群集管理

支持所有SCRAPYD JSON API

数据，过滤器，并选择任意数量的节点

只需单击几次以在多个节点上执行命令

二，谱分析

统计收集

进度可视化

日志分类

第三，增强功能

自动包装项目

和集成logparser.

定时器任务

监测和报警

操作用户界面

Web UI的基本身份验证

官方教程：

如何轻松敏捷地部署和监视分布式爬行动物项目

安装和设置

1.确保已安装并启动所有主机并计划。请注意，如果要远程访问SCRAPYD服务器，则必须手动将Bind_Address设置为，Bind_address = 0.0.0，然后重新启动SCRAPYD以使其在外部可见。

2，在其中一个主机上使用命令安装ScrapyDWebpip安装ScrapyDWeb。

3.通过命令启动ScrapyDwebsCrapyDWeb。 （将在第一个启动中生成配置文件以自定义设置。）

4.启用HTTP基本身份验证（可选）。

5.添加SCRAPYD Server，支持字符串和元组格式，可以附上基本身份验证以访问SCRAPED服务器，以及用于分组或标签的字符串。

6.按命令重新启动SCRAPYDWESCRAPYDWEB。

访问Web界面

访问http://127.0.0.1:5000，然后使用上面的用户名/密码登录。

服务器页面将自动显示所有SCRAPED服务器。

您可以按数据包和过滤器选择任意数量的SCRAPYD服务器，然后只需在群集中调用Scripd HTTP JSON API。

在与Logparser集成后，作业页面可以自动显示抓取作业的页面和项目信息。

默认情况下，ScRapyDWeb将定期为抓取作业创建快照，并将其保存在数据库中，以避免在重新启动SCRAPED服务器时丢失作业信息。 （第12号）

部署项目

将scrapy_projects_dir选项设置为包含scrapy项目的路径后，scrapydweb将列出目录中的所有项目，然后选择最新的修改项目。只需选择一个项目，然后按按钮即可提交它，然后在后台包装它。

如果scrapydweb正在远程服务器上运行，我该怎么办？除了上传蛋文件外，还可以使用归档软件或将项目文件夹压缩到存档文件tar -czvf projectname.tar.gz / projectName，然后上传。

您可以选择任意数量的SCRAPYD服务器来部署项目。

跑蜘蛛

从下拉框中选择一个项目，一个版本和蜘蛛。

任何SCAPACE设置或蜘蛛参数都可以自由传递。

基于APScheduler创建金属任务的支持。 （如果要同时启动多个蜘蛛，请不要忘记调整ScrapyD的Max-Proc选项）

您可以选择任意数量的SCRAPYD服务器来运行蜘蛛。

日志分析和可视化

如果在同一台计算机上运行SCRAPYD和SCRAPYDWEB，建议设置SCRAPYD_LOGPARSER选项，以便使用SCRAPYDWEB自动启动LOGPARSER。 Logparser的子进程将在分析和常规增量中指定目录SCAPETE日志文件，以便统计页面的加载不会消耗内存和带宽

由于原始日志文件。

再次，在主机的其余部分上安装并运行Logpararer。

如果您使用的是Scrapy 1.5.1及更早版本，Logparser可以通过Scrapy的内置Telnet控制台收集爬网关和爬虫。

定时器任务

检查任务的参数及其执行结果。

您可以自由暂停，继续，触发，停止，编辑和删除任务。

电子邮件通知

ScrapyDWeb可以通知您并发送电子邮件，并在轮询子进程期间定期访问特定条件时，发送包含当前作业统计信息的电子邮件。

1.设置您的电子邮件帐户：

2，设置电子邮件工作时间和基本触发条件：

上面的设置意味着当当前时间在工作日中达到9分，12或17个点时，将发送一次电子邮件。这也适用于工作完成。

3.除了上述基本触发外，ScrapyDWeb还提供各种触发器来处理特定类型的日志，包括“关键”，“错误”，“警告”，“重定向”，“重试”和“忽略”。

上述设置意味着如果在Scrapy日志中找到三个或更多的关键日志，ScrapyDWeb将自动停止当前的捕获作业。如果您符合电子邮件工作时间的条件，将发送电子邮件。

移动UI接口

软件特色：

支持时序任务计划定期运行蜘蛛计划

遵守数据库中的工作信息

适应Logparser v0.8.1，如果可用，请在统计页面中显示爬桥和爬虫。

支持备份统计信息JSON文件以防止SCRAPYD删除原始日志文件

支持Email_Username（问题28）

为“作业，日志和项目”页面引入新UI

在部署项中添加“从服务器同步”页面并运行Spider页面复选框

将“概述”重命名为“服务器”，将“仪表板”重命名为“作业”