返回
ScrapydWeb V2022 正式版

ScrapydWeb

立即下载

小编提示:PC版不适合移动端,如下载有问题点击反馈!

软件介绍

ScrapydWeb是一款专业的爬虫管理平台。web抓取项目管理就来使用ScrapydWeb。您可以向软件添加多个地址,可以在软件上运行蜘蛛以显示网络信息,收集软件上的所有收集服务,可以将新的ScrapyD服务器项目添加到软件分析,实现集群管理模式,方便多个Web项目,Grab信息都在软件显示中,您可以查看列表项,您可以查看日志内容,可以通过可视化查看日志数据,可以分析集合数据,可以建立一个分布式程序来执行爬网程序任务,您可以在Heroku上设置群集,您可以在Web界面上管理任务,组合时序函数可以在任何时间段运行蜘蛛来执行抓取任务,如果您需要这个软件,可以下载它!

软件功能:

首先,SCRAPYD群集管理

支持所有SCRAPYD JSON API

数据,过滤器,并选择任意数量的节点

只需单击几次以在多个节点上执行命令

二,谱分析

统计收集

进度可视化

日志分类

第三,增强功能

自动包装项目

和集成logparser.

定时器任务

监测和报警

操作用户界面

Web UI的基本身份验证

官方教程:

如何轻松敏捷地部署和监视分布式爬行动物项目

ScrapydWeb

安装和设置

1.确保已安装并启动所有主机并计划。请注意,如果要远程访问SCRAPYD服务器,则必须手动将Bind_Address设置为,Bind_address = 0.0.0,然后重新启动SCRAPYD以使其在外部可见。

2,在其中一个主机上使用命令安装ScrapyDWebpip安装ScrapyDWeb。

3.通过命令启动ScrapyDwebsCrapyDWeb。 (将在第一个启动中生成配置文件以自定义设置。)

4.启用HTTP基本身份验证(可选)。

ScrapydWeb

5.添加SCRAPYD Server,支持字符串和元组格式,可以附上基本身份验证以访问SCRAPED服务器,以及用于分组或标签的字符串。

ScrapydWeb

6.按命令重新启动SCRAPYDWESCRAPYDWEB。

访问Web界面

访问http://127.0.0.1:5000,然后使用上面的用户名/密码登录。

服务器页面将自动显示所有SCRAPED服务器。

您可以按数据包和过滤器选择任意数量的SCRAPYD服务器,然后只需在群集中调用Scripd HTTP JSON API。

ScrapydWeb

在与Logparser集成后,作业页面可以自动显示抓取作业的页面和项目信息。

默认情况下,ScRapyDWeb将定期为抓取作业创建快照,并将其保存在数据库中,以避免在重新启动SCRAPED服务器时丢失作业信息。 (第12号)

ScrapydWeb

部署项目

将scrapy_projects_dir选项设置为包含scrapy项目的路径后,scrapydweb将列出目录中的所有项目,然后选择最新的修改项目。只需选择一个项目,然后按按钮即可提交它,然后在后台包装它。

ScrapydWeb

如果scrapydweb正在远程服务器上运行,我该怎么办?除了上传蛋文件外,还可以使用归档软件或将项目文件夹压缩到存档文件tar -czvf projectname.tar.gz / projectName,然后上传。

您可以选择任意数量的SCRAPYD服务器来部署项目。

ScrapydWeb

跑蜘蛛

从下拉框中选择一个项目,一个版本和蜘蛛。

任何SCAPACE设置或蜘蛛参数都可以自由传递。

基于APScheduler创建金属任务的支持。 (如果要同时启动多个蜘蛛,请不要忘记调整ScrapyD的Max-Proc选项)

您可以选择任意数量的SCRAPYD服务器来运行蜘蛛。

ScrapydWeb

日志分析和可视化

如果在同一台计算机上运行SCRAPYD和SCRAPYDWEB,建议设置SCRAPYD_LOGPARSER选项,以便使用SCRAPYDWEB自动启动LOGPARSER。 Logparser的子进程将在分析和常规增量中指定目录SCAPETE日志文件,以便统计页面的加载不会消耗内存和带宽

由于原始日志文件。

ScrapydWeb

再次,在主机的其余部分上安装并运行Logpararer。

如果您使用的是Scrapy 1.5.1及更早版本,Logparser可以通过Scrapy的内置Telnet控制台收集爬网关和爬虫。

ScrapydWeb

定时器任务

检查任务的参数及其执行结果。

您可以自由暂停,继续,触发,停止,编辑和删除任务。

ScrapydWeb

电子邮件通知

ScrapyDWeb可以通知您并发送电子邮件,并在轮询子进程期间定期访问特定条件时,发送包含当前作业统计信息的电子邮件。

1.设置您的电子邮件帐户:

ScrapydWeb

2,设置电子邮件工作时间和基本触发条件:

上面的设置意味着当当前时间在工作日中达到9分,12或17个点时,将发送一次电子邮件。这也适用于工作完成。

ScrapydWeb

3.除了上述基本触发外,ScrapyDWeb还提供各种触发器来处理特定类型的日志,包括“关键”,“错误”,“警告”,“重定向”,“重试”和“忽略”。

ScrapydWeb

上述设置意味着如果在Scrapy日志中找到三个或更多的关键日志,ScrapyDWeb将自动停止当前的捕获作业。如果您符合电子邮件工作时间的条件,将发送电子邮件。

移动UI接口

ScrapydWeb

软件特色:

支持时序任务计划定期运行蜘蛛计划

遵守数据库中的工作信息

适应Logparser v0.8.1,如果可用,请在统计页面中显示爬桥和爬虫。

支持备份统计信息JSON文件以防止SCRAPYD删除原始日志文件

支持Email_Username(问题28)

为“作业,日志和项目”页面引入新UI

在部署项中添加“从服务器同步”页面并运行Spider页面复选框

将“概述”重命名为“服务器”,将“仪表板”重命名为“作业”

精品推荐
猜你喜欢
用户评论