Logstash是一款专业的日志管理系统。日志管理就来使用Logstash。它是一个数据处理引擎，最初用于收集日志。现在，它具有丰富的功能，可以帮助用户从不同来源收集数据，并将数据转换为服务器。该软件提供了多种配置选项，并可以设置数据输入方法。 ，您可以将数据输出存储方法设置为“是”，以便可以更轻松地管理随时间变化的配置更新。该软件非常通用，可以基于Logstash事件向Librato发送指标，注释和警报，并且可以基于预先配置的服务发送带有升级策略的通知，您可以将Logstash事件发送至Amazon Simple Storage Service，快速收集数据从多个终端，并将数据传输到指定的存储终端进行存储。如果需要此软件，请下载！
使用说明：
使用Logstash解析日志
在“存储第一个事件”中，您创建了一个基本的Logstash管道来测试Logstash设置。在现实世界中，Logstash管道更为复杂：它通常具有一个或多个输入，过滤器和输出插件。
在本部分中，您将创建一个Logstash管道，该管道使用Filebeat来获取Apache Web日志作为输入，解析这些日志以从日志中创建特定的命名字段，然后将解析后的数据写入Elasticsearch集群。无需在命令行上定义管道配置，而是在配置文件中定义管道。
配置Filebeat以将日志行发送到Logstash
在创建Logstash管道之前，将配置Filebeat以将日志行发送到Logstash。 Filebeat客户端是一种轻量级，资源友好的工具，可以从服务器上的文件收集日志，并将这些日志转发到Logstash实例进行处理。 Filebeat专为可靠性和低延迟而设计。 Filebeat在主机上仅占用很少的资源，而Beats输入插件将Logstash实例上的资源需求降至最低。
Logstash的默认安装包括Beats输入插件。 Beats输入插件允许Logstash从Elastic Beats框架接收事件，这意味着任何用Beats框架编写的Beat，例如Packetbeat和Metricbeat，也可以将事件数据发送到Logstash。
安装Filebeat之后，您需要对其进行配置。打开位于Filebeat安装目录中的filebeat.yml文件，并将内容替换为以下几行。确保路径指向logstash-tutorial.log，这是您先前下载的示例Apache日志文件：
Filebeat处理的文件的绝对路径。
保存您的更改。
为了简化配置，您将不会像实际情况那样指定TLS / SSL设置。
在数据源计算机上，使用以下命令运行Filebeat：
为Filebeat输入配置Logstash
接下来，创建一个使用Beats输入插件的Logstash配置管道，以从Beats接收事件。
以下本表示配置管道的框架
该框架无法正常工作，因为在输入和输出部分中没有定义有效的选项。
首先，将框架配置管道复制并粘贴到first-pipeline.conf主Logstash目录中命名的文件中。
接下来，通过输入将以下行添加到first-pipeline.conf文件部分，以将Logstash实例配置为使用Beats inpu
t插件：
您将配置Logstash以在以后写入Elasticsearch。现在，您可以将以下行添加到输出部分，以在运行Logstash时将输出打印到stdout：
完成后，first-pipeline.conf的内容应如下所示：
要验证您的配置，请运行以下命令：
--config.test_and_exit选项解析您的配置文件并报告任何错误。
如果配置文件通过配置测试，请使用以下命令启动Logstash：
--config.reload.automatic选项启用自动重载配置，因此您不必在每次修改配置文件时都停止并重新启动Logstash。
当Logstash启动时，您可能会看到有关Logstash的一个或多个警告消息，而忽略了pipelines.yml文件。您可以放心地忽略此警告。 Pipelines.yml文件用于在单个Logstash实例中运行多个管道。对于此处显示的示例，您正在运行单个管道。
如果管道正常运行，您应该在控制台上看到一系列类似于以下事件：
软件功能：
收藏品等
输入，过滤和输出
Logstash可以动态收集，转换和传输数据，而不考虑格式或复杂性。使用Grok从非结构化数据中获取结构，从IP地址解码地理坐标，匿名化或排除敏感字段，并简化整个处理过程。
输入
收集各种样式，大小和来源的数据
数据经常以分散或集中的各种形式存在于许多系统中。 Logstash支持各种输入选项，并且可以同时捕获来自许多常见来源的事件。您可以轻松地以连续流方式从日志，指标，Web应用程序，数据存储和各种AWS服务中收集数据。
筛选
实时分析和数据转换
在从源到存储库的数据传输过程中，Logstash过滤器能够解析事件，识别命名字段以构建结构，并将其转换为通用格式，以提供更强大的分析和商业价值。
Logstash可以动态转换和解析数据，而不考虑格式或复杂性：
使用Grok从非结构化数据得出结构
从IP地址解密地理坐标
匿名化PII数据并完全排除敏感字段
简化整体处理，而不受数据源，格式或结构的影响
使用我们丰富的过滤器库和通用的Elastic Common Schema，您可以实现无限的可能性。
输出
选择您的存储库，导出数据
尽管Elasticsearch是我们首选的输出方向，并且可以为我们的搜索和分析带来无限的可能性，但这并不是唯一的选择。
Logstash提供许多输出选项，您可以将数据发送到要指定的位置，并可以灵活地解锁许多下游用例。
可扩展
以自己的方式创建和配置管道。 Logstash使用可插拔框架，并具有200多个插件。您可以混合和匹配不同的输入选项，过滤器和输出选项，仔细排列它们，并使它们在管道中和谐地运行。
从自定义应用程序收集数据？找不到所需的插件吗？ Logstash插件易于构建。我们拥有出色的插件开发API和插件生成器，可帮助您开始创建和共享结果。
软件特色：
即插即用
使用Elastic Stack更快地获取见解
Logstash模块通过流行的数据源（例如ArcSight和Netflow）提供即时的视觉体验。通过立即部署收集管道和复杂的仪表板，您可以在几分钟内开始数据探索。
建立可信的交付渠道
如果Logstash节点发生故障，Logstash将使用一个持久队列来确保正在运行的事件至少传递一次。那些未正常处理的消息将被发送到死信队列以进行进一步处理。具有吸收吞吐量的能力，现在您无需使用其他队列层，Logstash可以顺利通过高峰期。此外，我们还允许您完全确保收集管道的安全。
全面监控您的部署
Logstash管道通常有多种用途，并且可能变得非常复杂，因此充分了解管道性能，可用性和瓶颈非常重要。使用监视和管道查看器功能，您可以轻松观察和研究活动的Logstash节点或整个部署。
使用单个UI集中管理部署
借助管道管理形界面（UI）来管理Logstash的部署，您可以轻松地编排和管理自己的管道。此外，该管理功能与内置安全功能无缝集成，可避免任何意外操作
软件优势：
Logstash是具有实时管道功能的开源数据收集引擎。 Logstash可以动态统一来自不同来源的数据，并将数据标准化到您选择的目标位置。清除所有数据并使之民主化，以用于各种高级下游分析和可视化用例。
尽管Logstash最初促进了日志收集方面的创新，但其功能远远超出了用例。任何类型的事件都可以通过各种输入，过滤器和输出插件来丰富和转换，许多本机编解码器进一步简化了提取过程。 Logstash通过利用大量和多种数据来加快您的见解。
Logstash的功能是摄取Elasticsearch等的主要来源。
具有强大的Elasticsearch和Kibana协作功能的水平可扩展数据处理管道
可插拔管线架构
混合，匹配和编排不同的输入，过滤器和输出以协调管道
社区可扩展且对开发人员友好的插件生态系统
超过200个可用的插件，以及创建和贡献自己的灵活性日志和指标
从哪儿开始。
处理所有类型的日志数据
轻松获取大量Web日志（例如Apache）和应用程序日志（例如Java的log4j）
捕获许多其他日志格式，例如syslog，网络和防火墙日志等。
通过Filebeat享受补充安全日志转发功能
通过TCP和UDP从Ganglia，收集的NetFlow，JMX和许多其他基础架构和应用程序平台收集指标
互联网
解锁万维网。
将HTTP请求转换为事件
使用互联网服务（例如Twitter）进行社交情绪分析
Webhook对GitHub，HipChat，JIRA和无数其他应用程序的支持
启用许Watcher警报用例
通过按需轮询HTTP端点来创建事件
通常从Web应用程序界面捕获运行状况，性能，指标和其他类型的数据
非常适合控制轮询优先于接收的情况
