logstash

Logstash 是一个开源数据收集引擎，具有实时流水线功能。Logstash 可以动态统一来自不同来源的数据，并将数据规范化为您选择的目的地。为各种高级下游分析和可视化用例清理和民主化您的所有数据。

集中、转换和存储你的数据

Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”。（当然，我们最喜欢的是Elasticsearch）

输入：采集各种样式、大小和来源的数据

数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

过滤器：实时解析和转换数据

数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。

Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响：

• 利用 Grok 从非结构化数据中派生出结构
• 从 IP 地址破译出地理坐标
• 将 PII 数据匿名化，完全排除敏感字段
• 整体处理不受数据源、格式或架构的影响
  

输出：选择你的存储，导出你的数据

尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。

Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。

Logstash 的强大功能编辑

Elasticsearch 等的摄取主力

具有强大 Elasticsearch 和 Kibana 协同作用的水平可扩展数据处理管道

可插拔管道架构

混合、匹配和编排不同的输入、过滤器和输出，以在管道中和谐播放

社区可扩展且对开发人员友好的插件生态系统

超过 200 个可用的插件，以及创建和贡献自己的插件的灵活性

日志和指标编辑

一切开始的地方。

• 处理所有类型的日志数据
  • 轻松摄取大量 Web 日志（如Apache）和应用程序日志（如Java 的 log4j）
  • 捕获许多其他日志格式，如syslog、网络和防火墙日志等
• 使用Filebeat享受互补的安全日志转发功能
• 通过TCP和UDP 从Ganglia、collectd、 NetFlow、JMX和许多其他基础设施和应用程序平台收集指标

  参考文章

• Logstash 介绍
• Logstash介绍
• Elastic 技术栈之 Logstash 基础
• Download Logstash
• 使用 Logstash 解析日志编辑