详解EFK搭建过程及ES的生命周期管理

/etc/filebeat/filebeat.yml

filebeat.inputs: 
  
# Each - is an input. Most options can be set at the input level, so 
# you can use different inputs for various configurations. 
# Below are the input specific configurations. 
  
- type: log 
  
 # Change to true to enable this input configuration. 
 enabled: true 
  
 # Paths that should be crawled and fetched. Glob based paths. 
 paths: 
 - d:/ams_logs/*.log 
 encoding: gbk 
  
# 输出配置 
output.elasticsearch: 
 # Array of hosts to connect to. 
 hosts: ["ES服务器IP:9200"] 

3、重启服务

service filebeat restart

效果图如下：

四、ES生命周期管理

对于日志数据，由于单个索引的存储量的瓶颈，ES一般推荐使用时间作为后缀为同一份日志数据创建多个索引，而用户则通过一个定时器来定时删除过期的索引。ES在6.6之后，在x-pack中推出了索引生命周期管理相关的API来简化与增强类似日志数据索引的管理。该方案基于时间将索引数据分为四个阶段：Hot、Warm、Cold、Delete，对于这四种并给不同的数据阶段，ES也给出了不同的数据处理方式，最终实现日志的生命周期管理

1、策略配置

管理→Index Lifecycle Policies，Create Policy,

2、日志生成

filebeat提供了两种日志生成方式。一般情况下，建议使用默认生成策略

2.1、默认生成策略

打开filebeat配置文件，添加如下内容。使用本方案所对应的策略配置名称，必须为 beats-default-policy

output.elasticsearch: 
 hosts: ["ES服务器IP:9200"] 
 ilm.enabled: true 
 ilm.rollover_alias: "fsl.ams" 
 ilm.pattern: "{now/d}-000001"  

2.2、高级生成策略

打开filebeat配置文件，添加如下内容。在6.6.1版本下，使用本方案前，请事先在es上创建合适的索引模板。否则其直接生成的索引将不会存在别名(疑似bug)，最终造成无法使用生命周期策略。

output.elasticesarch: 
 hosts: ["ES服务器IP:9200"] 
 index: fsl.ams-%{+yyyy.MM.dd} 
setup.template.name: "fsl.ams" 
setup.template.pattern: "fsl.ams-*" 
setup.template.settings.index.lifecycle.rollover_alias: "fsl.ams" 
setup.template.settings.index.lifecycle.name: "beats-default-policy" 

【编辑推荐】

1. 如何用GVM管理Go项目
2. GitHub开源的10个超棒后台管理面板
3. 如何在Ubuntu上安装和配置PostgreSQL
4. 你所不知道的Linux文件与管理，带你进入Linux世界

（编辑：南京站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!