Logstash中配置默认索引映射

Logstash中配置默认索引映射

ES中使用自动检测对索引字段进行索引,例如IP、日期自动检测(默认开启)、数字自动检测(默认关闭)进行动态映射自动为文档设定索引,当需要为字段指定特定的类型时,可能使用Mapping在索引生成定义映射,

Logstash中默认索引的设置是基于模板的,对于indexer角色的logstash。首先我们需要指定一个默认的映射文件,文件的内容大致如下

(我们将它命名为logstash.json,存放在/home/apps/logstash/template/logstash.json):

{  "template" : "logstash*",  "settings" : {    "index.number_of_shards" : 5,    "number_of_replicas" : 1,    "index.refresh_interval" : "60s"  },  "mappings" : {    "_default_" : {       "_all" : {"enabled" : true},       "dynamic_templates" : [ {         "string_fields" : {           "match" : "*",           "match_mapping_type" : "string",           "mapping" : {             "type" : "string", "index" : "not_analyzed", "omit_norms" : true, "doc_values": true,               "fields" : {                 "raw" : {"type": "string", "index" : "not_analyzed", "ignore_above" : 256,"doc_values": true}               }           }         }       } ],       "properties" : {         "@version": { "type": "string", "index": "not_analyzed" },         "geoip"  : {           "type" : "object",             "dynamic": true,             "path": "full",             "properties" : {               "location" : { "type" : "geo_point" }             }         }       }    }  }}

其中template定义了匹配的索引模式,如果针对于特定的某个索引,则直接写成索引的名字即可。下面定义了映射的相关信息,与API的内容相同。

有了上面的配置文件,就可以在Logstash中配置output插件了:

output {    elasticsearch {        host => "localhost" #ES的服务器地址        protocol => "http" #使用的协议,默认可能会使用Node,具体还要看机器的环境        index => "logstash-%{+YYYY.MM.dd}" #匹配的索引模式        document_type => "test" #索引的类型,旧的配置会使用index_type,但是这个字段在新版本中已经被舍弃了,推荐使用document_type       manage_template => true #注意默认为true,一定不能设置为false        template_overwrite => true #如果设置为true,模板名字一样的时候,新的模板会覆盖旧的模板        template_name => "myLogstash" #注意这个名字是用来查找映射配置的,尽量设置成全局唯一的       template => "/home/apps/logstash/template/logstash.json" #映射配置文件的位置    }}

推荐阅读

    学习写字楼新选择6000元主流配置

    学习写字楼新选择6000元主流配置,,这种配置需要考虑双核心的办公和娱乐平台,充分考虑办公室的办公需求和娱乐需求,以约6000元的预算和cost-e

    酷睿I7 配置

    酷睿I7 配置,配置,玩家国度啦华硕 Rampage II Extreme(3800元)如果米不够,也可以把Extreme改为Gene,不过是小板内存推荐金士顿6G DDR3 2000骇

    提高3A四核羿龙II游戏配置的性能

    提高3A四核羿龙II游戏配置的性能,,以节能环保为主题的IT产业,目前3A低端平台处理器、主板芯片组、独立开发卡性能突出,特别是在与AMD的处理

    opporeno8参数配置及价格

    opporeno8参数配置及价格,面部,亿元,Oppo的荣誉2020年1月4日,接近屏幕关闭传感器是否支持双卡:支持oppor11splus什么时候上市的Oppo R11S P

    查看配置:酷睿i3530集展示办公平台

    查看配置:酷睿i3530集展示办公平台,,由于时间和精力的关系,我们不可能对所有的配置进行评论,希望我们能理解,我希望我们的评论能在那些需要帮

    3500元超额值学生娱乐结构的优化配置

    3500元超额值学生娱乐结构的优化配置,,作为一个DIY的主流用户领域的学生,每个用户51学生攒机的高峰。因为学生用户没有稳定的收入来源,攒机

    电脑配置快捷键|查看电脑配置快捷键

    电脑配置快捷键|查看电脑配置快捷键,,查看电脑配置快捷键1.在win10中,快捷键组合win+E已经变成了“快速访问”,不再是以前的“我的电脑了”2