elasticsearch索引按日期拆分和定期删除

1.索引拆分原因

如果单个索引数据量过大会导致搜索变慢，而且不方便清理历史数据。
例如日志数据每天量很大，而且需要定期清理以往日志数据。例如原索引为sc_all_system_log，现按天拆分索引sc_all_system_log20220902，sc_all_system_log20220903，sc_all_system_log20220904，并且定期清理五天前索引。

实现最终效果

2022.09.03日志数据存入sc_all_system_log20220903
2022.09.04日志数据存入sc_all_system_log20220904

数据虽然存入了不同的索引中，但是搜索却指向一个索引搜索

实现方法

一个索引名称搜索出多个索引数据，其实实现原理很简单就是利用索引别名，不同的索引可以指向同一个索引别名，我们搜索时只要搜索索引别名即可。
具体实现方法，按照下面顺序看下去

定时清理策略

利用ES的索引生命周期，清理几天前索引，所以创建时间超过七天之后会自动删除
创建策略，后面会用到。

PUT _ilm/policy/policy_cktest_sc_system_log
{"policy":{"phases":{"delete":{"min_age":"7d",
        "actions":{"delete":{}}}}}}

创建索引模板

创建索引模板，索引模板主要是用来创建索引默认属性

PUT _template/sc_all_system_log
{"order":0,
    "index_patterns":[
        // 创建索引时，索引名称以这个为前缀时，默认使用此模板
        "sc_all_system_log*"],
    "settings":{"index":{"refresh_interval":"10s",
            "number_of_shards":"5",
            "number_of_replicas":"1",
            "lifecycle":{
                // 前面创建的索引定时清理策略，创建的索引会使用此清理策略
                "name":"policy_cktest_sc_system_log"}}},
    "mappings":{"_doc":{"properties":{"version":{"type":"keyword",
                    "index":"false"},
                "timestamp":{"type":"date",
                    "format":"8uuuu-MM-dd HH:mm:ss.SSS"},
                "message":{"type":"text",
                    "analyzer":"ik_smart",
                    "search_analyzer":"ik_smart"},
                "level":{"type":"keyword"},
                "namespace":{"type":"keyword"},
                "appName":{"type":"keyword"},
                "traceId":{"type":"keyword"},
                "spanId":{"type":"keyword"},
                "ip":{"type":"keyword"},
                "tags":{"type":"object"}}}},
    "aliases":{
        // 创建索引时指定的别名，很重要
        "sc_all_system_log":{}}}

插入数据自动创建索引

这里我们指定的索引名称sc_all_system_log20220903，无此索引时会自动创建索引，创建索引时发现是以sc_all_system_log为前缀会默认使用上面的模板创建。所以索引sc_all_system_log20220903指向的别名是sc_all_system_log

// 2022.09.03插入一条记录，创建sc_all_system_log20220903索引
POST /sc_all_system_log20220903/_doc
{"version":"1",
  "timestamp":"2022-09-03 17:50:00.000",
  "message":"程序异常请联系管理员处理",
  "level":"info",
  "namespace":"sc-test",
  "appName":"sc-test",
  "traceId":"123456789",
  "spanId":"123456789",
  "ip":"127.0.0.1",
  "tags":{"key1":"value1",
    "key2":"value2",
    "key3":"value3"}}
// 2022.09.04插入一条记录，创建sc_all_system_log20220904索引
POST /sc_all_system_log20220904/_doc
{"version":"1",
  "timestamp":"2022-09-03 17:50:00.000",
  "message":"程序异常请联系管理员处理，测试4",
  "level":"info",
  "namespace":"sc-test",
  "appName":"sc-test",
  "traceId":"123456789",
  "spanId":"123456789",
  "ip":"127.0.0.1",
  "tags":{"key1":"value1",
    "key2":"value2",
    "key3":"value3"}}

搜索时，我们只需要指向别名(sc_all_system_log)搜索即可，如下图