ElasticSearch——刷盘原理流程

ElasticSearch——刷盘原理流程

刷盘原理流程

整个过程会分成几步：

1. 数据会同时写入buffer缓冲区和translog日志文件
2. buffer缓冲区满了或者到时间了（默认1s），就会将其中的数据转换成新的segment并写入系统文件缓存，这一步叫 refresh
3. 其中后台会自动合并小的segment成大的segment； 这一步叫段合并
4. 当translog达到大小的阈值(默认512M)或者flush默认时长（30m），则会执行flush操作： - 内存中数据写入新的segment放入缓存（清空内存区）- 一个commit point写入磁盘，表示哪些segment已写入磁盘- 将缓存的segement写入磁盘（fsync命令）- 清空旧的translog（因为没用了）

5.translog日志文件也需要持久化到磁盘：

• 同步刷盘：每次修改操作完成后立刻执行fsync命令刷盘
• 异步刷盘：默认每5s执行fsync命令刷盘

名词和操作解释

• index Buffer 是ES内存中的一部分；OS 系统文件缓存是操作系统的，不属于ES内存
• refresh操作：定时将ES缓冲区的数据转换成segment并写入系统文件缓存的过程（默认1s一次）；因为数据只有到了系统文件缓存才能被搜索到，这个延迟也是ES被称为近实时搜索的原因
• translog：日志文件，因为不管是ES缓冲区还是系统文件缓存只要没到磁盘，一旦服务器宕机，数据就丢失了，所以有了translog日志文件，因为该文件是顺序写入所以开销不大，默认是同步刷盘，还可以设置成异步的（默认5s刷盘一次）
• flush：因为上述的数据只是到了系统文件缓存，虽然有translog的持久化保证数据的不丢失，但translog会越来越大，文件越大一旦宕机恢复的时候不是越麻烦？所以数据本身的持久化和translog文件清理的机制就叫flush，它会将系统文件缓存中的segment数据持久化到磁盘，同时清除旧的translog，默认30分钟一次或者translog大小达到512M阈值，有以下几步：1.内存中数据写入新的segment放入缓存（清空内存区）2.一个commit point写入磁盘，表示哪些segment已写入磁盘3.将缓存的segement写入磁盘（fsync命令）4.清空旧的translog（因为没用了）
• fsync：这个可能是很多人理解错的地方，这个只是个系统命令，一个将系统文件缓存中的数据持久化到磁盘的命令，所以flush在持久化segment段数据的时候会调用，同时translog持久化到磁盘的时候也会调用
• segment file：一个存储了倒排索引的文件，搜索也会按照段来搜索
• 段合并：由于refresh会创建一个新的段 ，这样会导致短时间内的段数量暴增。而段数目太多会带来较大的麻烦。 每一个段都会消耗文件句柄、内存和 cpu 运行周期。更重要的是，每个搜索请求都必须轮流检查每个段；所以段越多，搜索也就越慢。Elasticsearch 通过在后台进行段合并来解决这个问题。小的段被合并到大的段，然后这些大的段再被合并到更大的段。段合并的时候会将那些旧的已删除文档从文件系统中清除。被删除的文档（或被更新文档的旧版本）不会被拷贝到新的大段中。
• commit point：记录当前所有可用的segment，会维护一个.del文件（es删除的时候会先在.del文件中声明某个document被删除了，此时该document还是可以被查询出的，但是返回结果的时候会根据commit point维护的.del文件将被删除的document过滤掉）

相关设置

• index.refresh_interval：refresh刷新频率，默认1s一次，可以设置为-1为禁用
• index.translog.durability： - request：同步刷盘（默认）- async：异步刷盘
• index.translog.sync_interval：translog异步刷盘间隔时间；默认5s一次
• index.translog.flush_threshold_size：当translog的大小达到此值时会进行一次flush操作。默认是512m
• index.translog.flush_threshold_period：在指定的时间间隔内如果没有进行flush操作，会进行一次强制flush操作。默认是30分钟
• index Buffer 大小设置： - indices.memory.index_buffer_size：接受百分比或字节大小值，默认为10%，意味着分配给node的总内存的10%用于索引缓冲区- indices.memory.min_index_buffer_size：如果将index_buffer_size设置为备份比，则可以用此设置指定绝对最小值，默认为48mb- indices.memory.max_index_buffer_size：如果将index_buffer_size设置为百分比，则可以用此设置指定绝对最小值，默认无限制