Elasticsearch实战教程：如何使用集群索引数据来进行统计多个数据？

🎬 鸽芷咕：个人主页
** 🔥 个人专栏**: 《C++干货基地》《粉丝福利》⛺️生活的理想，就是为了理想的生活!

引入

Elasticsearch聚合查询是一种强大的工具，允许我们对索引中的数据进行复杂的统计分析和计算。本文将详细解释一个聚合查询示例，该查询用于统计满足特定条件的文档数量，并计算其占总文档数量的百分比。

文章目录

一、集群的概念

1.1 节点以及节点类型

Elasticsearch集群是由一个或多个节点组成的分布式系统，每个节点可以运行在不同的物理服务器或虚拟机上。节点可以分为不同的类型：

如下图 ，就是一个三个节点组成的es集群，p0、p1、p2表示一个节点中的分片，R0、R1、R2表示分片对应的副本

• 主节点（Master Node） ：负责管理集群范围内的操作，如索引创建和节点加入等。通常情况下，建议集群中只有少数几个主节点。
• 数据节点（Data Node） ：存储索引数据及执行与数据相关的操作，如索引、搜索和聚合等。大多数情况下，数据节点也参与主节点选举。
• 客户端节点（Client Node） ：作为集群的接入点，用于转发请求到数据节点或主节点，从而减轻数据节点和主节点的负载。

1.2 请求和响应流程

1. 客户端发送请求 HTTP请求：客户端通过发送HTTP请求与Elasticsearch集群进行交互。请求可以是读取操作（如搜索、获取文档）、写入操作（如索引新文档、更新文档）或管理操作（如创建索引、设置映射）。

请求路由：如果ES集群配置了客户端节点（client node），则客户端请求首先到达客户端节点。客户端节点根据请求类型和路由信息，决定将请求发送到哪些节点执行。如果没有客户端节点，请求会直接发送到任意的数据节点或主节点上。

1. 节点接收和处理请求

• 以下是一个简单的es集群架构：

二、集群的搭建

2.1 Elasticsearch集群搭建

在搭建Elasticsearch集群之前，确保你已经安装了Java环境。以下是基本步骤：

1. 下载和安装Elasticsearch：bashwget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.0.0-linux-x86_64.tar.gztar -zxvf elasticsearch-7.0.0-linux-x86_64.tar.gzcd elasticsearch-7.0.0/
2. 配置Elasticsearch：编辑配置文件 config/elasticsearch.yml，配置节点名称、集群名称、网络绑定等。yamlcluster.name: my-clusternode.name: node-1network.host: 0.0.0.0
3. 启动Elasticsearch：bash./bin/elasticsearch确保重复上述步骤来配置和启动其他节点，以组成一个完整的集群。

2.2 Kibana安装

Kibana是Elasticsearch的可视化工具，用于查询和分析数据。安装步骤如下：

1. 下载和解压Kibana：bashwget https://artifacts.elastic.co/downloads/kibana/kibana-7.0.0-linux-x86_64.tar.gztar -zxvf kibana-7.0.0-linux-x86_64.tar.gzcd kibana-7.0.0-linux-x86_64/
2. 配置Kibana：编辑配置文件 config/kibana.yml，设置Elasticsearch的地址和端口。yamlserver.host: "localhost"elasticsearch.hosts: ["http://localhost:9200"]
3. 启动Kibana：bash./bin/kibana访问 http://localhost:5601 可以打开Kibana的Web界面。

2.3 X-pack安全认证

X-Pack提供了Elasticsearch的安全功能，包括认证、授权、审计和SSL/TLS加密。安装和配置X-Pack安全认证步骤如下：

1. 安装X-Pack插件：bash./bin/elasticsearch-plugin install x-pack
2. 配置X-Pack安全：编辑Elasticsearch配置文件 config/elasticsearch.yml，配置用户名和密码认证。yamlxpack.security.enabled: true
3. 设置初始密码：bash./bin/elasticsearch-setup-passwords interactive通过交互式命令设置Elasticsearch内置用户的密码。

三、利用索引查询数据

3.1 创建索引

在Elasticsearch中，索引用于存储和组织数据。以下是创建用户和订单索引的示例：

bash
PUT /users
{"mappings":{"properties":{"user_id":{"type":"keyword"},"name":{"type":"text"},"email":{"type":"keyword"}}}}

PUT /orders
{"mappings":{"properties":{"order_id":{"type":"keyword"},"user_id":{"type":"keyword"},"amount":{"type":"float"},"timestamp":{"type":"date"}}}}

3.2 索引示例数据

向创建的索引中插入一些示例数据，以便后续的统计演示：

bash
POST /users/_doc/1{"user_id":"1","name":"Alice","email":"[email protected]"}

POST /users/_doc/2{"user_id":"2","name":"Bob","email":"[email protected]"}

POST /orders/_doc/1{"order_id":"1","user_id":"1","amount":100.5,"timestamp":"2024-07-01T10:00:00"}

POST /orders/_doc/2{"order_id":"2","user_id":"1","amount":50.2,"timestamp":"2024-07-01T11:00:00"}

POST /orders/_doc/3{"order_id":"3","user_id":"2","amount":75.0,"timestamp":"2024-07-01T12:00:00"}

3.3 解析查询结果

执行聚合查询来计算每个用户的订单数量：

bash
POST /orders/_search
{"size":0,"aggs":{"users":{"terms":{"field":"user_id.keyword","size":10},"aggs":{"total_orders":{"value_count":{"field":"order_id.keyword"}}}}}}

查询结果会返回每个用户的订单数量统计：

json
{
  "aggregations": {
    "users": {
      "buckets": [
        {
          "key": "1",
          "doc_count": 2,
          "total_orders": {
            "value": 2
          }
        },
        {
          "key": "2",
          "doc_count": 1,
          "total_orders": {
            "value": 1
          }
        }
      ]
    }
  }
}

四、总结

通过本教程，你学习了如何利用Elasticsearch集群索引数据，并通过聚合查询来统计多个数据。你现在应该能够理解Elasticsearch集群的基本概念、搭建步骤以及如何创建索引、插入数据和执行查询。继续探索Elasticsearch的强大功能，可以帮助你处理大规模数据并进行复杂的数据分析和统计。