0


Java Elasticsearch教程

Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎,本教程从Java语言角度讲解如何操作Elasticsearch,如果不熟悉Elasticsearch,可以先学习 Elasticsearch教程,掌握基本概念和查询语法。

教程基于ES官方的Java REST Client 进行讲解,老的Java API, ES 7.0.0以后将会废弃,不推荐继续使用。

兼容性说明

支持Elasticsearch 5.6.x 以上。

Java版本,最低要求是1.8

Maven配置

<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>elasticsearch-rest-high-level-client</artifactId>
    <version>7.8.1</version>
</dependency>

你可以根据自己的ES版本选择对应的Java REST Client版本。

创建客户端

在操作ES之前需要创建一个client, ES请求都是通过client发送,通过client可以配置ES的服务地址、安全验证相关参数。

RestHighLevelClient client = new RestHighLevelClient(
        RestClient.builder(
                new HttpHost("localhost", 9200, "http"),
                new HttpHost("localhost", 9201, "http")));

通常全局创建一个client即可,client内部维护了连接池,因此在不使用client的时候需要通过下面方式释放资源。

client.close();

创建索引

// 创建Request对象, 准备创建的索引名为twitter
CreateIndexRequest request = new CreateIndexRequest("twitter"); 
​
// 设置Request参数
request.settings(Settings.builder() 
    .put("index.number_of_shards", 3) // 设置分区数
    .put("index.number_of_replicas", 2) // 设置副本数
);
​
// 通过JSON字符串的方式,设置ES索引结构的mapping
// ps: 通常都是通过json配置文件加载索引mapping配置,不需要拼接字符串。
request.mapping(
        "{\n" +
        "  \"properties\": {\n" +
        "    \"message\": {\n" +
        "      \"type\": \"text\"\n" +
        "    }\n" +
        "  }\n" +
        "}", 
        XContentType.JSON);
​
// 执行请求,创建索引
CreateIndexResponse createIndexResponse = client.indices().create(request, RequestOptions.DEFAULT);
​
if (createIndexResponse.isAcknowledged()) {
   // 创建成功
} 

插入数据

// 创建对应的Request请求,设置索引名为posts
IndexRequest request = new IndexRequest("posts"); 
// 设置文档id=1
request.id("1"); 
​
// 以json字符串的形式设置文档内容,也就是准备插入到ES中的数据
String jsonString = "{" +
        "\"user\":\"kimchy\"," +
        "\"postDate\":\"2013-01-30\"," +
        "\"message\":\"trying out Elasticsearch\"" +
        "}";
request.source(jsonString, XContentType.JSON);
​
// 执行请求
IndexResponse indexResponse = client.index(request, RequestOptions.DEFAULT);

查询数据

根据id查询一条数据

// 创建对应的Request对象,设置索引名为posts, 文档id=1
GetRequest getRequest = new GetRequest(
        "posts", 
        "1");
​
// 执行ES请求
GetResponse getResponse = client.get(getRequest, RequestOptions.DEFAULT);
​
// 处理查询结果
String index = getResponse.getIndex();
String id = getResponse.getId();
// 检查文档是否存在
if (getResponse.isExists()) {
    long version = getResponse.getVersion();
    // 获取文档数据的json字符串形式,可以使用json库转换成Java对象
    String sourceAsString = getResponse.getSourceAsString();       
    // 获取文档数据的Map形式 
    Map<String, Object> sourceAsMap = getResponse.getSourceAsMap(); 
    // 获取文档数据的字节数组形式
    byte[] sourceAsBytes = getResponse.getSourceAsBytes();          
} else {
    // 文档不存在
}

更新数据

// 创建对应的Request对象,设置索引名为posts, 文档id=1
UpdateRequest request = new UpdateRequest("posts", "1");
​
// 以map形式,设置需要更新的文档字段
Map<String, Object> jsonMap = new HashMap<>();
jsonMap.put("updated", new Date());
jsonMap.put("reason", "daily update");
request.doc(jsonMap); 
​
// 执行请求
UpdateResponse updateResponse = client.update(
        request, RequestOptions.DEFAULT);

删除数据

// 创建对应的Request对象,设置索引名为posts, 文档id=1
DeleteRequest request = new DeleteRequest(
        "posts",    
        "1"); 
// 执行请求
DeleteResponse deleteResponse = client.delete(
        request, RequestOptions.DEFAULT);

提示:详情,请参考后续章节。

本节主要讲解Java Elasticsearch RestHighLevelClient的配置详解。

RestHighLevelClient常用配置如下:

  • elasticsearch连接地址
  • elasticsearch账号/密码
  • Http请求头
  • 连接超时
  • 设置线程池大小

创建client

RestHighLevelClient 依赖 REST low-level client builder 进行配置,即依赖底层的RestClientBuilder对象进行参数设置

// 首先创建RestClientBuilder,后续章节通过RestClientBuilder对象进行参数配置。
RestClientBuilder restClientBuilder = RestClient.builder(
                new HttpHost("localhost", 9200, "http"), // 设置ES服务地址,支持多个
                new HttpHost("localhost", 9201, "http"));
​
// 创建RestHighLevelClient,•请求都是通过RestHighLevelClient实例发出去的。
RestHighLevelClient client = new RestHighLevelClient(restClientBuilder);

配置ES账号密码

restClientBuilder.setHttpClientConfigCallback(new RestClientBuilder.HttpClientConfigCallback() {
        @Override
        public HttpAsyncClientBuilder customizeHttpClient(
                            HttpAsyncClientBuilder httpClientBuilder) {
              // 通过CredentialsProvider实例,配置账号和密码
              CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
              credentialsProvider.setCredentials(AuthScope.ANY,
                                new UsernamePasswordCredentials("user", "password"));
                        
               // 设置安全验证凭证
               return httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider);
                    }
                });

设置Http Header

// 创建header数组,可以设置多个header
Header[] defaultHeaders = new Header[]{new BasicHeader("header", "value")};
// 设置http header
restClientBuilder.setDefaultHeaders(defaultHeaders); 

Timeout设置

配置Elasticsearch连接超时时间

restClientBuilder.setRequestConfigCallback(
                new RestClientBuilder.RequestConfigCallback() {
                    @Override
                    public RequestConfig.Builder customizeRequestConfig(
                            RequestConfig.Builder requestConfigBuilder) {
                        return requestConfigBuilder
                                .setConnectTimeout(5000) // 设置连接超时时间,5秒
                                .setSocketTimeout(60000); // 设置请求超时时间,1分种
                    }
                });
设置线程池大小
restClientBuilder.setHttpClientConfigCallback(new RestClientBuilder.HttpClientConfigCallback() {
            @Override
            public HttpAsyncClientBuilder customizeHttpClient(
                    HttpAsyncClientBuilder httpClientBuilder) {
                return httpClientBuilder.setDefaultIOReactorConfig(
                        IOReactorConfig.custom()
                                .setIoThreadCount(10) // 设置线程数
                                .build());
            }
        });

Document APIs

Java Elasticsearch Index Api

Java Elasticsearch Index API 主要用于插入或者更新文档数据。

创建Index Request

// 创建Index Request,设置索引名为: posts
IndexRequest request = new IndexRequest("posts"); 
​
// 设置文档ID
request.id("1");

设置文档内容

支持以JSON字符串形式或者map形式设置文档内容。

Json字符串形式:

String jsonString = "{" +
        "\"user\":\"kimchy\"," +
        "\"postDate\":\"2013-01-30\"," +
        "\"message\":\"trying out Elasticsearch\"" +
        "}";
request.source(jsonString, XContentType.JSON);

Map形式:

// 创建map
Map<String, Object> jsonMap = new HashMap<>();
jsonMap.put("user", "kimchy");
jsonMap.put("postDate", new Date());
jsonMap.put("message", "trying out Elasticsearch");
​
// 设置文档内容
request.source(jsonMap);

其他可选参数

routing

设置路由字段

request.routing("routing"); 

timeout

设置单个请求超时参数

request.timeout(TimeValue.timeValueSeconds(1)); 
request.timeout("1s"); 

Version

设置文档版本

request.version(2); 

操作类型

Index api支持两类操作:create 或者 index (默认)

request.opType("create");

执行请求

以同步的方式执行ES请求

IndexResponse indexResponse = client.index(request, RequestOptions.DEFAULT);

以异步的方式执行请求

client.indexAsync(request, RequestOptions.DEFAULT, new ActionListener<IndexResponse>() {
            @Override
            public void onResponse(IndexResponse indexResponse) {
                // 请求成功回调函数
            }
​
            @Override
            public void onFailure(Exception e) {
                // 请求失败回调函数
            }
        });

处理请求结果

// 获取索引名
String index = indexResponse.getIndex();
// 获取文档ID
String id = indexResponse.getId();
if (indexResponse.getResult() == DocWriteResponse.Result.CREATED) {
    // 成功创建文档
} else if (indexResponse.getResult() == DocWriteResponse.Result.UPDATED) {
    // 成功更新文档
}

Java Elasticsearch Get Api

Get Api 主要用于根据文档ID查询索引数据。

创建Get Request

// 创建GetRequest,索引名=posts, 文档ID=1
GetRequest getRequest = new GetRequest(
        "posts", 
        "1"); 

其他可选参数

是否返回文档内容

默认返回文档内容

// 不返回文档内容
request.fetchSourceContext(FetchSourceContext.DO_NOT_FETCH_SOURCE); 

返回指定字段

// 设置返回指定字段
String[] includes = new String[]{"message", "*Date"};
String[] excludes = Strings.EMPTY_ARRAY;
FetchSourceContext fetchSourceContext =
        new FetchSourceContext(true, includes, excludes);
request.fetchSourceContext(fetchSourceContext); 

过滤指定字段

String[] includes = Strings.EMPTY_ARRAY;
// 过滤指定字段
String[] excludes = new String[]{"message"};
FetchSourceContext fetchSourceContext =
        new FetchSourceContext(true, includes, excludes);
request.fetchSourceContext(fetchSourceContext);

设置路由

request.routing("routing"); 

Version

设置文档版本

request.version(2); 

执行请求

以同步的方式执行请求

GetResponse getResponse = client.get(getRequest, RequestOptions.DEFAULT);

以异步方式执行请求

client.getAsync(request, RequestOptions.DEFAULT, new ActionListener< GetResponse>() {
            @Override
            public void onResponse(GetResponse getResponse) {
                // 请求成功回调函数
            }
​
            @Override
            public void onFailure(Exception e) {
                // 请求失败回调函数
            }
        });

处理请求结果

String index = getResponse.getIndex();
String id = getResponse.getId();
// 检测索引是否存在
if (getResponse.isExists()) {
    // 获取版本号
    long version = getResponse.getVersion();
    // 获取文档内容,json字符串形式
    String sourceAsString = getResponse.getSourceAsString();    
    // 获取文档内容,map形式
    Map<String, Object> sourceAsMap = getResponse.getSourceAsMap(); 
    // 获取文档内容,字节数组形式
    byte[] sourceAsBytes = getResponse.getSourceAsBytes();          
} else {
    
}

Java Elasticsearch Delete API

Delete API 主要用于根据文档ID删除索引文档。

创建Delete Request

// 设置索引名=posts, 文档id=1
DeleteRequest request = new DeleteRequest(
        "posts",    
        "1"); 

其他可选参数

设置路由

request.routing("routing"); 

timeout

设置单个请求超时参数

request.timeout(TimeValue.timeValueMinutes(2)); //格式1: 2分钟
request.timeout("2m"); ///格式2:2分钟

Version

设置文档版本号

request.version(2); 

执行请求

DeleteResponse deleteResponse = client.delete(
        request, RequestOptions.DEFAULT);

异步执行请求

client.deleteAsync(request, RequestOptions.DEFAULT, new ActionListener<DeleteResponse>() {
            @Override
            public void onResponse(DeleteResponse deleteResponse) {
                // 请求成功回调函数
            }
​
            @Override
            public void onFailure(Exception e) {
                // 请求失败回调函数
            }
        });

Java Elasticsearch Update API

Elasticsearch Update API 根据文档ID更新文档内容,主要支持两种方式更新文档内容:通过脚本的方式更新和更新文档部分字段。

提示:如果被更新的文档不存在,也支持插入操作,通过upsert api实现。

创建Update Request

// 创建UpdateRequest请求,索引名=posts,文档ID=1
UpdateRequest request = new UpdateRequest(
        "posts", 
        "1");  

设置更新内容

UpdateRequest对象支持下面几种更新文档内容的方式,根据需要选择一种方式即可

脚本方式

通过ES 内置script脚本更新文档内容。

// 定义脚本参数
Map<String, Object> parameters = singletonMap("count", 4); 
​
// 创建inline脚本,使用painless语言,实现field字段 + count参数值
Script inline = new Script(ScriptType.INLINE, "painless",
        "ctx._source.field += params.count", parameters);  
​
// 设置脚本
request.script(inline);

map方式

通过map对象更新文档部分内容

// 通过map对象设置需要更新的字段内容
Map<String, Object> jsonMap = new HashMap<>();
jsonMap.put("updated", new Date());
jsonMap.put("reason", "daily update");
​
// 设置更新内容
request.doc(jsonMap);

json字符串方式

通过json字符串方式更新文档部分内容

String jsonString = "{" +
        "\"updated\":\"2017-01-01\"," +
        "\"reason\":\"daily update\"" +
        "}";
request.doc(jsonString, XContentType.JSON);

upsert方式

通过Upsert方式更新文档内容,跟前面三种类似,支持json字符串、map、脚本方式,但是有一点区别,如果被更新的文档不存在,则会执行插入操作。

String jsonString = "{\"created\":\"2017-01-01\"}";
request.upsert(jsonString, XContentType.JSON); 

其他可选参数

设置路由

request.routing("routing"); 

timeout

设置请求超时时间

request.timeout(TimeValue.timeValueSeconds(1)); // 方式1:1秒
request.timeout("1s"); // 方式2:1秒

版本冲突重试

如果更新文档的时候出现版本冲突,重试几次。

request.retryOnConflict(3); 

并发控制

设置并发控制参数,新版的ES已经废弃老的version字段,详情请参考:ES基于乐观锁的并发控制

// 设置版本号
request.setIfSeqNo(2L); 
// 设置文档所在的主分区
request.setIfPrimaryTerm(1L);

同步执行请求

UpdateResponse updateResponse = client.update(
        request, RequestOptions.DEFAULT);

异步执行请求

client.updateAsync(request, RequestOptions.DEFAULT, new ActionListener<UpdateResponse>() {
            @Override
            public void onResponse(UpdateResponse updateResponse) {
              // 执行成功
            }
​
            @Override
            public void onFailure(Exception e) {
               // 执行失败
            }
        });

执行结果

// 索引名
String index = updateResponse.getIndex();
// 文档id
String id = updateResponse.getId();
// 版本号
long version = updateResponse.getVersion();
if (updateResponse.getResult() == DocWriteResponse.Result.CREATED) {
    // 成功创建文档
} else if (updateResponse.getResult() == DocWriteResponse.Result.UPDATED) {
    // 成功更新文档
}

Java Elasticsearch Update By Query API 批量更新

ES update by query api主要用于批量更新文档内容,支持设置查询条件限制更新文档的范围。

创建UpdateByQueryRequest对象

// 创建UpdateByQueryRequest对象,设置索引名,支持一次更新多个索引
// 同时更新source1和source2索引内容
UpdateByQueryRequest request =
        new UpdateByQueryRequest("source1", "source2"); 

版本冲突

批量更新内容的时候,可能会遇到文档版本冲突的情况,需要设置版本冲突的时候如何处理。

版本冲突解决方案如下:

proceed - 忽略版本冲突,继续执行

abort - 遇到版本冲突,中断执行

request.setConflicts("proceed"); 

设置查询条件

// 设置term查询条件,查询user字段=kimchy的文档内容
request.setQuery(new TermQueryBuilder("user", "kimchy")); 

ES的查询语法是非常丰富的,这里仅给出一种写法,JAVA ES查询用法请参考后续的章节。

限制更新文档数量

可以限制批量更新文档的数量

request.setMaxDocs(10); 

设置更新内容

Update by query api更新文档内容,仅支持通过脚本的方式修改文档内容。

request.setScript(
    new Script( // 创建inline脚本,使用painless语言。
        ScriptType.INLINE, "painless",
        "if (ctx._source.user == 'kimchy') {ctx._source.likes++;}",
        Collections.emptyMap()));

执行请求

BulkByScrollResponse bulkResponse =
        client.updateByQuery(request, RequestOptions.DEFAULT);

处理结果

TimeValue timeTaken = bulkResponse.getTook(); // 更新花费时间
boolean timedOut = bulkResponse.isTimedOut(); // 是否超时
long totalDocs = bulkResponse.getTotal(); // 更新文档总数
long updatedDocs = bulkResponse.getUpdated(); // 成功更新了多少文档
long deletedDocs = bulkResponse.getDeleted(); // 删除了多少文档
long versionConflicts = bulkResponse.getVersionConflicts(); // 版本冲突次数

Java Elasticsearch Delete By Query API 批量删除

Java ES Delete By Query API 主要用于批量删除操作,支持设置ES查询条件。

创建DeleteByQueryRequest对象

// 创建 DeleteByQueryRequest 对象,设置批量删除的索引名为:source1和source2
// ps: 支持同时操作多个索引
DeleteByQueryRequest request =
        new DeleteByQueryRequest("source1", "source2"); 

版本冲突

批量更新内容的时候,可能会遇到文档版本冲突的情况,需要设置版本冲突的时候如何处理。

版本冲突解决方案如下:

proceed - 忽略版本冲突,继续执行

abort - 遇到版本冲突,中断执行

request.setConflicts("proceed"); 

设置查询条件

// 设置term查询条件,查询user字段=kimchy的文档内容
request.setQuery(new TermQueryBuilder("user", "kimchy")); 

ES的查询语法是非常丰富的,这里仅给出一种写法,JAVA ES查询用法请参考后续的章节。

限制删除文档数量

可以限制批量删除文档的数量

request.setMaxDocs(10); 

执行请求

BulkByScrollResponse bulkResponse =
        client.deleteByQuery(request, RequestOptions.DEFAULT);

处理结果

TimeValue timeTaken = bulkResponse.getTook(); // 批量操作消耗时间
boolean timedOut = bulkResponse.isTimedOut(); // 是否超时
long totalDocs = bulkResponse.getTotal(); // 涉及文档总数
long deletedDocs = bulkResponse.getDeleted(); // 成功删除文档数量
long versionConflicts = bulkResponse.getVersionConflicts(); // 版本冲突次数

Java Elasticsearch Multi-Get API 批量查询

Multi-Get API 主要用于根于id集合,批量查询文档内容,支持查询多个索引内容。

创建MultiGetRequest对象

MultiGetRequest request = new MultiGetRequest();
// 通过MultiGetRequest.Item对象设置查询参数
request.add(new MultiGetRequest.Item(
    "index",      // 索引名   
    "12345"));  // 文档id
// 添加另外一组查询参数,索引名=index, 索引Id=another_id
request.add(new MultiGetRequest.Item("index", "another_id")); 

执行请求

MultiGetResponse response = client.mget(request, RequestOptions.DEFAULT);

处理结果

// response.getResponses返回多个MultiGetItemResponse对象,每个MultiGetItemResponse对象代表一个查询结果,这里以其中一个结果为例。
// ps: 通常是需要循环遍历response.getResponses返回的结果
MultiGetItemResponse firstItem = response.getResponses()[0];
assertNull(firstItem.getFailure());              
GetResponse firstGet = firstItem.getResponse();  
String index = firstItem.getIndex(); // 获取索引名
String id = firstItem.getId();// 获取文档Id
if (firstGet.isExists()) { // 检测文档是否存在
    long version = firstGet.getVersion(); // 获取版本号
    // 查询文档内容,json字符串格式
    String sourceAsString = firstGet.getSourceAsString();      
    // 查询文档内容,Map对象格式  
    Map<String, Object> sourceAsMap = firstGet.getSourceAsMap(); 
} else {
    
}

Java Elasticsearch Bulk API 批量操作

ES的Bulk API主要用于在单个请求中,批量执行创建、更新、删除文档操作,避免循环发送大量的ES请求。

创建BulkRequest对象

BulkRequest request = new BulkRequest(); 

添加操作对象

支持index/update/delete操作。

批量index操作

// 通过add方法,添加IndexRequest对象,创建文档,下面插入3个文档
// ps: IndexRequest对象,以键值对的方式设置文档内容
request.add(new IndexRequest("posts").id("1")  
        .source(XContentType.JSON,"field", "foo"));
request.add(new IndexRequest("posts").id("2")  
        .source(XContentType.JSON,"field", "bar"));
request.add(new IndexRequest("posts").id("3")  
        .source(XContentType.JSON,"field", "baz"));

混合操作

批量执行文档的删除、更新、创建操作

request.add(new DeleteRequest("posts", "3")); 
request.add(new UpdateRequest("posts", "2") 
        .doc(XContentType.JSON,"other", "test"));
request.add(new IndexRequest("posts").id("4")  
        .source(XContentType.JSON,"field", "baz"));

其他可选参数

timeout

设置请求超时时间

request.timeout(TimeValue.timeValueMinutes(2)); // 形式1:2分钟
request.timeout("2m"); // 形式2:2分钟

执行请求

BulkResponse bulkResponse = client.bulk(request, RequestOptions.DEFAULT);

处理结果

if (bulkResponse.hasFailures()) { 
   // 至少存在一个错误处理
}
​
// 循环检测批量操作结果
for (BulkItemResponse bulkItemResponse : bulkResponse) { 
    DocWriteResponse itemResponse = bulkItemResponse.getResponse(); 
    // 根据操作类型检测执行结果
    switch (bulkItemResponse.getOpType()) {
    case INDEX:    
    case CREATE:
        // 处理创建请求
        IndexResponse indexResponse = (IndexResponse) itemResponse;
        break;
    case UPDATE:   
        // 处理更新请求
        UpdateResponse updateResponse = (UpdateResponse) itemResponse;
        break;
    case DELETE:  
        // 处理删除请求 
        DeleteResponse deleteResponse = (DeleteResponse) itemResponse;
    }
}

查询

Java Elasticsearch 查询详解

Elasticsearch的查询功能非常灵活,不了解Elasticsearch查询语法和概念,可以先阅读:ES查询语法

下面介绍Java Elasticsearch查询的写法。

实现ES查询的关键步骤:

  • 创建RestHighLevelClient,Java ES Client对象 - (这个就不再重复,参考Java Elasticsearch Client配置)
  • 创建SearchRequest对象 - 负责设置搜索参数
  • 通过Client对象发送请求
  • 处理搜索结果

1. 创建SearchRequest对象

创建SearchRequest对象步骤如下:

  • 创建SearchRequest对象
  • 通过SearchSourceBuilder设置搜索参数
  • 将SearchSourceBuilder绑定到SearchRequest对象

1.1. 初始化SearchRequest对象

创建SearchRequest对象,索引名=posts

SearchRequest searchRequest = new SearchRequest("posts"); 

SearchRequest负责设置搜索参数,包括:ES Query、分页参数等等常用设置。

实际上大部分SearchRequest对象的搜索参数都是通过SearchSourceBuilder对象间接设置。

1.2. 创建SearchSourceBuilder

通过SearchSourceBuilder间接完成搜索参数的设置

// 创建SearchSourceBuilder,构建ES搜索
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder(); 
// 设置ES查询条件
sourceBuilder.query(QueryBuilders.termQuery("user", "kimchy")); 
// 设置分页参数,偏移从0开始
sourceBuilder.from(0); 
// 设置分页参数,分页大小=5
sourceBuilder.size(5); 
// 设置请求超时时间,60秒
sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));
​
// 最后完成SearchRequest请求的参数设置
searchRequest.source(sourceBuilder);

1.3. 构造查询条件

通过上面例子可以知道,Java ES查询条件是通过QueryBuilders工具类构建的,QueryBuilders工具类,支持丰富ES查询条件,详情后面的章节会单独介绍,这里大家只要记得它的作用即可。

// 例子-构建一个Match模糊查询
QueryBuilder matchQueryBuilder = QueryBuilders.matchQuery("user", "kimchy")
                         .fuzziness(Fuzziness.AUTO)
                         .prefixLength(3)
                         .maxExpansions(10);
​
// 将QueryBuilders构建的查询,绑定到SearchSourceBuilder对象
sourceBuilder.query(matchQueryBuilder);

提示: QueryBuilder是所有Java ES查询的基础接口

1.4. 设置分页参数

通过SearchSourceBuilder设置搜索结果分页参数

// 设置分页参数,偏移从0开始
sourceBuilder.from(0); 
// 设置分页参数,分页大小=5
sourceBuilder.size(5); 

1.5. 设置排序参数

// 根据id字段,升序
builder.sort("id", SortOrder.ASC);

2. 执行请求

SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);

3. 处理结果

RestStatus status = searchResponse.status(); // ES请求状态
TimeValue took = searchResponse.getTook(); // 执行时间
Boolean terminatedEarly = searchResponse.isTerminatedEarly();
boolean timedOut = searchResponse.isTimedOut(); // 是否超时
// 获取hits,SearchHits对象包含搜索结果
SearchHits hits = searchResponse.getHits();
​
TotalHits totalHits = hits.getTotalHits();
// 搜索结果总数
long numHits = totalHits.value;
​
// 遍历搜索结果
SearchHit[] searchHits = hits.getHits();
for (SearchHit hit : searchHits) {
     // 获取文档内容,json字符串格式
     String sourceAsString = hit.getSourceAsString();
     // 获取文档内容,Map对象格式
     Map<String, Object> sourceAsMap = hit.getSourceAsMap();
}

4. 完整例子

我们先通过一个简单的ES查询例子,了解Java ES查询的基本写法。

// 首先创建RestClient,后续章节通过RestClient对象进行参数配置。
RestClientBuilder restClientBuilder = RestClient.builder(
                new HttpHost("localhost", 9200, "http"), // 设置ES服务地址,支持多个
                new HttpHost("localhost", 9201, "http"));
​
// 创建RestHighLevelClient,•请求都是通过RestHighLevelClient实例发出去的。
RestHighLevelClient client = new RestHighLevelClient(restClientBuilder);
​
// 创建SearchRequest对象
SearchRequest searchRequest = new SearchRequest();
// 通过SearchSourceBuilder构建搜索参数
SearchSourceBuilder builder = new SearchSourceBuilder();
// 通过QueryBuilders构建ES查询条件
builder.query(QueryBuilders.termsQuery("order_id", 1,2,3,4,5));
// 设置搜索参数
searchRequest.source(builder);
​
// 执行ES请求
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
// 获取搜索到的文档
SearchHits hits = searchResponse.getHits();
// 遍历搜索结果
SearchHit[] searchHits = hits.getHits();
for (SearchHit hit : searchHits) {
     // 获取文档内容,json字符串格式
     String sourceAsString = hit.getSourceAsString();
     // 获取文档内容,Map对象格式
     Map<String, Object> sourceAsMap = hit.getSourceAsMap();
}

Java Elasticsearch Match 全文搜索查询

全文搜索是Elasticsearch的核心特性之一,Java Elasticsearch全文搜索查询主要由MatchQueryBuilder这个构造器配置。

创建MatchQueryBuilder

有两种方式创建MatchQueryBuilder

  • 直接实例化MatchQueryBuilder
  • 通过QueryBuilders工具创建

方式1

直接实例化MatchQueryBuilder对象。 构造方法参数说明:

  • 参数1 - 字段名
  • 参数2 - 匹配关键词
MatchQueryBuilder matchQueryBuilder = new MatchQueryBuilder("title", "梯子教程");

方式2

通过QueryBuilders工具创建

// 可以直接赋值给QueryBuilder接口定义的对象
QueryBuilder matchQueryBuilder = QueryBuilders.matchQuery("title", "梯子教程");

创建SearchRequest

Java 所有的ES查询请求都是通过SearchRequest对象进行设置,因此需要实例化SearchRequest对象,设置query参数。

SearchRequest searchRequest = new SearchRequest();
​
// 通过SearchSourceBuilder构建搜索参数
SearchSourceBuilder builder = new SearchSourceBuilder();
// 设置query参数,绑定前面创建的Query对象
builder.query(matchQueryBuilder);
​
// 设置SearchRequest搜索参数
searchRequest.source(builder);

执行请求

// 执行ES请求
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);

提示: 如何处理查询结果,请参考 Java ES查询基本写法

Java Elasticsearch Match Phrase 短语查询

Elasticsearch的match_phrase短语查询跟match的区别就是,关键词作为一个整体进行搜索,而不是拆分成一个个关键词。

创建MatchPhraseQueryBuilder

有两种方式创建MatchPhraseQueryBuilder

  • 直接实例化MatchPhraseQueryBuilder
  • 通过QueryBuilders工具创建

方式1

直接实例化MatchPhraseQueryBuilder对象。 构造方法参数说明:

  • 参数1 - 字段名
  • 参数2 - 匹配短语
MatchPhraseQueryBuilder matchPhraseQueryBuilder = new MatchPhraseQueryBuilder("title", "Elasticsearch 查询语法");

方式2

通过QueryBuilders工具创建

// 可以直接赋值给QueryBuilder接口定义的对象
QueryBuilder matchPhraseQueryBuilder = QueryBuilders.matchPhraseQuery("title", "Elasticsearch 查询语法");

创建SearchRequest

Java 所有的ES查询请求都是通过SearchRequest对象进行设置,因此需要实例化SearchRequest对象,设置query参数。

SearchRequest searchRequest = new SearchRequest();
​
// 通过SearchSourceBuilder构建搜索参数
SearchSourceBuilder builder = new SearchSourceBuilder();
// 设置query参数,绑定前面创建的Query对象
builder.query(matchPhraseQueryBuilder);
​
// 设置SearchRequest搜索参数
searchRequest.source(builder);

执行请求

// 执行ES请求
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);

提示: 如何处理查询结果,请参考 Java ES查询基本写法

Java Elasticsearch Term 等值匹配

Elasticsearch的term查询,主要用于实现等值匹配,类似SQL的fieldname=value表达式。

构建term查询

等值匹配

// 方式1
TermQueryBuilder termQueryBuilder = new TermQueryBuilder("order_id", 100);
​
// 方式2
TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("order_id", 100);

类似SQL:order_id=100 条件

创建SearchRequest

Java 所有的ES查询请求都是通过SearchRequest对象进行设置,因此需要实例化SearchRequest对象,设置query参数。

SearchRequest searchRequest = new SearchRequest();
​
// 通过SearchSourceBuilder构建搜索参数
SearchSourceBuilder builder = new SearchSourceBuilder();
// 设置query参数,绑定前面创建的Query对象
builder.query(termQueryBuilder);
​
// 设置SearchRequest搜索参数
searchRequest.source(builder);

执行请求

// 执行ES请求
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);

提示: 如何处理查询结果,请参考 Java ES查询基本写法

Java Elasticsearch terms查询

Elasticsearch terms查询,用于实现类似SQL的in语句,匹配其中一个值即可。

构建terms查询

实现类似SQL的in语句

// 方式1
TermsQueryBuilder termsQueryBuilder = new TermsQueryBuilder("order_id", 1,2,3,4,5);
​
// 方式2
TermsQueryBuilder termsQueryBuilder = QueryBuilders.termsQuery("order_id", 1,2,3,4,5);

类似SQL:order_id in (1,2,3,4,5)

创建SearchRequest

Java 所有的ES查询请求都是通过SearchRequest对象进行设置,因此需要实例化SearchRequest对象,设置query参数。

SearchRequest searchRequest = new SearchRequest();
​
// 通过SearchSourceBuilder构建搜索参数
SearchSourceBuilder builder = new SearchSourceBuilder();
// 设置query参数,绑定前面创建的Query对象
builder.query(termsQueryBuilder);
​
// 设置SearchRequest搜索参数
searchRequest.source(builder);

执行请求

// 执行ES请求
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);

提示: 如何处理查询结果,请参考 Java ES查询基本写法

Java Elasticsearch range范围匹配

Elasticsearch的range范围匹配,可以实现类似SQL语句中的>, >=, <, <=关系表达式。

构建range查询

方式1

// 等价SQL: price > 100 and price < 200
RangeQueryBuilder rangeQueryBuilder = new RangeQueryBuilder("price");
        rangeQueryBuilder.gt(100);
        rangeQueryBuilder.lt(200);
​
// 等价SQL: price >= 100 and price <= 200
RangeQueryBuilder rangeQueryBuilder = new RangeQueryBuilder("price");
        rangeQueryBuilder.gte(100);
        rangeQueryBuilder.lte(200);

方式2

// 等价SQL: price >= 150 and price <= 300
RangeQueryBuilder rangeQueryBuilder = QueryBuilders.rangeQuery("price")
                .gte(150)
                .lte(300);

创建SearchRequest

Java 所有的ES查询请求都是通过SearchRequest对象进行设置,因此需要实例化SearchRequest对象,设置query参数。

SearchRequest searchRequest = new SearchRequest();
​
// 通过SearchSourceBuilder构建搜索参数
SearchSourceBuilder builder = new SearchSourceBuilder();
// 设置query参数,绑定前面创建的Query对象
builder.query(rangeQueryBuilder);
​
// 设置SearchRequest搜索参数
searchRequest.source(builder);
执行请求
// 执行ES请求
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);

提示: 如何处理查询结果,请参考 Java ES查询基本写法

Java Elasticsearch bool组合查询

Elasticsearch bool组合查询,通过must(且)和should(或)逻辑运算组合term、terms、range等ES查询子句,实现复杂的查询需求,类似SQL的where子句。

不了解ES Bool查询,可以参考Elasticsearch Bool查询语法

构建bool查询

// 等价SQL: shop_id=100 and status=3 or (price >= 100 and price <= 300)
BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery()
                .must(QueryBuilders.termQuery("shop_id", 100)) // 通过must设置term子查询
                .must(QueryBuilders.termQuery("status", 3)) // 通过must设置term子查询
                .should(QueryBuilders.rangeQuery("price").gte(100).lte(300));// 通过should设置range子查询

bool查询支持多层嵌套,最终组合出复杂的查询条件

创建SearchRequest

Java 所有的ES查询请求都是通过SearchRequest对象进行设置,因此需要实例化SearchRequest对象,设置query参数。

SearchRequest searchRequest = new SearchRequest();
​
// 通过SearchSourceBuilder构建搜索参数
SearchSourceBuilder builder = new SearchSourceBuilder();
// 设置query参数,绑定前面创建的Query对象
builder.query(boolQueryBuilder);
​
// 设置SearchRequest搜索参数
searchRequest.source(builder);

执行请求

// 执行ES请求
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);

提示:如何处理查询结果,请参考 Java ES查询基本写法

Java Elasticsearch geo查询

Java Elasticsearch geo查询主要包括:

  • 按距离搜索
  • 按距离排序
  • 按矩形范围搜索

按距离搜索

// 根据location坐标字段和当前位置,搜索1千米范围的数据
GeoDistanceQueryBuilder queryBuilder = QueryBuilders.geoDistanceQuery("location")
                .distance("1km") //设置搜索距离为1千米
                // 设置当前位置
                .point(new GeoPoint(39.889916, 116.379547));

按距离排序

 // 创建SearchRequest对象
SearchRequest searchRequest = new SearchRequest();
// 通过SearchSourceBuilder构建搜索参数
SearchSourceBuilder builder = new SearchSourceBuilder();
// 设置前面创建的ES查询条件
builder.query(queryBuilder);
​
// 构建GeoDistanceSortBuilder设置按距离排序参数
GeoDistanceSortBuilder geoDistanceSortBuilder = SortBuilders.geoDistanceSort("location", new GeoPoint(39.889916, 116.379547));
// 升序排序
geoDistanceSortBuilder.order(SortOrder.ASC);
// 设置排序参数
builder.sort(geoDistanceSortBuilder);
        
// 设置搜索请求参数
searchRequest.source(builder);

按矩形范围搜索

// 根据location坐标字段和一个矩形范围,匹配文档
GeoBoundingBoxQueryBuilder queryBuilder = QueryBuilders.geoBoundingBoxQuery("location")
                .setCorners( // 设置矩形坐标
                        new GeoPoint(40.73, -74.1), // 设置矩形的左上角坐标
                        new GeoPoint(40.717, -73.99) // 设置矩形的右下角坐标
                );

创建SearchRequest

Java 所有的ES查询请求都是通过SearchRequest对象进行设置,因此需要实例化SearchRequest对象,设置query参数。

SearchRequest searchRequest = new SearchRequest();
​
// 通过SearchSourceBuilder构建搜索参数
SearchSourceBuilder builder = new SearchSourceBuilder();
// 设置query参数,绑定前面创建的Query对象
builder.query(queryBuilder);
​
// 设置SearchRequest搜索参数
searchRequest.source(builder);

执行请求

// 执行ES请求

SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);

提示:如何处理查询结果,请参考 Java ES查询基本写法

聚合分析

Java Elasticsearch 聚合查询(Aggregation)详解

Elasticsearch中的聚合查询,类似SQL的SUM/AVG/COUNT/GROUP BY分组查询,主要用于统计分析场景。

这里主要介绍Java Elasticsearch 聚合查询的写法,如果不了解ES聚合查询,请参考 ES聚合查询基本概念和用法。

例子

import org.apache.http.HttpHost;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestClientBuilder;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.query.*;
import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.aggregations.Aggregations;
import org.elasticsearch.search.aggregations.bucket.terms.Terms;
import org.elasticsearch.search.aggregations.bucket.terms.TermsAggregationBuilder;
import org.elasticsearch.search.aggregations.metrics.Avg;
import org.elasticsearch.search.builder.SearchSourceBuilder;
​
import java.io.IOException;
​
public class Main {
    public static void main(String[] args) throws IOException {
        // 首先创建RestClient,后续章节通过RestClient对象进行参数配置。
        RestClientBuilder restClientBuilder = RestClient.builder(
                new HttpHost("localhost", 9200, "http"), // 设置ES服务地址,支持多个
                new HttpHost("localhost", 9201, "http"));
​
        // 创建RestHighLevelClient,•请求都是通过RestHighLevelClient实例发出去的。
        RestHighLevelClient client = new RestHighLevelClient(restClientBuilder);
​
        // 创建SearchRequest对象, 设置查询索引名=order
        SearchRequest searchRequest = new SearchRequest("order");
        // 通过SearchSourceBuilder构建搜索参数
        SearchSourceBuilder builder = new SearchSourceBuilder();
        // 通过QueryBuilders构建ES查询条件,这里查询所有文档,复杂的查询语句设置请参考前面的章节。
        builder.query(QueryBuilders.matchAllQuery());
​
        // 创建terms桶聚合,聚合名字=by_shop, 字段=shop_id,根据shop_id分组
        TermsAggregationBuilder aggregationBuilder = AggregationBuilders.terms("by_shop")
                .field("shop_id");
​
        // 嵌套聚合
        // 设置Avg指标聚合,聚合名字=avg_price, 字段=price,计算平均价格
        aggregationBuilder.subAggregation(AggregationBuilders.avg("avg_price").field("price"));
​
        // 设置聚合查询
        builder.aggregation(aggregationBuilder);
​
        // 设置搜索条件
        searchRequest.source(builder);
        // 如果只想返回聚合统计结果,不想返回查询结果可以将分页大小设置为0
        builder.size(0);
​
        // 执行ES请求
        SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
​
        // 处理聚合查询结果
        Aggregations aggregations = searchResponse.getAggregations();
        // 根据by_shop名字查询terms聚合结果
        Terms byShopAggregation = aggregations.get("by_shop");
​
        // 遍历terms聚合结果
        for (Terms.Bucket bucket  : byShopAggregation.getBuckets()) {
            // 因为是根据shop_id分组,因此可以直接将桶的key转换成int类型
            int shopId = bucket.getKeyAsNumber().intValue();
​
            // 根据avg_price聚合名字,获取嵌套聚合结果
            Avg avg = bucket.getAggregations().get("avg_price");
            // 获取平均价格
            double avgPrice = avg.getValue();
        }
​
        // 关闭ES Client
        client.close();
    }
}
例子聚合统计的效果等价SQL:

select shop_id, avg(price) as avg_price from order group by shop_id

大家可以先通过例子和注释大致了解 Java ES 聚合查询的基本写法

Java Elasticsearch 指标聚合(metrics)

Elasticsearch指标聚合,就是类似SQL的统计函数,指标聚合可以单独使用,也可以跟桶聚合一起使用,下面介绍Java Elasticsearch指标聚合的写法。

不了解ES指标聚合相关知识,先看一下Elasticsearch 指标聚合教程

例子

/
/ 首先创建RestClient,后续章节通过RestClient对象进行参数配置。
RestClientBuilder restClientBuilder = RestClient.builder(
                new HttpHost("localhost", 9200, "http"), // 设置ES服务地址,支持多个
                new HttpHost("localhost", 9201, "http"));
​
// 创建RestHighLevelClient,•请求都是通过RestHighLevelClient实例发出去的。
        RestHighLevelClient client = new RestHighLevelClient(restClientBuilder);
​
// 创建SearchRequest对象, 索引名=order
SearchRequest searchRequest = new SearchRequest("order");
// 通过SearchSourceBuilder构建搜索参数
SearchSourceBuilder builder = new SearchSourceBuilder();
// 通过QueryBuilders构建ES查询条件,这里查询所有文档,复杂的查询语句设置请参考前面的章节。
builder.query(QueryBuilders.matchAllQuery());
​
// 创建Value Count指标聚合
// 聚合统计命名为:orders, 统计order_id字段值的数量
ValueCountAggregationBuilder valueCountAggregationBuilder = AggregationBuilders.count("orders")
                .field("order_id");
​
// 创建Sum指标聚合
// 聚合统计命名为:total_sale, 统计price字段值的总和
SumAggregationBuilder sumAggregationBuilder = AggregationBuilders.sum("total_sale")
                .field("price");
​
// 设置聚合查询,可以设置多个聚合查询条件,只要聚合查询命名不同就行
builder.aggregation(valueCountAggregationBuilder);
builder.aggregation(sumAggregationBuilder);
​
// 设置搜索条件
searchRequest.source(builder);
​
// 执行ES请求
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
​
​
// 处理聚合查询结果
Aggregations aggregations = searchResponse.getAggregations();
// 根据orders命名查询,ValueCount统计结果
ValueCount valueCount = aggregations.get("orders");
System.out.println(valueCount.getValue());
​
// 根据total_sale命名查询,Sum统计结果
Sum sum = aggregations.get("total_sale");
System.out.println(sum.getValue());

其他指标聚合的用法类似,后面分别介绍常用指标聚合。

常用指标聚合

1. Value Count

值聚合,主要用于统计文档总数,类似SQL的count函数。

创建聚合条件

// 创建Value Count指标聚合
// 聚合统计命名为:orders, 统计order_id字段值的数量
ValueCountAggregationBuilder valueCountAggregationBuilder = AggregationBuilders.count("orders")
                .field("order_id");

处理聚合结果

Aggregations aggregations = searchResponse.getAggregations();
// 根据orders命名查询,ValueCount统计结果
ValueCount valueCount = aggregations.get("orders");
// 打印结果
System.out.println(valueCount.getValue());

2.Cardinality

基数聚合,也是用于统计文档的总数,跟Value Count的区别是,基数聚合会去重,不会统计重复的值,类似SQL的count(DISTINCT 字段)用法。

基数聚合是一种近似算法,统计的结果会有一定误差,不过性能很好。

创建聚合条件

// 聚合统计命名为:total, 近似统计id字段值的数量
CardinalityAggregationBuilder cardinalityAggregationBuilder = AggregationBuilders.cardinality("total")
                .field("id");

处理聚合结果

Aggregations aggregations = searchResponse.getAggregations();
// 根据total命名查询,Cardinality统计结果
Cardinality cardinality = aggregations.get("total");
// 打印结果
System.out.println(cardinality.getValue());

3.Avg

求平均值

创建聚合条件

AvgAggregationBuilder avgAggregationBuilder = AggregationBuilders.avg("avg_price")
                .field("price");

处理聚合结果

Aggregations aggregations = searchResponse.getAggregations();
// 根据total命名查询,Avg统计结果
Avg avgPrice = aggregations.get("avg_price");
// 打印结果
System.out.println(avgPrice.getValue());

4.Sum

求和计算

创建聚合条件

SumAggregationBuilder sumAggregationBuilder = AggregationBuilders.sum("total_sale")
                .field("price");

处理聚合结果

Aggregations aggregations = searchResponse.getAggregations();
// 根据total命名查询,Sum统计结果
Sum totalPrice = aggregations.get("total_sale");
// 打印结果
System.out.println(totalPrice.getValue());

5.Max

求最大值

创建聚合条件

MaxAggregationBuilder maxAggregationBuilder = AggregationBuilders.max("max_price")
                .field("price");

处理聚合结果

// 处理聚合查询结果
Aggregations aggregations = searchResponse.getAggregations();
// 根据max_price命名查询,Max统计结果
Max maxPrice = aggregations.get("max_price");
// 打印结果
System.out.println(maxPrice.getValue());

6.Min

求最小值

创建聚合条件

MinAggregationBuilder minAggregationBuilder = AggregationBuilders.min("min_price")
                .field("price");

处理聚合结果

Aggregations aggregations = searchResponse.getAggregations();
// 根据min_price命名查询,Min统计结果
Min minPrice = aggregations.get("min_price");
// 打印结果
System.out.println(minPrice.getValue());

java elasticsearch 桶聚合(bucket)

Elasticsearch桶聚合,目的就是数据分组,先将数据按指定的条件分成多个组,然后对每一个组进行统计。

不了解Elasticsearch桶聚合概念,可以先学习下Elasticsearch桶聚合教程

本章介绍java elasticsearch桶聚合的用法

例子

// 首先创建RestClient,后续章节通过RestClient对象进行参数配置。
RestClientBuilder restClientBuilder = RestClient.builder(
                new HttpHost("localhost", 9200, "http"), // 设置ES服务地址,支持多个
                new HttpHost("localhost", 9201, "http"));
​
// 创建RestHighLevelClient,•请求都是通过RestHighLevelClient实例发出去的。
RestHighLevelClient client = new RestHighLevelClient(restClientBuilder);
​
// 创建SearchRequest对象, 设置索引名=order
SearchRequest searchRequest = new SearchRequest("order");
// 通过SearchSourceBuilder构建搜索参数
SearchSourceBuilder builder = new SearchSourceBuilder();
// 通过QueryBuilders构建ES查询条件,这里查询所有文档,复杂的查询语句设置请参考前面的章节。
builder.query(QueryBuilders.matchAllQuery());
​
// 创建Terms桶聚合条件
// terms聚合命名为: by_shop, 分组字段为: shop_id
TermsAggregationBuilder byShop = AggregationBuilders.terms("by_shop")
                .field("shop_id");
​
// 设置聚合条件
builder.aggregation(byShop);
​
// 设置搜索条件
searchRequest.source(builder);
​
// 执行ES请求
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
​
// 处理聚合查询结果
Aggregations aggregations = searchResponse.getAggregations();
// 根据by_shop名字查询terms聚合结果
Terms byShopAggregation = aggregations.get("by_shop");
​
// 遍历terms聚合结果
for (Terms.Bucket bucket  : byShopAggregation.getBuckets()) {
    // 因为是根据shop_id分组,因此可以直接将桶的key转换成int类型
    int shopId = bucket.getKeyAsNumber().intValue();
    // 如果分组的字段是字符串类型,可以直接转成String类型
    // String key = bucket.getKeyAsString();
    // 获取文档总数
    long count = bucket.getDocCount();
}

其他桶聚合条件的用法类型,下面分别介绍各类常用的桶聚合

常用桶聚合

1.Terms聚合

创建聚合条件

// terms聚合命名为: by_shop, 分组字段为: shop_id
TermsAggregationBuilder byShop = AggregationBuilders.terms("by_shop")
                .field("shop_id");

处理聚合结果

Aggregations aggregations = searchResponse.getAggregations();
// 根据by_shop命名查询terms聚合结果
Terms byShopAggregation = aggregations.get("by_shop");
​
// 遍历terms聚合结果
for (Terms.Bucket bucket  : byShopAggregation.getBuckets()) {
    // 因为是根据shop_id分组,因此可以直接将桶的key转换成int类型
    int shopId = bucket.getKeyAsNumber().intValue();
    // 如果分组的字段是字符串类型,可以直接转成String类型
    // String key = bucket.getKeyAsString();
    // 获取文档总数
    long count = bucket.getDocCount();
}

2.Histogram聚合

创建聚合条件

// Histogram聚合命名为: prices
HistogramAggregationBuilder histogramAggregationBuilder = AggregationBuilders.histogram("prices")
                .field("price") // 根据price字段值,对数据进行分组
                .interval(100); //  分桶的间隔为100,意思就是price字段值按100间隔分组

处理聚合结果

// 处理聚合查询结果
Aggregations aggregations = searchResponse.getAggregations();
// 根据prices命名查询Histogram聚合结果
Histogram histogram = aggregations.get("prices");
        
// 遍历聚合结果
for (Histogram.Bucket bucket  : histogram.getBuckets()) {
    // 获取桶的Key值
    String key = bucket.getKeyAsString();
    // 获取文档总数
    long count = bucket.getDocCount();
}

3.Date histogram聚合

创建聚合条件

// DateHistogram聚合命名为: sales_over_time
DateHistogramAggregationBuilder dateHistogramAggregationBuilder = AggregationBuilders.dateHistogram("sales_over_time")
                .field("date") // 根据date字段值,对数据进行分组
                // 时间分组间隔:DateHistogramInterval.* 序列常量,支持每月,每年,每天等等时间间隔
                .calendarInterval(DateHistogramInterval.MONTH)
                // 设置返回结果中桶key的时间格式
                .format("yyyy-MM-dd");

处理聚合结果

// 处理聚合查询结果
Aggregations aggregations = searchResponse.getAggregations();
// 根据sales_over_time命名查询Histogram聚合结果
Histogram histogram = aggregations.get("sales_over_time");
        
// 遍历聚合结果
for (Histogram.Bucket bucket  : histogram.getBuckets()) {
    // 获取桶的Key值
    String key = bucket.getKeyAsString();
    // 获取文档总数
    long count = bucket.getDocCount();
}

4.Range聚合

创建聚合条件

//range聚合命名为: price_ranges
RangeAggregationBuilder rangeAggregationBuilder = AggregationBuilders.range("price_ranges")
                .field("price") // 根据price字段分桶
                .addUnboundedFrom(100) // 范围配置, 0 - 100
                .addRange(100.0, 200.0) // 范围配置, 100 - 200
                .addUnboundedTo(200.0); // 范围配置,> 200的值

处理聚合结果

// 处理聚合查询结果
Aggregations aggregations = searchResponse.getAggregations();
Range range = aggregations.get("price_ranges");
​
// 遍历聚合结果
for (Range.Bucket bucket  : range.getBuckets()) {
    // 获取桶的Key值
    String key = bucket.getKeyAsString();
    // 获取文档总数
    long count = bucket.getDocCount();
}

5.嵌套聚合的用法

桶聚合之间支持互相嵌套,同时桶聚合也可以嵌套多个指标聚合,可以参考下面例子组合聚合条件

创建嵌套聚合条件

// 创建Terms指标聚合
TermsAggregationBuilder byShop = AggregationBuilders.terms("by_shop")
                .field("shop_id");
​
// 创建avg指标聚合
AvgAggregationBuilder avgPriceBuilder = AggregationBuilders.avg("avg_price")
                .field("price");
// 设置嵌套聚合查询条件
byShop.subAggregation(avgPriceBuilder);
​
SumAggregationBuilder sumPriceBulder = AggregationBuilders.sum("sum_price")
                .field("price");
// 设置嵌套聚合查询条件
byShop.subAggregation(sumPriceBulder);

处理结果

// 处理聚合查询结果
Aggregations aggregations = searchResponse.getAggregations();
Terms terms = aggregations.get("by_shop");
​
// 遍历聚合结果
for (Terms.Bucket bucket  : terms.getBuckets()) {
      // 获取桶的Key值
      String key = bucket.getKeyAsString();
      // 获取文档总数
      long count = bucket.getDocCount();
​
      // 处理嵌套聚合结果
      Aggregations subAggregations = bucket.getAggregations();
      // 根据avg_price命名,查询avg聚合结果
      Avg avgPriceResult = subAggregations.get("avg_price");
      // 获取平均价格
      double avgPrice = avgPriceResult.getValue();
​
      // 根据sum_price命名,查询sum聚合结果 
      Sum sumPriceResult = subAggregations.get("sum_price");
      // 获取总价格
      double sumPrice = sumPriceResult.getValue();
}

本文转载自: https://blog.csdn.net/guanshengg/article/details/126315549
版权归原作者 java南木 所有, 如有侵权,请联系我们删除。

“Java Elasticsearch教程”的评论:

还没有评论