elastic:富有弹性的
search:搜索
此软件不再是SpringColud提供的,他也不针对微服务的项目开发
Elasticsearch和Redis/mysqly一样,不仅服务于java开发，其他语言也可以使用
它的功能类似于数据库,能高效的从大量数据中搜索匹配指定关键字的内容
数据保存在硬盘中
Es的底层:
使用了一套名为Lucene的API
这个API提供了全文搜索引擎核心操作的接口,相当于搜索引擎的核心支持,ES是在Lucene的基础上进行完善,实现了开箱即用的搜索引擎
市面上和ES功能类似的软件有:
Solr/MongoDB
为什么需要使用Elasticsearch?
数据库进行模糊查询效率严重低下
所有关系型数据库也有这个缺点:mysql\mariaDB\oracle\DB2等
Elaticsearch主要是为了解决数据库模糊查询性能低下问题
ES进行优化之后,从同样数据库的ES中查询相同条件数据,效率能够提高100倍以上
说到这里就不得不提一下数据库的索引 :
所谓的索引(index) 其实就是数据目录
通常情况下,索引是为了提高查询效率的
索引面试题
1.创建索引会占用硬盘空间
2.创建索引之后,对该表进行增删改操作时,会引起索引的更新,所以效率会降低
3.对数据库进行批量新增时,先删除索引,增加完毕之后再创建
4.不要对数据样本少的列添加索引
5.模糊查询时,查询条件前模糊的情况,是无法启用索引的
6.每次从数据表中查询的数据的比例越高,索引的效果越低
数据库索引分为两大类:
1.聚焦索引
2.非聚焦索引
所谓聚焦索引就是数据库保存数据的物理顺序依据，默认情况下就是主键id，所以按照id查询数据库中的数据效率非常高
而非聚焦索引则是如果在非主键上添加索引就是非索引聚焦了
而模糊查询时如查询'%XX',使用的就是前模糊条件,而使用索引又必须明确前面的内容是什么,所以前模糊查询是不能使用索引的,只能做全表的查询，但是查询效率低
所以当我们要做根据用户输入关键字进行模糊查询时, 需要使用全文搜索引擎来优化
Elasticsearch运行原理
要想使用ES来提高模糊查询效率
要先将数据库复制到ES中
在新增数据到ES中,ES可以对指定的列进行分词索引保存到索引库中
形成倒排索引结构
**ES的简单使用: **
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
进行pom文件配置后,需要创建一个能向ES发送请求的文件
这种能向指定url发送请求的格式文件称之为http client(http客户端)
先向es发送指令:
### 三个#开头,表示注释,也是分割符,http文件要求每个请求必须以分隔符开始,否则运行就会混乱报错
GET http://localhost:9200
测试ES的分词功能
### 测试ES的分词功能,运行请求,查看分词结果
POST http://localhost:9200/_analyze
Content-Type: application/json
{
"text": "my name is hanmeimei",
"analyzer": "standard"
}
analyze:分析
standard是ES默认的分词器,"analyzer": "standard"是可以省略的
standard这个分词器只能对英文等西文字符(用空格分隔单词的),进行正确分词
但是中文分词不能按空格分,按这个分词器分词,每个字都会形成分词,这样的结果不能满足我们的需要
为了解决中文不能分词的问题:
要引入一个中文常用词语的类库,分词时按照词库中的进行分词即可
可以使用免费的中文分
{
"text": "罗技激光鼠标",
"analyzer": "ik_smart"
}
词器插件ik来实现中文分词
ik分词插件的种类
我们安装的ik实际上不只一个分词器
实际上除了ik_smart之外还有ik_max_word
POST http://localhost:9200/_analyze
Content-Type: application/json
{
"text": "北京冬季奥林匹克运动会顺利闭幕",
"analyzer": "ik_max_word"
}
POST http://localhost:9200/_analyze
Content-Type: application/json
{
"text": "北京冬季奥林匹克运动会顺利闭幕",
"analyzer": "ik_smart"
}
ik_smart
- 优点:特征是粗略快速的将文字进行分词,占用空间小,查询速度快
- 缺点:分词的颗粒度大,可能跳过一些重要分词,导致查询结果不全面,查全率低
ik_max_word
- 优点:特征是详细的文字片段进行分词,查询时查全率高,不容易遗漏数据
- 缺点:因为分词太过详细,导致有一些无用分词,占用空间较大,查询速度慢
使用ES操作数据
ES是一个数据库性质的软件
可以执行增删改查操作,只是他操作数据不使用sql,数据的结构和关系型数据库也不同
- ES启动后,ES服务可以创建多个index(索引),index可以理解为数据库中表的概念
- 一个index可以创建多个保存数据的document(文档),一个document理解为数据库中的一行数据
SpringBoot操作Elasticsearch
原生状态下我们使用JDBC连接数据库，因为代码过于繁琐所以采用Mybatis框架
在原生状态下，我们要使用socket访问ES，但过于繁琐所以采用SpringData框架简化
SpringData是Spring提供的一套连接第三方数据源的框架集
我们需要使用的是其中连接ES的Spring Data Elasticsearch
官方网站:Spring Data
首先在pom文件添加依赖:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>cn.tedu</groupId>
<artifactId>csmall</artifactId>
<version>0.0.1-SNAPSHOT</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<groupId>cn.tedu</groupId>
<artifactId>search</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>search</name>
<description>Demo project for Spring Boot</description>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
<!-- Spring Data Elasticsearch整合SpringBoot的依赖 -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>
</dependencies>
</project>
勇士添加application.pproperties配置
# 配置ES的ip和端口
spring.elasticsearch.rest.uris=http://localhost:9200
# 设置日志门槛
logging.level.cn.tedu.search=debug
# SpringDataElasticsearch框架内部有一个输出日志信息的类,也要设置门槛
logging.level.org.elasticsearch.client.RestClient=debug
创建和ES关联的实体类
实体类(entity)：
@Data
@Accessors(chain = true) // 支持链式set赋值
@AllArgsConstructor // 自动生成包含全部参数的构造方法
@NoArgsConstructor // 自动生成无参数的构造方法
// @Document注解标记当前类是ES框架对应的实体类
// 属性indexName指定ES中对应的索引名称,运行时,如果这个索引不存在,SpringData会自动创建它
@Document(indexName = "items")
public class Item implements Serializable {
// SpringData通过@Id注解来标记当前实体类的主键
@Id
private Long id;
@Field(type = FieldType.Text,
analyzer = "ik_max_word",
searchAnalyzer = "ik_max_word")
private String title;
// FieldType.Keyword类型表示当前字段是不需要分词的字符串
@Field(type = FieldType.Keyword)
private String category;
@Field(type = FieldType.Keyword)
private String brand;
@Field(type = FieldType.Double)
private Double price;
// imgPath是图片路径的属性,不会成为搜索条件,所以这个列可以不创建索引,节省空间
// index = false就是不创建索引的设置
// 所谓不创建索引,只是不为当前字段创建索引列表,但是数据是保存在ES中的
@Field(type = FieldType.Keyword,index = false)
private String imgPath;
** 创建操作Es的持久层:**
SpringData对持久层的命名规则
持久层名称为repository(仓库),创建这个包，包中创建接口
// Repository是Spring家族框架对持久层出现的类\接口的命名规范
@Repository
public interface ItemRepository extends ElasticsearchRepository<Item,Long> {
// ItemRepository接口继承SpringData框架提供的ElasticsearchRepository父接口
// 继承之后当前接口就能够使用父接口中声明的操作Es的方法了
// 父接口中的方法包含指定实体类对应ES索引的基本增删改查
// ElasticsearchRepository<[要操作的实体类],[实体类的主键类型]>
}
测试ES
如果没有测试包,创建test测试包
如果没有测试类,创建测试类
编写测试
@SpringBootTest
class SearchApplicationTests {
@Autowired
private ItemRepository itemRepository;
// 执行单增
@Test
void addOne() {
// 实例化Item对象
Item item=new Item()
.setId(1L)
.setTitle("罗技激光无线游戏鼠标")
.setCategory("鼠标")
.setBrand("罗技")
.setPrice(186.0)
.setImgPath("/1.jpg");
// 利用SpringDataElasticsearch框架提供的新增方法,新增到ES
itemRepository.save(item);
System.out.println("ok");
}
// 单查
@Test
void getOne(){
// SpringDataElasticsearch提供了按id查询ES中数据的方法
// 返回值是一个Optional类型对象，声明了泛型,我们理解为只能保存一个元素的集合
Optional<Item> optional = itemRepository.findById(1L);
// 从这个容器中取出元素
Item item=optional.get();
System.out.println(item);
}
// 批量增
@Test
void addList(){
// 实例化一个List,把要保存到ES中的数据添加这个集合中
List<Item> list=new ArrayList<>();
list.add(new Item(2L,"罗技激光有线办公鼠标","鼠标",
"罗技",78.0,"/2.jpg"));
list.add(new Item(3L,"雷蛇机械无线游戏键盘","键盘",
"雷蛇",268.0,"/3.jpg"));
list.add(new Item(4L,"微软有线静音办公鼠标","鼠标",
"微软",199.0,"/4.jpg"));
list.add(new Item(5L,"罗技机械有线背光键盘","键盘",
"罗技",228.0,"/5.jpg"));
itemRepository.saveAll(list);
System.out.println("ok");
}
// 全查
@Test
void getAll(){
// SpringDataElasticsearch提供的全查所有item的ES中数据的方法
Iterable<Item> items = itemRepository.findAll();
for(Item item : items){
System.out.println(item);
}
System.out.println("----------------------------------------------------");
items.forEach(item -> System.out.println(item));
}
}
版权归原作者 小龟_ 所有， 如有侵权，请联系我们删除。