MyBatisPlus 批量添加

文章目录

现状

一般来说，批量插入可以使用 MyBatisPlus 中 ServiceImpl 自带的方法 saveBatch

打开 sql 日志，application.yml 添加配置，mapper-locations 配置 mapper 路径

mybatis-plus:configuration:log-impl: org.apache.ibatis.logging.stdout.StdOutImpl #开启sql日志mapper-locations: classpath*:mapper/**/*Mapper.xml

可以发现插入是在同一个 SqlSession，但并不是理想中的批量插入

它的插入算法我没有细究，但从日志观察可以看出它的插入条数是无序的，如果可以一次插入全部，效率应该更高

优化

MyBatisPlus 预留了 insertBatchSomeColumn 方法，可以实现批量插入，下面介绍一下如何配置

1. MyBatisPlus 依赖

<dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version>3.5.2</version></dependency>

1. 新建 Sql 注射器 BatchSqlInjector

importcom.baomidou.mybatisplus.annotation.FieldFill;importcom.baomidou.mybatisplus.core.injector.AbstractMethod;importcom.baomidou.mybatisplus.core.injector.DefaultSqlInjector;importcom.baomidou.mybatisplus.core.metadata.TableInfo;importcom.baomidou.mybatisplus.extension.injector.methods.InsertBatchSomeColumn;importjava.util.List;publicclassBatchSqlInjectorextendsDefaultSqlInjector{@OverridepublicList<AbstractMethod>getMethodList(Class<?> mapperClass,TableInfo tableInfo){List<AbstractMethod> methodList =super.getMethodList(mapperClass, tableInfo);
        methodList.add(newInsertBatchSomeColumn(i -> i.getFieldFill()!=FieldFill.UPDATE));return methodList;}}

1. MybatisPlusConfig 配置 BatchSqlInjector Bean，可忽略这里配置的分页插件

importcom.baomidou.mybatisplus.annotation.DbType;importcom.baomidou.mybatisplus.extension.plugins.MybatisPlusInterceptor;importcom.baomidou.mybatisplus.extension.plugins.inner.BlockAttackInnerInterceptor;importcom.baomidou.mybatisplus.extension.plugins.inner.PaginationInnerInterceptor;importorg.springframework.context.annotation.Bean;importorg.springframework.context.annotation.Configuration;importorg.springframework.transaction.annotation.EnableTransactionManagement;@EnableTransactionManagement@ConfigurationpublicclassMybatisPlusConfig{/**
     * 分页插件
     *
     * @return
     */@BeanpublicMybatisPlusInterceptormybatisPlusInterceptor(){MybatisPlusInterceptor interceptor =newMybatisPlusInterceptor();
        interceptor.addInnerInterceptor(newBlockAttackInnerInterceptor());PaginationInnerInterceptor pageInterceptor =newPaginationInnerInterceptor(DbType.MYSQL);
        pageInterceptor.setMaxLimit(500L);
        pageInterceptor.setOptimizeJoin(true);
        interceptor.addInnerInterceptor(pageInterceptor);return interceptor;}/**
     * 批量插入
     *
     * @return
     */@BeanpublicBatchSqlInjectoreasySqlInjector(){returnnewBatchSqlInjector();}}

1. 配置 BatchBaseMapper 继承 BaseMapper

importcom.baomidou.mybatisplus.core.mapper.BaseMapper;importjava.util.Collection;publicinterfaceBatchBaseMapper<T>extendsBaseMapper<T>{/**
     * 批量插入 仅适用于mysql
     *
     * @param entityList 实体列表
     * @return 影响行数
     */IntegerinsertBatchSomeColumn(Collection<T> entityList);}

1. 业务 Mapper 继承 BatchBaseMapper

@RepositorypublicinterfaceISapCustomerMapperextendsBatchBaseMapper<SapCustomerPO>{}

1. service 创建 createBatch 作为新的批量插入方法

publicclassSapCustomerServiceImplextendsServiceImpl<ISapCustomerMapper,SapCustomerPO>{voidcreateBatch(List<SapCustomerPO> entityList){if(!entityList.isEmpty()){
            baseMapper.insertBatchSomeColumn(entityList);}}}

注意：不建议直接用 mapper 的 insertBatchSomeColumn 方法，因为当 entityList 为空时会报错
其实就是 INSERT INTO 表名（字段1，字段2，字段3） VALUES 后面为空

NestedRuntimeException:You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘’ at line 1

效果

3600 条数据
优化前：2058 毫秒
优化后：1293 毫秒

15000 条数据
优化前：8958 毫秒
优化后：2037 毫秒

可以看出，数据越多，优化效果越明细

通过这次测试发现，打开 sql 日志后，会明细拖慢 sql 执行效率，数据越多越明细

报错

Packet for query is too large (82,807,536 > 67,108,864). You can change this value on the server by setting the max_allowed_packet’ variable

原因： 一次插入数量太多的数据，超出了 mysql 默认设置

解决办法： 在 service 层限制插入数量

staticint batchSize =10000;publicvoidcreateBatch(List<TestPO> entityList){if(!entityList.isEmpty()){int size = entityList.size();int idxLimit =Math.min(batchSize, size);int i =1;List<TestPO> oneBatchList =newArrayList<>();for(Iterator<TestPO> var7 = entityList.iterator(); var7.hasNext();++i){TestPOelement= var7.next();
            oneBatchList.add(element);if(i == idxLimit){
                baseMapper.insertBatchSomeColumn(oneBatchList);
                oneBatchList.clear();
                idxLimit =Math.min(idxLimit + batchSize, size);}}}}