一、前言
相信很多小伙伴都遇到过大数据量导入DB,或者说数据库分表带来的数据批量插入,这时候会遇到个问题就是插入效率低的问题,例如博主前段时间在导入几千万条万条数据时,过程耗时***秒,具体多少?反正没有继续等,直接崩溃。
于是乎对代码做了点优化,最后做到了10s内!!!
开始表演,mock下过程
原始写法,用的正常mybatisplus插入:
public void insertMore(){
long beginTime = System.currentTimeMillis();
int num =10000000;
List<SysAdmin> sysAdminList = new ArrayList<>();for(int i =0; i < num; i++){
SysAdmin sysAdmin = new SysAdmin();
sysAdmin.setUserName("学员" + i);
sysAdmin.setRealName("学员" + i);
sysAdmin.setPassword("***");
sysAdmin.setPhone("10086");
sysAdmin.setEmail("[email protected]");
sysAdmin.setInfo("测试用户");
sysAdminList.add(sysAdmin);}
adminService.saveBatch(sysAdminList);
long endTime = System.currentTimeMillis();
System.out.println("耗时" + (endTime - beginTime) / 1000 + "秒");}
结果: 等了几分钟都没插入完
耗时*********************************秒
多线程分批插入
public void insertMore(){
long beginTime = System.currentTimeMillis();
int num =10000000;
List<SysAdmin> sysAdminList = new ArrayList<>();for(int i =0; i < num; i++){
SysAdmin sysAdmin = new SysAdmin();
sysAdmin.setUserName("学员" + i);
sysAdmin.setRealName("学员" + i);
sysAdmin.setPassword("***");
sysAdmin.setPhone("10086");
sysAdmin.setEmail("[email protected]");
sysAdmin.setInfo("测试用户");
sysAdminList.add(sysAdmin);}
int nThreads =100;
int size = sysAdminList.size();
ExecutorService executorService = Executors.newFixedThreadPool(nThreads);
List<Future<Integer>> futures = new ArrayList<Future<Integer>>(nThreads);for(int i =0; i < nThreads; i++){
final List<SysAdmin> adminList = sysAdminList.subList(size / nThreads * i, size / nThreads * (i + 1));
Callable<Integer> task1 =() ->{
adminService.saveBatch(adminList);return1;};
futures.add(executorService.submit(task1));}
executorService.shutdown();
long endTime = System.currentTimeMillis();
System.out.println("耗时" + (endTime - beginTime) / 1000 + "秒");}
结果:
耗时9秒
代码说明:
上面是通过应用ExecutorService 建立了固定的线程数,然后根据线程数目进行分组,批量依次导入。一方面可以缓解数据库的压力,另一个面线程数目多了,一定程度会提高程序运行的时间。
缺点就是要看服务器的配置,如果配置好的话就可以开多点线程,配置差的话就开小点。
版权归原作者 我们一起去大厂 所有, 如有侵权,请联系我们删除。