mysql 批量数据插入很慢(kettle 输入输出组件) 性能优化办法
最近在做数仓重构项目,遇到一些性能瓶颈,这里记录一下解决办法。随着业务数据每天都在增加,几年前开发的etl任务开始跑不动了。大表一般是通过增量的方式插入,但是修复bug 或者每月/季度跑一次的情况 需要跑全量,原来的etl任务可能需要跑几个小时,甚至出现超时失败的情况。因此需要优化,下面介绍一些优化
【Mysql报错】执行开源项目sql文件全部或部分报错的解决方法
解决开源项目Mysql导入报错问题
window环境之实验二 (Windows+Tomcat+MySQL)环境搭建
window环境之实验二 (Windows+Tomcat+MySQL)环境搭建
【大数据存储技术】「#3」将数据从Hive导入到MySQL
【代码】【大数据存储技术】「#3」将数据从Hive导入到MySQL。
ELK采集MySQL慢日志实现
使用ELK采集mysql慢日志进行统计分析
Flink-cdc 同步mysql数据
flink-cdc读取mysql
Kali系统MSF模块暴力破解MySQL弱口令漏洞
攻击环境使用KALI系统(使用虚拟机搭建)的Metasploit模块,msfconsole是metasploit中的一个工具,它集成了很多漏洞的利用的脚本,并且使用起来很简单的网络安全工具。这里要特别强调:被攻击的环境必须开启mysql远程登陆服务,通常MySQL开启的端口号是3306,故而一般情况
带你了解Redis及安装Redis的全过程
带你了解Redis及安装Redis的全过程
分析docker启动MySQL挂载目录提示权限不足Permission denied原因
分析docker启动MySQL挂载目录提示权限不足Permission denied原因
MYSQL之压测
系统平台/自述文件在硕士 ·阿科皮托夫/系统台 ·吉特哈布 (github.com)sysbench]是一款开源的多线程性能测试工具,可以执行CPU/内存/线程/IO/数据库等方面的性能测试。数据库目前支持MySQL/Oracle/PostgreSQL。本文只是简单演示一下几种测试的用法,后续准备利
解决远程连接 docker中mysql 失败
Navicat只支持旧版本的加密,需要更改mysql的加密规则
分布式锁的应用场景和三种实现方式
多线程对同一资源的竞争,需要用到锁,例如Java自带的Synchronized、ReentrantLock。但只能用于单机系统中,如果涉及到分布式环境(多机器)的资源竞争,则需要分布式锁。分布式锁的主要作用:保证数据的正确性: 比如:秒杀的时候防止商品超卖,表单重复提交,接口幂等性。避免重复处理数据
基于Sqli-Labs靶场的SQL注入-第五关(重点讲双查询注入)
双查询是指两个查询语句的嵌套,也就是一个select语句中在去套一个select语句,然后利用group by 语句和floor函数的结合去报错,再将我们需要的信息显示到报错信息中。
12、MySQL数据类型
浮点数和定点数类型的特点是可以 处理小数 ,你可以把整数看成小数的一个特例。MySQL支持的浮点数类型,分别是 FLOAT、DOUBLE、REAL。FLOAT 表示单精度浮点数;DOUBLE 表示双精度浮点数;REAL默认就是 DOUBLE。如果你把 SQL 模式设定为启用“ REAL_AS_FLO
Linux环境下mysql数据库密码忘记解决办法
Linux环境下mysql数据库密码忘记解决办法
Mysql:sql去重的几种方式(大数据hive也可参考)
我们做数据分析的时候经常会遇到去重问题,下面总结 sql 去重的几种方式,后续如果还有再补充,大数据分析层面包括也可参考。
hive中case when的两种使用方法
hive中case when 的两种用法
手把手通过Docker部署前后端分离项目(亲测可用)
Docker基本安装和部署Nginx、MySQL、Vue和SpringBoot项目学习笔记(亲测可用),这里我用的是阿里云的服务器,环境是CentOS7!分享一些自己在学习路上的一些笔记,欢迎大家共同交流与探讨!
DataX实现mysql全量数据同步到hdfs
DataX是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据 库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高 效的数据同步功能。
MySQL性能优化
MySQL 在处理两个类型的值时,处理基本相同,仅有的不同是 BLOB 类型是以二进制格式来存储的,所以没有排序规则和字符集,而 text 类型有排序规则和字符集。低于秒级的时间需要在引用层做处理,一般可以通过存储两个或者多个列来存储(一个存储秒级的时间戳,另外的存储秒级以下的)所以当该列需要新添加