使用canal监控mysql数据库实现elasticsearch索引实时更新
文章目录业务场景安装下载安装数据库启用row binlog使用修改配置文件canal.properties配置单个连接配置多个连接配置rabbitMQ程序改动canal源码微服务消费mq业务场景使用elasticsearch作为全文搜索引擎，对标题、内容等，实现智能搜索、输入提示、拼音搜索等elas
Hadoop 大数据Hive仓库组件部署超详细
1.数据仓库1.1概念构建面向分析的集成化数据环境面向分析的存储数据1.2主要特征数据仓库是面向主题的集成的非易失的和时变的数据集合，用以支持管理决策1.2.3 非易失性开启三台虚拟机上传压缩包到software解压到src下改名修改环境变量生效环境变量查询卸载Maeidb文件包上传MySQL安装包
springboot 2.0 集成 kafka 2.6.2（集群） + elk 7.6.2（集群）
小伙伴们，你们好，我是老寇目录一、前提条件二、准备工作三、ELK介绍四、Kafka介绍五、日志监控架构图六、微服务集成一、前提条件搭建kafka集群 搭建elasticsearch集群 搭建微服务环境二、准备工作192.168.1.1（启动Elasticsearch集群+ Kafka集群）192.1
2.3 Hadoop安装与体验
带你全面理解hadoop大数据。包含：伪分布式配置创建hadoop用户更新apt安装SSH、配置SSH无密码登陆安装Java环境Hadoop伪分布式配置运行Hadoop伪分布式实例深耕于机器学习算法、深度学习、数据分析等领域，希望我这微不足道的知识能帮到您。
Apache Yarn重启,历史任务可以永久保留的几个参数
非HA模式下的Apache Yarn在重启以后,8088端口默认是看不到之前运行过的历史任务的,如果想要看到历史任务,只需要在yarn-site.xml里面设置三个参数即可.<property> <name>yarn.resourcemanager.recove
RFM用户分层模型｜原理+Python全流程实现
RFM 模型在数据分析中经常会进行用户分层，本文我们来了解一下常见的用户分层模型RFM。RFM概念RFM是由R(Recency)、F (Frequency)、 M(Monetary) 三个维度构成的，其具体含义如下：R：最近一次消费时间间隔F：消费频率M：消费金额这里对于这三个维度的概念简单的做一个
MySQL优化手册概要——LIMIT优化
mysql语句优化之——LIMIT优化
实习踩坑之路：一个ElasticSearchJava客户端的批量处理操作bulkIndexAsync引发的内存泄漏的血案
没错这又是一次血案，不过是在测试环境发现的，还好不是上次线上导致的CPU300%，这次及时发现，避免了线上血案，不过我还是要复盘一下的，下面就看看我的分析，看看有没有什么错误的地方
centos 7 安装kafka 2.6.2（集群）
小伙伴们，你们好，我是老寇一、前提条件192.168.1.1 (安装kafka，点点我)192.168.1.2 (安装kafka，点点我)192.168.1.3 (安装kafka，点点我)二、安装过程1.3台主机都执行如下命令mkdir -p /data/kafka/logsmkdir -p /da
【无标题】 Hadoop中Scala环境的搭配
（1）在起始的/opt 目录下建立software文件和module文件，software文件用来下载安装包，下载后的安装包·可以·解压到module文件。可以用下面这一行代码：tar -r /opt/software scala-2.11.8.tgz -C /opt/module到 /opt/mo
centos7 安装 kafka 2.6.2（单机）
小伙伴们，你们好，我是老寇目录一、下载文件二、解压文件三、移动文件到/usr/local四、创建文件夹并授权五、修改config/zookeeper.properties六、修改config/server.properties七、启动zookeeper八、启动kafka九、查看端口占用十、创建top
元宇宙基本概念、特点及发展趋势初步探讨
文章介绍了元宇宙基本概念、特点及发展趋势，内容来自于江西省计算机用户协会秘书长、高级工程师刘斌整理
10秒内插入亿量级数据，我滴妈，真牛逼...
一、前言相信很多小伙伴都遇到过大数据量导入DB，或者说数据库分表带来的数据批量插入，这时候会遇到个问题就是插入效率低的问题，例如博主前段时间在导入几千万条万条数据时，过程耗时***秒，具体多少？反正没有继续等，直接崩溃。于是乎对代码做了点优化，最后做到了10s内！！！开始表演，mock下过程原始写法
从0到1搭建大数据平台之开篇
学大数据必须了解的知识点。硬核
spark学习之sparksql语法优化
🐹上一章的学习中，我们学习了spark的资源调度进行了学习，今天我们要学习的内容是sparksql语法优化部分，对往期内容感兴趣的同学可以参考👇:上一篇: spark学习之资源调度.上一篇: spark学习之执行计划explain.hadoop专题: hadoop系列文章.spark专题: sp
基于Springboot+Echarts的大数据可视化展示系统
基于Springboot+Echarts的大数据可视化展示系统编程语言： java框架： springboot前台： html js layui框架 jquary 开发工具：IDEA2020,JDK1.8， mysql5.7,maven 3.6.0下载地址：https://download.csdn
城市数字孪生解决方案
数字孪生城市的概念模型、内涵和特征，数字孪生城市参考框架、关键技术、应用场景以及发展趋势，文章内容来源于城市数字孪生标准化白皮书
Spark框架——RDD入门及三种算子
RDD入门及三种算子//Map算子 @Test def mapTest(): Unit = { //1.创建RDD val rdd1: RDD[Int] = sc.parallelize(Seq(1, 2, 3)) //2.执行Map操作 val rdd2: RDD[In
Java大数据面试复习30天冲刺 - 日积月累，每日五题【Day04】——JavaSE
创建线程有几种方式1.通过继承Thread类实现，实现简单但不可以继承其他类，多个线程之间无法共享该线程类的实例变量。2.实现Runnable接口，较继承Thread类，避免继承的局限性，适合资源共享。3.使用Callable，方法中可以有返回值，并且抛出异常。4.创建线程池实现，线程池提供了一个线
搭建项目学习框架（一，Linux下Java的安装，安装Tomcat与搭建Zookeeper）
不知不觉就到了框架的学习了，小编根据IT老师的讲解思路进行自己的总结与练习，和小编一起总结吧！一，确保自己的虚拟机能上网小编写的虚拟机上网博客https://blog.csdn.net/weixin_47514459/article/details/123594822需要安装包，Java安装包，to
