kafka 分区分配及再平衡总结
kafka 分区分配及再平衡总结
canal实现同步mysql至es
一、canal 简介早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜像 数据
Hadoop安装服务器-CDH6.2离线安装与Web界面安装
Hadoop装服务器-CDH6.2离线安装1. 概述2. 安装的步骤2.1 安装CDH前的安装包准备2.2 编辑/etc/hosts文件(每个节点)2.3 关闭防火墙、禁止防火墙开机自启(每个节点)2.4 ssh无密码登录2.5 配置NTP服务(所有节点)2.6. 修改Linux swappines
Hbase安装步骤
hbase安装步骤
elasticsearch 7.6.2 - 索引管理
小伙伴们，你们好呀，我是老寇，跟我一起学习es 7.6.2一.创建索引及参数解析1.创建索引 (语法及例子)1).新建索引语法PUT 索引名称{ "setting" : { ...}, "mapping" : { "properties" : { "field1" : { "t
dubbo分布式服务框架入门
目录1.dubbo简介2.dubbo架构3.dubbo搭建3.1本地本地搭建service和web模块3.2dubbo搭建3.3优化dubbo搭建本文参考b站黑马程序员dubbo入门课程视频连接：https://www.bilibili.com/video/BV1VE411q7dX?p=11.dub
2022年顶级网络安全专家最爱的5大数据加密方法
互联网安全 (IS) 专业人士将加密分为三种不同的类型：对称、非对称和散列。对称加密比非对称加密更快，但是......
Linux系统常用命令（初学）
初学Linux系统部分命令，在安装Linux系统后的初学命令参考，用于下载环境解压打开等等操作，个别操作用Hadoop举例。
hive-SQL学习笔记12
SQL高级查询方法及条件设置
分布式锁用 Redis 还是 Zookeeper
什么是分布式锁在分布式架构中，Java的锁无法管理多个实例，因此需要有一个类似于统一管理锁的架构模式，即分布式锁。目前比较常见的分布式锁实现方案有以下几种：基于数据库乐观锁，如MySQL（增加字段版本标识version控制实现）基于缓存，如Redis基于Zookeeper、etcd等（ZooKeep
大数据的关键技术（二）
七、数据清洗技术（1）数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。 （2）我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。
大数据的关键技术（一）
一、大数据处理的基本流程——采集、存储、分析和实现①数据采集->②数据归整->③数据存储->④数据处理->⑤数据呈现二、大数据技术数据采集宇预处理 数据采集和管理 数据处理宇分析 数据安全与隐私保护（一）数据采集与预处理：联机分析处理（OLAP）与实时处理分析 （二）数据存储
100天精通Python（基础篇）——第28天：标准库os
文章目录前言前言🥇 作者介绍：Python领域优质创作者、数据开发工程师🥳 励志成为Python全栈工程师，关注我发现更多精彩~📣 本文已收录于Python全栈系列专栏：100天精通Python从入门到就业🎉 欢迎订阅，订阅后可私聊进Python全栈交流群（手把手教学，问题解答）； 还可领取
Ambari安装phoenix-hbase5.X(适配phoenix-queryserver)
phoenix-hbase4.15及5.X版本后，phoenix-hbase安装包中就不带phoenix-queryserver，phoenix-queryserver需要单独安装。本文将从手动安装跟Ambari安装两种方式出发适配phoenix-hbase高版本。
人工智能之深度学习-初始环境搭建（安装Anaconda3和TensorFlow2步骤详解）
Python微信订餐小程序课程视频https://edu.csdn.net/course/detail/36074Python实战量化交易理财系统https://edu.csdn.net/course/detail/35475前言：本篇文章主要讲解的是在学习人工智能之深度学习时所学到的知识和需要的环
解开Kafka神秘的面纱(四)：kafka stream及interceptor
文章目录一、前言二、Kafka四个核心API三、kafka stream3.1 Kafka Streams概述3.2 为什么要有Kafka Streams3.3 单词统计案例四、kafka interceptor4.1 拦截器原理4.2 拦截器案例4.2.1 需求4.2.2 案例实操4.2.3 测试
“天池”淘宝用户消费行为分析——sql
“天池”淘宝用户消费行为分析——sql
C++冒泡排序
思想： 从左到右，相邻两数两两比较，若下标小的数大于下标大的数则交换，将最大的数放在数组的最后一位(即下标n-1的位置) 采用相同的方法，再次遍历数组，将第二大的数，放在数组倒数第二的位置(即n-2的位置)，以此类推，直到数组有序 优化：当数组在整个遍历过程中没有发生交换，说明待排序数组已
详解Elasticsearch的安装
详解ES的相关安装，指出每一个步骤的注意事项，让我们更快入门ES
