基于Flink SQL CDC Mysql to Mysql数据同步
本方案使用FlinkSQL方法，同步两表中的数据。其中Flink应用可以部署在具有公网IP的服务器上，同时可以连接其他局域网中服务器的数据进行同步工作，如不需要操作管理页面，则不对服务器IP有要求。
Docker容器搭建大数据集群
Docker容器搭建大数据集群，包含Hadoop,Mysql,Hive,Flume,Zookeeper,HBASE,SQOOP,Kafaka,Spark,Redis
大数据项目组-月度考核汇报0102
大数据项目组-月度考核汇报0102
Datax从mysql同步数据到mysql
在实际使用Datax的时候，可能会使用Datax同步mysq数据到mysql，实现数据库跨库同步或者多个mysql之间相互同步，那么怎么实现呢？我们一步步来实现（基于Datax 3.0.0）
hadoop基础：通过 Shell 命令访问 HDFS
HDFS Shell 是由一系列类似 Linux Shell 的命令组成的。命令大致可分为操作命令、管理命令、其他命令三类。
springboot集成kafka消费手动启动停止
在某个特定场景，需要对kafka实行暂停消费，等月结完成，从新启动消费
springboot集成flink-cdc
springboot集成flink-cdc 实时变更捕获技术 监听数据库变化
转行大数据未来发展怎么样？可行么
近年来越来越多的人选择大数据行业，大数据行业前景不错薪资待遇好，各大名企对于大数据人才需求不断上涨。大数据从业领域很宽广，不管是科技领域还是食品产业，零售业等都是需要大数据人才进行大数据的处理，以提供更好的用户体验，优化库存降低成本预测需求。大数据开发分两类，编写Hadoop、Spark的应用程序和
从Hive源码解读大数据开发为什么可以脱离SQL、Java、Scala
本文将以大数据开发中最常见的数仓组件Hive的drop table为例，抛砖引玉，解读为神马大数据开发可以脱离SQL、Java、Scala。
为什么用户使用了10年的kettle现在换成RestCloud ETL?
使用了10多年的Kettle用户为何在企业数字化转型过程中换成RestCloud ETL？
hadoop集群搭建学习总结（一）
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作
Kafka CPU使用率高排查思路及解决方案
b) Kafka配置中查看num.io.threads、num.network.threads、num.replica.fetchers配置，num.io.threads和num.network.threads配置一般建议磁盘个数的倍数，但不能超过CPU核数。c) 分区设置不合理：分区一
大数据技术之Hive
大数据技术之Hive
plt: subplot()、subplots()详解及返回对象figure、axes的理解
subplot()、subplots()均用于Matplotlib 绘制多图1.两者的区别：subplots 一次性创建并返回所有的子图和其 axe 对象。subplot则是分开多次添加子图。每次调用返回一个子图和对应的 ax 对象。2.plt.subplot()函数原型 subplot(nrows
hive中判断一个字符串是否包含另一个子串的四种方法，sql中也可用
hive中判断一个字符串是否包含另一个子串的四种方法如果你有一个数据需求，需要从一个字段中，判断是否有一个字符串，你该怎么做一、方法1：like和rlike最能想到的方法，用like或者rlikeselect "i want to touch fish" like("%fish%");那么rlike
大数据都应用在哪些领域？
大数据被应用较多的领域有哪些？疫情期间大数据技术对于疫情的防控发挥了巨大的作用，抗疫期间多家互联网企业纷纷加强大数据在疫情防控中的应用。小到社区大到部委相关部门都将大数据作为不可或缺的防疫工具，生活中很多方面涉及到大数据由此可见尤为重要。常见的大数据应用领域：1、理解客户满足客户服务需求大数据应用目
SparkSQL知识点总结
零基础学sparksql
Hadoop3.1.3完全分布式安装（Centos7.x）
Hadoop3.x完全分布式安装
kafka学习（五）：消费者分区策略（再平衡机制）
*** 返回序列化后的自定义数据*/}/*** 分区分配的计算逻辑*//*** 当组成员从领导者那里收到其分配时调用的回调*/}/*** 指明使用的再平衡协议* 默认使用RebalanceProtocol.EAGER协议, 另外一个可选项为 RebalanceProtocol.COOPERATIVE
hadoop shell 练习题
利用Hadoop提供的Shell命令完成以下任务(路径中的xxx替换为自己的用户名)：1、显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；示例: hdfs dfs -ls /2、从HDFS中下载指定文件；示例: hdfs dfs -get /tmp/train/wordcount
