CDH 6.3.2下安装Flink
cdh 6.3.2下安装flink简单教程,自己在生产环境中测试成功
Flink使用 KafkaSource消费 Kafka中的数据
很多 flink相关的书籍和网上的文章讲解如何对接 kafka时都是使用的 FlinkKafkaConsume,'org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer' is deprecated ,新版 flink应该使用 K
使用docker快速安装Kafka
快速安装kafka。
5G无线频段划分
生活中使用电磁波的地方有很多,比如雷达,Wifi,电视,广播等都采用了电磁波传输数据,只不过他们之间的频率不通,如果使用相同的频率,则会产生干扰,所以频率一旦被某方占用,另一方就没得使用了。不同用途的电磁波频率有一个使用范围,该范围称为频段(又称Band)频段的上下限差值为带宽。
手把手教你,本地RabbitMQ服务搭建(windows)
前面已经对RabbitMQ介绍了很多内容,今天主要是交大家搭建一个可用的RabbitMQ服务端,方便后续进一步实操与细节分析。
Docker安装kafka可视化管理工具 - Kafka Manager
Docker安装kafka可视化管理工具 - Kafka Manager
Docker中快速部署Zookeeper服务
最近在研究分布式ID,在使用美团的Leaf的时候基于Snowflake的实现我们需要通过Zookeeper来实现动态管理workId。所以记录下在Docker中快速安装Zookeeper的过程。
Scala 环境搭建安装配置
Scala环境搭建安装配置
hive的数据导入
insert导出,导出的目录不用自己提前创建,Hive会帮我们自动创建,但是由于是overwrite,所以导出路径一定要写具体,否则很可能会误删数据。insert不支持插入部分字段,并且后边跟select语句时,select之前不能加as,加了as会报错,一定要跟下面的as select区分开。并且
Spring Boot 整合kafka消费模式AckMode以及手动消费
Spring boot 批量消费kafka消息,内容就介绍下各个模式的区别。kafka支持的消费模式等常用代码功能。
Flink CDC 基于Oracle log archiving 实时同步Oracle表到Mysql(无主键)
现在操作的是源表和目标表都无主键数据实时同步,其实是在flink建立和sink表的关联时,指定了主键,只不过是flink实时同步程序的需要,sink目标表没有主键。// 这使得LogMiner的挖掘速度大大提高,但代价是无法跟踪DDL的变化。//online_catalog -使用数据库的当前数据字
Flink:处理大规模复杂数据集的最佳实践深入探究Flink的数据处理和性能优化技术
作者:禅与计算机程序设计艺术 随着互联网、移动互联网、物联网等新型网络技术的不断发展,企业对海量数据的处理日益依赖,而大数据分析、决策支持、风险控制等领域都需要海量的数据处理能力。如何高效、快速地处理海量数据、提升处理效率、降低成本,是当下处理大规模复杂数据集的
如何解决Flink任务的数据倾斜
如何解决flink任务的数据倾斜问题
HDFS常用命令
正则匹配OriginalFilePath目录下的文件(夹),批量上传到hdfs的targetFilePath目录下。其中-E表示告诉grep后面是一个正则表达式。查看yarn集群中正在运行的应用,可以看到各个应用的执行状态和进度(progress可能不准确,一直为10%)查看所有处于running状
【Kafka】【十三】生产者中的ack配置
在同步发送的前提下,⽣产者在获得集群返回的ack之前会⼀直阻塞。那么集群什么时候返回ack呢?下⾯是关于ack和重试(如果没有收到ack,就开启重试)的配置。
java使用assign订阅,使用SASL_SSL协议的SCRAM-SHA-256加密方式消费kafka数据
properties.put("sasl.jaas.config", "org.apache.kafka.common.security.scram.ScramLoginModule required username='用户名' password='密码';//消费者连接的超时时间。
RabbitMQ一些常用的命令
这些命令可以用于获取 RabbitMQ 实例的各种状态信息,例如队列、交换器、连接、通道等的状态,从而帮助进行监控和管理 RabbitMQ 实例。更多的命令和选项可以通过。命令时,需要具有足够的权限,并且谨慎操作,以避免对 RabbitMQ 实例造成不必要的影响。以下是一些常用的 RabbitMQ
Elastic8.2下载和安装教程
Elastic8.2下载和安装教程1、下载:https://www.elastic.co/downloads/elasticsearch2、解压到本地文件目录3、点击elasticsearch.bat打开ElasticSearch4、首次启动 Elasticsearch 时,会自动进行以下安全配置:
docker安装RabbitMQ教程(2023年最详细)
RABBITMQ_DEFAULT_USER:默认的用户名;如果需要安装其他版本在rabbitmq后面跟上版本号即可 docker pull rabbitmq:3.7.7-management。--hostname 主机名(RabbitMQ的一个重要注意事项是它根据所谓的 “节点名称” 存储数据,
Hadoop启动后没有namenode进程的解决办法
【代码】Hadoop启动后没有namenode进程的解决办法。