CDH 6.3.2下安装Flink

cdh 6.3.2下安装flink简单教程,自己在生产环境中测试成功

Flink使用 KafkaSource消费 Kafka中的数据

很多 flink相关的书籍和网上的文章讲解如何对接 kafka时都是使用的 FlinkKafkaConsume,'org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer' is deprecated ,新版 flink应该使用 K

使用docker快速安装Kafka

快速安装kafka。

5G无线频段划分

生活中使用电磁波的地方有很多,比如雷达,Wifi,电视,广播等都采用了电磁波传输数据,只不过他们之间的频率不通,如果使用相同的频率,则会产生干扰,所以频率一旦被某方占用,另一方就没得使用了。不同用途的电磁波频率有一个使用范围,该范围称为频段(又称Band)频段的上下限差值为带宽。

手把手教你,本地RabbitMQ服务搭建(windows)

前面已经对RabbitMQ介绍了很多内容,今天主要是交大家搭建一个可用的RabbitMQ服务端,方便后续进一步实操与细节分析。

Docker安装kafka可视化管理工具 - Kafka Manager

Docker安装kafka可视化管理工具 - Kafka Manager

Docker中快速部署Zookeeper服务

最近在研究分布式ID,在使用美团的Leaf的时候基于Snowflake的实现我们需要通过Zookeeper来实现动态管理workId。所以记录下在Docker中快速安装Zookeeper的过程。

Scala 环境搭建安装配置

Scala环境搭建安装配置

hive的数据导入

insert导出,导出的目录不用自己提前创建,Hive会帮我们自动创建,但是由于是overwrite,所以导出路径一定要写具体,否则很可能会误删数据。insert不支持插入部分字段,并且后边跟select语句时,select之前不能加as,加了as会报错,一定要跟下面的as select区分开。并且

Spring Boot 整合kafka消费模式AckMode以及手动消费

Spring boot 批量消费kafka消息,内容就介绍下各个模式的区别。kafka支持的消费模式等常用代码功能。

Flink CDC 基于Oracle log archiving 实时同步Oracle表到Mysql(无主键)

现在操作的是源表和目标表都无主键数据实时同步,其实是在flink建立和sink表的关联时,指定了主键,只不过是flink实时同步程序的需要,sink目标表没有主键。// 这使得LogMiner的挖掘速度大大提高,但代价是无法跟踪DDL的变化。//online_catalog -使用数据库的当前数据字

Flink:处理大规模复杂数据集的最佳实践深入探究Flink的数据处理和性能优化技术

作者:禅与计算机程序设计艺术 随着互联网、移动互联网、物联网等新型网络技术的不断发展,企业对海量数据的处理日益依赖,而大数据分析、决策支持、风险控制等领域都需要海量的数据处理能力。如何高效、快速地处理海量数据、提升处理效率、降低成本,是当下处理大规模复杂数据集的

如何解决Flink任务的数据倾斜

如何解决flink任务的数据倾斜问题

HDFS常用命令

正则匹配OriginalFilePath目录下的文件(夹),批量上传到hdfs的targetFilePath目录下。其中-E表示告诉grep后面是一个正则表达式。查看yarn集群中正在运行的应用,可以看到各个应用的执行状态和进度(progress可能不准确,一直为10%)查看所有处于running状

【Kafka】【十三】生产者中的ack配置

在同步发送的前提下,⽣产者在获得集群返回的ack之前会⼀直阻塞。那么集群什么时候返回ack呢?下⾯是关于ack和重试(如果没有收到ack,就开启重试)的配置。

java使用assign订阅,使用SASL_SSL协议的SCRAM-SHA-256加密方式消费kafka数据

properties.put("sasl.jaas.config", "org.apache.kafka.common.security.scram.ScramLoginModule required username='用户名' password='密码';//消费者连接的超时时间。

RabbitMQ一些常用的命令

这些命令可以用于获取 RabbitMQ 实例的各种状态信息,例如队列、交换器、连接、通道等的状态,从而帮助进行监控和管理 RabbitMQ 实例。更多的命令和选项可以通过。命令时,需要具有足够的权限,并且谨慎操作,以避免对 RabbitMQ 实例造成不必要的影响。以下是一些常用的 RabbitMQ

Elastic8.2下载和安装教程

Elastic8.2下载和安装教程1、下载:https://www.elastic.co/downloads/elasticsearch2、解压到本地文件目录3、点击elasticsearch.bat打开ElasticSearch4、首次启动 Elasticsearch 时,会自动进行以下安全配置:

docker安装RabbitMQ教程(2023年最详细)

RABBITMQ_DEFAULT_USER:默认的用户名;如果需要安装其他版本在rabbitmq后面跟上版本号即可 docker pull rabbitmq:3.7.7-management。--hostname 主机名(RabbitMQ的一个重要注意事项是它根据所谓的 “节点名称” 存储数据,

Hadoop启动后没有namenode进程的解决办法

【代码】Hadoop启动后没有namenode进程的解决办法。

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈