flink1.14 sql基础语法(二) flink sql表定义详解
flink1.14 sql基础语法(二) flink sql表定义详解
微服务eureka和nacos
解释说明: eureka-server自己也是个微服务,也需要服务名称,而且还需要配置eureka的地址(疑问:我自己就是eureka,为什么还要配置地址信息)刚才说了eureka-server自己就是微服务,所以eureka-server在启动的时候自己也注册到eureka上()上面default
CDH 之 hive 升级至 hive-3.1.3 完美踩坑过程
这是博主在升级过程中遇到的问题记录,大家不一定遇到过,如果不是 CDH 平台的话,单是 hive 服务升级应该是不会有这些问题的,且升级前博主也参考过几篇相关 CDH 升级 hive 服务的博文,前面的升级步骤基本一致,但是升级过程只有我遇到了这些问题吗?单拎出来这些报错,度娘多多少少还是可以找到一
RabbitMq死信交换机
如果该队列设置了 dead-letter-exchange属性,指定了一个交换机,那么队列中的私信就会投递到这个交换机中,而这个交换机称为死信交换机(Dead Letter Exchagne,简称DLX)给队列设置dead-letter-routing-key属性,设置死信交换机与死信队列的rout
RabbitMQ 安装
rabbitmq安装
maven查找依赖的方法
mvnrepository也是一个非常有用的maven仓库搜索服务,它最大的特点就是简单,除了搜索什么都没有。类似的,你可以在页面最上方输入关键字以进行搜索。得到结果之后再点击以查看详细信息:该构件的坐标POM片段,版本信息,jar下载连接都可以得到。此外,还有一个有趣的特性是,你能看到该构件的文件
最新版Flink CDC MySQL同步MySQL(一)
Flink CDC 是Apache Flink ®的一组源连接器,使用变更数据捕获 (CDC) 从不同数据库中获取变更。Apache Flink 的 CDC Connectors集成 Debezium 作为捕获数据更改的引擎。所以它可以充分发挥 Debezium 的能力。
RabbitMQ:高效传递消息的魔法棒,一篇带你助力构建可靠的分布式系统(上篇)
MQ是消息队列()的缩写,是一种在应用程序之间传递消息的技术。通常用于分布式系统或异步通信中,其中发送者将消息放入队列,而接收者从队列中获取消息。这种异步通信模式允许发送者和接收者在不需要实时连接的情况下进行通信,从而提高了应用程序的性能和可伸缩性。消息队列可用于许多不同的应用程序场景,例如处理大量
kafka常用命令汇总(亲测自用)
kafka常用命令
手动清除RabbitMQ队列的消息缓存
手动清除rabbitmq的队列消息缓存
Spark SQL数据源:Hive表
将该文件数据导入表student1中,执行命令:spark.sql(“LOAD DATA INPATH ‘hdfs://master:9000/student/input/student.txt’ INTO TABLE student1”)将数据帧数据写入hive表,执行命令:studentDf.s
虚拟机扩容Ubuntu20.04教程
虚拟机内存不足、磁盘空间过小导致蓝屏问题
Java实时监控Mysql的binLog--可指定监听某个库或者某张表
Java实时监控Mysql的binLog--可指定监听某个库或者某张表
【后端开发】尚硅谷 SpringCloud 学习笔记
中文官网: https://www.spring.cloud.cc/spring-cloud-consul.html英文官网:https://www.consul.io需要下载一个安装包查看版本启动是一个命令行界面,需要输入启动默认我们使用eureka的新版本时,它默认集成了ribbon:这个sta
Kafka中产生数据积压的原因以及解决方案
Kafka中产生数据积压的原因以及解决方案。
hive-sql保留n位小数
hive-sql保留n位小数,round方法和cast as decimal方法比较。
下一个风口会是什么行业?
随着计算机技术和算法的不断发展,人工智能已经开始应用于各个领域,如医疗、金融、制造等。无论是人工智能、生物科技、新能源还是虚拟现实,它们的发展都需要政府、企业和投资者的共同努力。我们期待这些行业的蓬勃发展,同时也期待更多的新兴产业不断涌现,为人类社会的进步和发展作出更大贡献。随着基因编辑技术的出现和
判断hadoop伪分布式安装模式是否成功启动
判断hadoop伪分布式安装模式是否成功启动
【项目实战】Java 开发 Kafka 生产者
Kafka 生产者是指使用 Apache Kafka 的应用程序,用于向 Kafka 集群发送消息。生产者将消息发布到 Kafka 主题(topic),然后消费者可以从该主题订阅并接收这些消息。Kafka 生产者是实现消息发布的一方,可以是任何编程语言中的应用程序。
Hudi(16):Hudi集成Flink之读取方式
如果将全量数据(百亿数量级) 和增量先同步到 kafka,再通过 flink 流式消费的方式将库表数据直接导成 hoodie 表,因为直接消费全量部分数据:量大(吞吐高)、乱序严重(写入的 partition 随机),会导致写入性能退化,出现吞吐毛刺,这时候可以开启限速参数,保证流量平稳写入。通过参