Flink+Flink CDC版本升级的依赖问题总结
flink 1.16 + flink-connector-mysql-cdc2.3 的依赖冲突问题总结。
Hive表DDL操作(一) 第3关:Alter 表/列
Hive表DDL操作(一)第3关:Alter 表/列
大数据开发之Hive案例篇9-Not yet supported place for UDAF ‘count‘
后面把order by子句注释掉之后,居然就可以了,那么就是order by 后面不能跟聚合函数了。一个很简单的group by和count(*) 操作,然后居然报错了。大概是在Oracle MySQL上写SQL写习惯了,以为可以这么写。于是使用了聚合函数的别名,问题搞定。出了问题也是不知道从何排查
大数据学习-bug03-HDFS web页面文件访问出错
HDFS的web页面显示报错
【大数据实训】基于当当网图书信息的数据分析与可视化(八)
温馨提示:文末有 CSDN 平台官方提供的博主 的联系方式,有偿帮忙部署。
【kafka】记一次kafka基于linux的原生命令的使用
环境是linux,4台机器,版本3.6,kafka安装在node 1 2 3 上,zookeeper安装在node2 3 4上。遇到不熟悉的sh文件,直接输入名字并回车,就会提示你可用的命令参数。安装好kafka,进入bin目录,可以看到有很多sh文件,是我们执行命令的基础。在其中的一台机器上起一个
一个基于Kafka客户端封装的工具,Kafka开发效率神器
topic列表topic创建topic删除topic的分区列表,分区和副本数删除groupId集群的节点列表消费者列表指定topic的活跃消费者列表生产数据到指定的topic,同步接口{"topic":"RULEa93304e6d844000","partition":1,"offset":681}
计算机毕设 大数据工作岗位数据分析与可视化 - python flask
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升,传统的毕设题目缺少创新和亮点,往往达不到毕业答辩的要求,这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设,学长分享优质毕业设计项目,今天要分享的是🚩基于大数据的工作岗位数据分析与可视化🥇学
用hadoop-eclipse-plugins-2.6.0来配置hadoop-3.3.6
hadoop-eclipse-plugins这个插件是Eclipse中Hadoop的插件,但在寻找这个插件的过程中,突然发现插件的版本最好与hadoop的版本的一样。然后又试了试自己搭对应版本的hadoop-eclipse-plugins-3.3.6,一堆报错。,将hadoop-eclipse-pl
python爬虫利用代理IP分析大数据
本文介绍了代理IP的概念、分类和获取方法,并提供了使用Python爬虫利用代理IP分析大数据的代码案例。同时,需要注意代理IP的有效性,可以使用Python代码验证代理IP的有效性。这样,通过使用代理IP,就可以隐藏真实的IP地址,从而达到访问被封IP的网站、提高访问速度等效果。高匿代理IP也叫透明
Linux系统上搭建高可用Kafka集群(使用自带的zookeeper)
Apache Kafka 是一个高吞吐量的分布式消息系统,被广泛应用于大规模数据处理和实时数据管道中。本文将介绍在CentOS操作系统上搭建Kafka集群的过程,以便于构建可靠的消息处理平台。
@KafkaListener注解详解(一)| 常用参数详解
KafkaListener 注解提供了许多可配置的参数,以便更灵活地定制 Kafka 消息监听器的行为。
修炼k8s+flink+hdfs+dlink(六:学习k8s-pod)
【代码】修炼k8s+flink+hdfs+dlink(六:学习k8s)
【大数据之Hadoop】十七、MapReduce之数据清洗ETL
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将分散、零乱、标准不统一的数据整合到一起,为决策提供分析依据。ETL的设计分三部分:数据抽取、数据的清洗转换、数据的加载。
2024年计算机专业大数据选题推荐✅(最新、最全、最容易通过的选择)
💗博主介绍:✌全网粉丝10W+,CSDN特邀作者、博客专家、CSDN新星计划导师、全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌💗👇🏻精彩专栏 推荐订阅👇🏻2023-2024年最值得选的微信小程序毕业设计选题大
hive on spark集群环境部署(彻底摆脱做毕设没环境)
hive on spark环境部署
HDFS 常见基础操作命令
hdfs基本操作命令
解决安装 RabbitMQ 安装不成功的问题
由于RabbitMQ是基于erlang的,所以,在正式安装RabbitMQ之前,需要先安装一下erlang。
大数据岗位秋招面试八股文总结(不定时更新)
第一次是局部聚合,先给每个key都打上一个随机数,比如10以内的随机数,此时原先一样的key就变成不一样的了,比如(hello, 1) (hello, 1) (hello, 1) (hello, 1),就会变成(1_hello, 1) (1_hello, 1) (2_hello, 1) (2_hel
0基础学习PyFlink——用户自定义函数之UDTAF
PyFlink UDF UDTF UDAF UDTAF