【Hadoop】 | 搭建HA之报错锦集
这篇文章主要介绍博主在进行 Hadoop Ha 搭建时，以及 MapReduce 编程时，遇到的部分错误，分享给大家参考！
elasticsearch安装部署
快速docker部署elasticsearch,及发现bug解决。
【学习笔记】kafka学习二
kafka学习笔记
大数据分析师题库（一）
大数据分析师题库（一）以供参考
Hive on Spark环境搭建（解决Hive3.1.2和Spark3.0.x版本冲突）
使用Hive做元数据存储和HQL解析，Spark做实际计算。（Hive on Spark）Hive 使用3.1.2版本，Spark 使用3.0.3版本 。由于Hive 3.1.2 和 Spark 3.0.3不兼容，需要修改Hive中关于Spark的源码和依赖引用。下载Hive 3.1.2源码 ，上传
Spark中数据预处理和清洗的方法(python)
常见的数据预处理和清洗方法
iptables防火墙屏蔽指定ip的端口
#尾部插入一条记录,拒绝ip访问除了22端口以外的所有端口iptables -A INPUT -s 192.1.217.54 -p tcp -m tcp ! --dport 22 -j REJECT# 第一行插入规则允许通过的端口号iptables -I INPUT 1 -s 192.1.217.
Kafka 3.4.0 kraft 集群搭建
Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用 KRaft（Kafka Raft）共识协议的版本。在几年的开发过程中，它先是在 Kafka 2.8 早期访问版本中发布，然后又在 Kafka 3.0 预览版本中发布。KRaft 是一种
【大数据学习篇1】linux常用命令
/list查看当前目录下有什么文件ls //list -list 通过详细内容形式查看目录下的文件内容 ls -l 或 ll //查看指定目录下文件名字信息 ls 目录 //以详细列表形式查看指定目录下文件名字信息 ls -l 目录 //list all 查看全部文件，包括隐藏文件 ls -a //
ClickHouse 相关面试题
ClickHouse是一款用于大数据分析的 OLAP 列式存储数据库管理系统，最初由Yandex公司开发，后来成为了一个开源项目，可以在 GitHub 上进行访问和使用。ClickHouse特点如下：高性能分布式架构支持 SQL 查询语言，减少开发人员学习成本。支持多种数据类型，拥有灵活的数据模型。
【云原生】Hadoop on k8s 环境部署
Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（Hadoop Distributed File System）、MapReduce（Hadoop2.0加入了YARN，Yarn是资源调度框架，能够细粒度的管理和调度任务，还能够支持其他的计算框架，比如spark）为核心的Had
HIVE 基本查询操作（二）——第2关：Hive数据类型和类型转换
的内置数据类型，2.如何转换数据类型。的内置数据类型可以分为两大类：(1)、日每种股票总共被客户买入了多少金额。为了完成本关任务，你需要掌握：1.(1) 如果将浮点型的数据转换成。日每种股票总共被客户买入了多少元。类型数据是一个数字类型()，这时候你可以利用嵌套的。开始你的任务吧，祝你成功！函数来实
大数据hadoop生态技术简介
大数据生态知识体系
RocketMQ 5.0 本地源码启动Cluster模式指南
这里是weihubeats,觉得文章不错可以关注公众号，文章首发。拒绝营销号，拒绝标题党。
大数据技术之Hadoop(八)——Flume日志采集系统
Flume日志采集系统的认识与操作
Springboot 集成kafka
解释：这里定义了消费者id为ifun-001，消费者组id为ifun-01，同时监听两个topic，ifun1和ifun2，其中监听ifun1的0号分区，ifun2的0号和1号分区，其中1号分区开始的offset为8，也就是说如果next-offset大于8就会消费，小于8不会消费。消息过滤器可以在
RabbitTemplate的创建与配置
RabbitTemplate是我们在与SpringAMQP整合的时候进行发送消息的关键类该类提供了丰富的发送消息的方法，包括可靠性消息投递、回调监听消息接口ConfirmCallback、返回值确认接口ReturnCallback等等同样我们需要注入到Spring容器中，然后直接使用。在与sprin
Kafka如何保证数据高可靠
生产者只要将数据发送到leader副本，kafka就会返回ack，leader中的数据先在缓存中，数据写磁盘需要一段时间。ISR假设为空，或者小于最小副本数，生产者往Kafka写数据的时候一直会报错，不能说它一报错Kafka生产者就直接终止，我们肯定要设置一个重试次数，来提升程序的健壮性。这种情况下
帆软初级证书 第一部分 Fine Report 答案 （二）
帆软初级证书 第一部分 Fine Report 答案 （二）
Hive数据操作
hive学习02-数据操作
