HDFS基本操作命令
命令：hadoop fs -getmerge [-n1] [-skip-empty-file]-p选项的行为与unix mkdir -p非常相似，他会沿着路径创建父目录。下载文件到本地文件系统指定目录，localdst必须是目录。和-put功能一样，只不过上传结束，源数据会被删除。-p保留访问和修改
centos7查看日志信息
收集记录linux查看日志方法，备忘
【Kafka】消息队列Kafka基础
【Kafka】消息队列Kafka基础
Flink stop 和 cancel停止 job 的区别
Flink stop 和 cancel停止 job 的区别
docker rabbitmq-清空queue队列数据
这将显示所有队列的信息，包括队列的名称和消息数量。执行命令后，队列的消息应该已经被完全删除。替换为你要清空的队列名称。
大数据期末考试选择填空重点内容HNUST（1-4章 7，10章多刷题）
（2）每个块都向HDFS集群中的名称节点发起写请求，名称节点会根据系统中各个数据节点的使用情况，选择一个数据节点列表返回给客户端，然后客户端就将数据首先写入列表中的第一数据节点，同时将列表传给第一个数据节点，当第一个数据节点接收到4KB数据时，写入本地，并且向列表中的第二个数据节点发起连接请求，将自
关于Java连接Hive，Spark等服务的Kerberos工具类封装
关于Java连接Hive，Spark等服务的Kerberos工具类封装
bash: 未预期的符号 `newline‘ 附近有语法错误——解决方法
bash: 未预期的符号 `newline' 附近有语法错误
hive on spark 时，executor和driver的内存设置，yarn的资源设置
hive on spark 时，executor和driver的内存设置，yarn的资源设置。
服务注册中心Eureka
Eureka采用了C-S的设计架构，包含两个组件：Eureka Server 和 Eureka Client。Eureka Server 作为服务注册功能的服务器，它是服务注册中心。Eureka Client 是一个Java客户端，用于简化Eureka Server的交互。
构建大数据环境：Hadoop、MySQL、Hive、Scala和Spark的安装与配置
安装Hadoop 首先，从Apache Hadoop的官方网站下载所需的Hadoop发行版。选择适合你系统的二进制发行版，下载完成后解压缩到安装目录。然后配置环境变量，并修改Hadoop的配置文件，根据需要进行修改。安装MySQL 安装MySQL服务器是搭建大数据环境的重要一步。更新包管理器后，执行
SpringBoot 集成 Kafka 配置
*** 自定义分区器*/@Override@Override@Override/***/@Component@Overrideif (value.toString().contains("二")){return 2;}else if (value.toString().contains("一")){
06. 管理Docker容器数据
在生产环境中使用 Docker，一方面，需要对数据进行保存或者在多个容器之间进行数据共享；另一方面，在 Docker 的容器被删除后，并不会保留容器的状态信息。那么如何实现信息的持久化呢？这必然涉及容器的数据管理。
用数据可视化观测月亮的变化是怎样的？
数据可视化随着技术的不断完善已经逐渐应用于我国的各行各业，在天文方面数据可视化的应用可一帮助天文学家和天文爱好者进一步分析天体的信息特征，中国科学院紫金山天台已经建设了大规模的天文数据分析以及多维信息可视化平台，对于更多天文爱好者和学习天文学的朋友们来说，数据可视化的应用都是有有很多益处的。
rabbitMQ如何保证数据不丢失
A: 对于当前的操作, 每一个channel都会存在若干的unack消息(未确认消息). 比方说, rabbitMQ正在发送的消息 、 消费者实例接收到消息之后但没有处理完 、 执行了ack但是因为ack是异步的也不会马上变为ack信息 、 开始批量ack延迟时间会更长.对于这些场景,都会存在una
Java常见面试题之RabbitMQ
最后的消费者从Queue获取消息，我们需要检查消费者监听的队列是否正确。还是上面的例子.由于我们的项目是分布式的项目,各个模块之间是相互独立的,从接受到请求的controller层到service层再到dao层,其实都是一些独立的子项目,在子项目中相互交流,我们会使用RabbitMQ进行消息传递,这
Elasticesearch内存详解
原理上可以理解为前缀树，加速查询。我们已经知道在elasticsearch中每个shard每隔1秒都会refresh一次，每次refresh都会生成一个新的segment，按照这个速度过不了多久segment的数量就会爆炸，所以存在太多的segment是一个大问题，因为每一个segment都会占用文
如何在Window系统中安装RabbitMQ以及在.NET平台上实现收发消息功能
RabbitMQ消息队列
RabbitMQ系列（18）--RabbitMQ基于插件实现延迟队列
2、下载rabbitmq_delayer_message_exchange插件（注：RabbitMQ是什么版本的，下载的插件就得是什么版本的，得对应上，以下截图为官方文档的对插件版本的要求说明）但我们下载插件后就能通过交换机延迟消息的方式来实现消息的延迟了（由步骤8可见，我们验证插件是否安装成功是从
docker启动rabbitmq无法访问15672端口
rabbitmq:3.8版本开始，管理插件包含在RabbitMQ发行版中。与其他任何插件一样，必须先启用它，然后才能使用它。使用rabbitmq:3.8.14版本启动了rabbitmq容器，5672、25672端口都可以连接，唯独15672仅在服务器本地可被连接。执行此命令即可：rabbitmq-p
