SpringBoot项目集成kafka及常规配置
使用 spring-kafka 的api，在springboot项目中集成kafka能力，封装配置。
Hadoop和Hbase版本对应关系(参考官网)
Hadoop和Hbase版本对应关系(参考官网)
Flink将数据写入CSV文件后文件中没有数据
Flink中writeAsCsv方法源码解析
【ES】windows启动
es在windows启动时会遇到的一些坑
浅析Spring-kafka源码——消费者模型的实现
在使用Spring-kafka时，一般都是通过使用@KafkaListener注解的方法来实现消息监听和消费。今天写一下基于这个注解实现的消费端模型和实现的原理。
kafka topic和topic权限操作
topic创建及权限配置
Kafka的ack机制
Kafka的ACK机制，指的是producer的消息发送确认机制，这直接影响到Kafka集群的吞吐量和消息可靠性。而吞吐量和可靠性就像硬币的两面，两者不可兼得，只能平衡。Kafka的ACK机制是针对producer的。保证消息的吞吐量就是producer只负责发数据，不需要得知消息是否被集群接收，这
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
Kafka安装与配置
1.下载Kafka2.13-3.1.0最新版为kafka_2.13-3.1.0.tgz下载Zookeper最新版为zookeeper-3.8.02.单机安装zookeperKafka依赖于zookeeper,官方承诺将来会移除.解压文件:tar zxvf apache-zookeeper-3.8.0
【GPT模型】遥感云大数据在灾害、水体与湿地领域中的应用
遥感技术、GPT模型、灾害、水体、湿地、海量遥感数据处理、GEE、卫星遥感大数据、ENVI、气候变化、遥感、遥感影像
【项目实战】Kafka 生产者写入分区的策略
生产者写入分区的策略主要有以下几种：1. **轮询分区策略**：生产者可以使用轮询策略将消息依次写入每个分区，实现负载均衡。在每次发送消息时，生产者会按照轮询的方式选择下一个可用的分区，并将消息写入该分区。这样可以确保消息均匀地分布在各个分区中。 2. **随机分区策略**：Kafka生产者随机的将
大数据公司数据分析取数流程以及SQL示例
有效的数据分析，首先需要从庞大的数据库中获取所需的数据，这就涉及到SQL取数的技巧。
rabbitmq安装和扩展插件
rabbitmq安装和扩展操作
maven安装教程（超详细图解）
6.控制台输入mvn -v(注意中间有个空格) 看到如下界面，说明maven安装成功。将maven解压后的文件夹复制到D盘根目录（必须的D盘根目录）变量值：D:\maven\apache-maven-3.8.1。点击【新建】，输入%MAVEN_HOME%\bin。右键点击桌面【此电脑】，选择【属性】
使用C#和RabbitMQ发送和接收消息
RabbitMQ 官方文档的网址是：https://www.rabbitmq.com/documentation.html。
Docker安装rabbitMQ后无法访问页面
3、输入地址访问rabbitmq http://127.0.0.1:15672。4、访问rabbitmq时出现无法访问，这是因为没有开启插件。需要执行一下以下两行命令。
Dataphin使用指南与开发流程
Dataphin使用指南与开发流程总结
微服务SpringCloudday1 认识微服务与服务注册（Eureka与nacos)
Springboot单体架构：简单方便，高度耦合，扩展性差，适合小型项目。例如：学生管理SpringCloud系统分布式架构：松耦合，扩展性好，但架构复杂，难度大。适合大型互联网项目，例如：淘宝微服务：一种良好的分布式架构方案①优点：拆分粒度更小、服务更独立、耦合度更低②缺点：架构非常复杂，运维、监
用好 kafka，你不得不知的那些工具
工欲善其事，必先利其器。本文主要分享一下消息中间件 kafka 安装部署的过程，以及我平时在工作中针对 kafka 用的一些客户端工具和监控工具。本文分享了平时我在工作使用 kafka 以及 zookeeper 常用的一些工具，同时分享了 kafka 集群的部署，值得一提的是 kafka 部署配置
大数据导论（四：大数据的存储）
面对大数据的爆炸式增长，且具有大数据量、异构型、高时效性的需求时，数据的存储不仅仅有存储容量的压力，还给系统的存储性能、数据管理乃至大数据的应用方面带来了挑战。这些大量的数据结构复杂，种类繁多，如何对分布、多态、异构的大数据进行管理的问题已经不期而至，传统的数据存储方式面对大数据的猛烈增长已不能满足
