zookeeper【封神录】下篇
zookeeper从基础到入门1.客户端API2.服务器动态上下线3.分布式锁
大数据与容器化技术指南：Docker、Kubernetes与大数据生态常用命令大全
本书涵盖了Docker和Kubernetes的基本概念及常用命令，以及Zookeeper、HDFS、YARN、YARN资源池、HBase、HBase集成Phoenix、Hive、Kafka、Spark、Flink等大数据技术的常用命令。
Flink状态容错savepoint与checkpoint
本文目录CheckpointsState BackendsSavepointsCheckpoints 与 Savepoints区别Flink可以保证exactly once，与其容错机制checkpoint和savepoint分不开的。本文主要讲解两者的机制与使用，同时会对比两者的区别。Checkp
【大数据毕设选题】opencv python 深度学习垃圾图像分类系统
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩opencv python 深度学习垃圾分
【Docker篇】Linux安装Docker、docker安装mysql、redis、rabbitmq
注意：新建容器之前，先关闭之前安装的mysql8.0，因为mysql默认端口号为3306。进入mysql5.7容器，并查看/etc/mysql目录下的my.conf配置文件是否存在。# 参数说明 -p 3312:3306 将容器的3306端口映射到主机的3312端口。# 默认是从国外的，不推荐，li
并行计算与大规模数据处理：Hadoop与Spark
1.背景介绍大数据是指由于互联网、物联网等新兴技术的发展，数据量巨大、高速增长、多源性、不断变化的数据。大数据处理技术是指利用计算机科学技术，对大规模、高速、多源、不断变化的数据进行存储、处理和挖掘，以实现数据的价值化。并行计算是指同时处理多个任务或数据，以提高计算效率。大规模数据处理是指处理的数据
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群（二）
这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全分布式集群的案例，已成功搭建完全分布式集群，并测试跑实例。
storm统计服务开启zookeeper、kafka 、Storm（sasl认证）
启动拓扑图时需要指定stormStatics.jar 包，如果使用新storm安装包没有，请自行找测试部要stormStatics.jar包。zookeeper设置用户密码，并设置连接zookeeper白名单。单独配置zookeeper 支持acl 设置用户和密码，在storm不修改代码情况下和ka
分布式事务Seata实战-AT模式（注册中心为Eureka）
大致记录Seata的AT模式下创建项目过程中需要注意的点和可能遇到的问题。本项目是以官网的给的示例（即下图）进行创建的，以Eureka为注册中心。
大数据Doris（五十一）：Colocation Join介绍
Colocation Join 功能，是将一组拥有相同 CGS 的 Table 组成一个 CG。并保证这些 Table 对应的数据分片会落在同一个 BE 节点上。使得当 CG 内的表进行分桶列上的 Join 操作时，可以通过直接进行本地数据 Join，减少数据在节点间的传输耗时。
横扫Spark之 - RDD（Resilient Distributed Dataset）弹性分布式数据集
Spark中最基本的数据抽象 - RDD，既然叫弹性分布式数据集，那如何理解这个弹性、分布式、数据集最后RDD的5个主要特性分别是什么含义
Hadoop时代落幕，谁是大数据时代新宠？
这些年围绕Hadoop已经构建起来一个完整的生态，即使企业没有用Hadoop，但Hadoop的很多技术理念，比如Hadoop松耦合的架构体系、建立在通用硬件平台上的分布式系统设计，以及开放的数据标准和开源技术，早就超越了十几年前的HDFS、MapReduce 的范畴，在更多新兴技术中体现。唱衰Had
kafka开启SSL认证（包括内置zookeeper开启SSL）
zookeeper和kafka的SSL开启都可独立进行。
Spring 集成Artemis & Spring 集成RabbitMQ & Spring 集成Kafka
在Spring框架中集成Apache ActiveMQ Artemis可以帮助你实现基于消息的应用程序。Apache ActiveMQ Artemis是一个高性能、异步非阻塞的消息中间件。pom.xml
Flink的MySQL集成与应用
1.背景介绍在大数据时代，数据处理和分析的需求日益增长。为了更高效地处理和分析大量数据，许多大数据处理框架和工具已经诞生。Apache Flink是一种流处理框架，它可以处理实时数据流，并提供了一系列高效的数据处理和分析功能。MySQL是一种关系型数据库管理系统，它广泛应用于各种业务场景中。在某些情
记一次Flink通过Kafka写入MySQL的过程
这个方法是测试成功了，但是跑了一会儿就出现数据的积压和内存oom了，因为我设定的是1毫秒生产一条数据，写入kafka也需要一定的时间，加上电脑内存不足，有点卡，这个方案也被pass了。总体思路：source -->transform -->sink ,即从source获取相应的数据来源，然后进行数据
大数据相关软件的安装指南（超详细的图文教程）
大数据相关软件的安装指南
Pyspark
Standalone 模式：Standalone模式是Spark自带的独立部署模式，它是一种简单的分布式模式，支持在独立的集群上运行Spark应用程序。它是Spark 2.0及以上版本中引入的概念，取代了之前版本中的SparkContext和SQLContext，并将它们的功能整合在一个统一的接口中
大数据毕设分享 B站大数据分析可视化(源码+论文)
# 0 简介今天学长向大家介绍一个机器视觉的毕设项目毕设分享 B站大数据分析可视化(源码+论文)项目获取：https://gitee.com/sinonfin/algorithm-sharing目前视频行业可以分为爱优腾为代表的长视频赛道，快手抖音为代表的短视频赛道，以及B站，B站的视频内容十分的丰
大数据Doris（十八）：演示单分区和复合分区
上述表通过设置 replication_num 建的都是单副本的表，Doris建议用户采用默认的 3 副本设置，以保证高可用。可以对 Table 增加上卷表（Rollup）以提高查询性能，这部分可以参见高级使用指南关于 Rollup 的描述。将 table1_data 导入 table1 中：vim
