Hive 数据仓库介绍
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
基于华为云的在线拍卖数据分析
基于华为云服务器，实现在线数据拍卖分析萌新初次使用云服务器搭建Hadoop文件系统，使用Hive操作数据库，进行数据预测
【漏洞修复】docker 环境下，AMQP Cleartext认证漏洞，rabbitmq明文漏洞修复，超详细
sh create_client_cert.sh rabbitmq-client 654321 #654321为自定义密码。# -alias后为别称，-file后是服务端公钥位置，-keystore后是输出JSK证书位置 STORE_PASS任意。sh make_server_cert.sh ra
kafka学习笔记
数据传输的事务定义有三种级别：1、最多一次，消息不回重复发送，最多被传输一次，但也有可能一次不传输2、最少一次，消息不会漏发，但是可能会被重复传输3、精确的一次（exactly one）：不会漏传，但是也不会重复传输，是大家所期望的。
FLinkSQL+FlinkCDC
FlinkCDC（standalone模式）读取mysqlBinlog
本地镜像如何推送到docker 仓库
首先，使用`docker login`命令登录到Docker仓库。输入用户名和密码进行身份验证
基于Hadoop的网上购物行为分析设计与实现
sink3指定了一个名为sink3的数据输出端，使用了hive模式，hive的metastore地址为thrift://hadoop:9083，数据库名称为taobao，表名为taobao_data，数据格式为DELIMITED，分隔符为逗号，字段名称为user_id、item_id、behavio
数据采集 通过Apache Spark和Amazon SageMaker构建机器学习管道；
作者：禅与计算机程序设计艺术 1.简介概览随着人们生活水平的提高，收集、整理、分析和处理海量数据已成为当今社会所需的工具。而在云计算时代，数据的价值及其价值的获取越来越重要。近年来，Apache Spark和Amazon SageMaker的结合让数据收集变得更
flink 从savepoint、checkpoint中恢复数据
flink作业因为故障导致restart strategy失败或升级flink版本重新发布任务，这时就需要从最近的checkpoint恢复。一般而言有两种方案，第一种方案是开启checkpoint且任务取消时不删除checkpoint（调整参数execution.checkpointing.exte
RabbitMQ常用操作命令
RabbitMQ常用操作命令
Zeppelin(0.10.1版本)安装及创建hive解释器
在zepplin 使用hive解释器
Ubuntu安装RabbitMQ
在Ubuntu上安装RabbitMQ后，默认情况下，管理插件的访问是不允许的。为了使管理界面可访问，你需要在RabbitMQ服务器上配置一个新的用户，给予它管理员权限并设置相应的访问权限。检查RabbitMQ配置文件：检查RabbitMQ配置文件中的相关设置。检查RabbitMQ插件是否已启用：确认
（四）Kafka 消费者
不同于传统的消息系统，横向伸缩消费者和消费者群组并不会导致 Kafka 性能下降。除了通过增加消费者数量来横向伸缩单个应用程序，实际上，Kafka 的一个主要设计目标是。在这些应用场景中，我们希望。
Hadoop下载安装(物理机)
将hadoop-2-7.4.tar.gz包上传到/root/export/software目录。
【大数据】下载hadoop与jdk
如果使用apt-get install xxx这种方式安装的话，会把配置文件打散，可执行文件在/bin 目录，配置文件在/etc目录，这样的话hadoop找不到对应的文件，就无法运行。传输后可以直接在虚拟机中看到，将文件移动到到下载里面。此时再用 ssh localhost 命令，无需输入密码就可以
Hadoop常见配置文件及用处
mapred-site.xml：配置 MapReduce 的属性，例如作业跟踪器和任务跟踪器的地址、作业优先级、输出压缩等。yarn-site.xml：配置 YARN 的属性，例如资源管理器和节点管理器的地址、内存和 CPU 的分配、日志聚合等。core-site.xml：配置 Hadoop 的基本
浅谈注册中心Eureka、Nacos
一致性(Consistency)(所有节点在同一时间具有相同的数据)可用性(Availability)(保证每个请求不管成功或者失败都有响应)分隔容忍(Partition tolerance)(系统中任意信息的丢失或失败不会影响系统的继续运作)
十二、Flink自定义 FlatMap 方法
Flink自定义FlatMap方法
kafka各种环境安装(window,linux,docker,k8s),包含KRaft模式
6、删除 topic,该操作在winodw，会出现文件授权问题，日志可以在kafka的启动命令窗口中查看，只需要修改文件权限即可，3、把主题中所有的数据都读取出来（包括历史数据），可以看到我们获取到了从消费者没有上线之前到上线之后的所有数据，一共6条。如果是linux，不使用window下的命令即可
RocksDB简介及Flink对其的支持——大数据
在大数据处理框架中，如Flink，RocksDB作为其默认的状态后端，能够保证高效的状态管理和容错恢复能力。Flink借助RocksDB的特性来管理作业的中间结果和状态，并保证在故障恢复时状态数据的一致性和可恢复性。在上面的示例中，我们首先创建了一个StreamExecutionEnvironmen
