Hadoop伪分布式集群的搭建
一、准备虚拟机1.从网上将VMware下载下来https://www.vmware.com/content/dam/digitalmarketing/vmware/en/images/gallery/banners/content/hero-generic-1400x350.jpg2.下载cento
hive窗口函数(开窗函数)
hive开窗函数
Apache Kafka Connect JNDI注入漏洞复现(CVE-2023-25194)
在Apache Kafka Connect中存在JNDI注入漏洞，当攻击者可访问Kafka Connect Worker，且可以创建或修改连接器时，通过设置sasl.jaas.config属性为com.sun.security.auth.module.JndiLoginModule，进而可导致JND
python读写hdfs文件的实用解决方案
本文主要介绍了python写hdfs文件的实用解决方案，希望能对新手有所帮助。文章目录1. 背景介绍2. 解决方案 2.1 方案一 2.1.1 安装库 2.1.2 代码 2.2 方案二
Flink Sql(二) Kafka连接器
如果作为TableSource，连接器会将读取到的topic中的数据（key,value），解释为对当前key的数据值的更新（UPDATE），也就是查找动态表中key对应的一行数据，将value更新为最新的值；需要特别说明的是，在KafkaTable的字段中有一个ts，它的声明中用到了METADAT
H5文件简介以及python对h5文件的操作
文章目录前言HDF与h5简介数据组织方式HDFView下载与安装在WIN10系统安装后打开出现黑框闪退的解决方法python对h5文件的操作批量制作h5文件h5文件的提取，另存为nii文件前言一般来说，深度学习的训练数据和训练后的参数都会保存为h5格式文件，对于训练数据来说，深度学习中当训练大量数据
Elasticsearch密码设置及其后续问题解决
一.设置密码1.在elasticsearch.yml中配置#开启密码验证xpack.security.enabled: truexpack.license.self_generated.type: basicxpack.security.transport.ssl.enabled: truehttp
RabbitMQ系列【8】消息可靠性之ACK机制
在之前分析了对于生产者来说，可以使用消息发布确认及退回机制，保证消息被成功发送到MQ中。但对于消费者来说，消息传递过来，可能会丢失，也有可能接收到消息，但还未处理完，发生宕机或者异常，导致消息没有被成功消费。为了保证消息在消费过程中的可靠性，RabbitMQ引入消息确认机制（ACK（Acknowle
Flink的Checkpoint
最近面试问的最多的就是Flink如何进行容错的，总结一下关于checkpoint的知识点
基于Python的大数据分析实战篇（一）
基于Python的大数据分析实战篇，实战练习数据分析，简单快捷
数据库基础（超详细版）
简介：数据库（DataBase，DB）：指长期保存在计算机的存储设备上，按照一定规则组织起来，可以被各种用户或应用共享的数据集合。数据库管理系统（DataBase Management System，DBMS）：指一种操作和管理数据库的大型软件，用于建立、使用和维护数据库，对数据库进行统一管理和控制
基于大数据的农产品价格信息监测分析系统
本项目利用网络爬虫技术从某蔬菜网采集所有农产品的价格数据，包括北京、上海、安徽、湖北等全国所有省和直辖市的农产品价格数据，解析后存储到数据库中。 建立农产品价格数据仓库，以web交互形式对外提供检索服务，并利用 echarts 实现农产品的可视化分析。...
Docker 启动Elasticsearch 以及 Kibana
docker 启动es 和 kibana
第四章 Flink 窗口和水位线
在流式处理的过程中，数据是在不同的节点间不停流动的；这样一来，就会有网络传输的延迟，当上下游任务需要跨节点传输数据时，它们对于“时间”的理解也会有所不同。当基于特定时间段(通常称为Windows，窗口)，或者当执行事件处理时，事件的时间发生很重要。
【kafka异常】使用Spring-kafka遇到的坑
查看一下压缩策略bin/kafka-topics.sh --describe --zookeeper xxxx:2181 --topic SHI_TOPIC1Topic:SHI_TOPIC1 PartitionCount:1 ReplicationFactor:1 Configs:cleanup.p
【ceph】CephFS文件系统和管理
目录 CephFS简介 CephFS组件间通信 CephFS MDS组件 CephFS使用方式 CephFS Layout CephFS认证 CephFS的 FSCK & Repair CephFS客户端 内核客户端 FUSE客户端 Rank 设置Rank数量 减少Rank数量 Rank状态
网络结构数据分析：揭示复杂系统背后的规律
网络结构数据分析是指通过对复杂系统中的各种节点（例如人、公司、物品等）之间的关系进行建模和分析，来揭示这些节点之间的联系、交互和影响规律的一种数据分析方法。网络结构数据分析主要涉及到以下几个方面：1.节点的度和中心性：度指的是节点与其他节点直接相连的数量，而中心性则是指节点在整个网络中的重要程度，例
CentOS7 Hadoop 3.3.4 集群安装（1 NameNode，3 DataNode）
CentOS7下安装Hadoop3.3.4集群，一个NameNode节点，三个DataNode节点
ANSYS-FLUENT计算常见问题汇总
常见FLUENT运行计算的报错问题解决方案
CDH6.3.2离线安装教程——超级详细版-附带安装包地址
CDH6.3.2离线安装教程-附带安装包地址
