Zookeeper权限控制ACL学习笔记
Zookeeper集群部署后怎样管理各个客户端服务的读写创建删除权限，采用ACL（Access Control List）访问控制表，可以针对节点设置相关读写等权限，保障数据安全性。ACL构成zookeeper 的 acl 通过 [scheme:id:permissions] 来构成权限列表。sch
hadoop启动集群之后没有namenode的一种情况
先说结论吧，一般在网上搜索这个问题都是让重新格式化namenode(当然，格式化之前要记得清空namenode和DataNode文件夹)。但是对于我之前遇到的问题却没法解决。我的做法是：检查你的hadoop的配置文件是否填写正确，我的hadoop的hdfs-site.xml中的主机IP地址未填写正确
RabbitMQ 进阶 -- SpringBoot 集成 RabbitMQ实现生产者与消费者模式
Spring Boot 如何集成RabbitMQ ，详解Spring Boot集成RabbitMQ！
MIT 6.824 Lab 1 MapReduce
MapReduce目标根据论文所说明的，有MASTER和WORKER两类工作节点，以下实现大都按照论文所说的实现，但是在对MASTER的实现上有所改动：MASTER向WORKER发送心跳检测，这里改为了对分配出去的任务进行超时监控。MASTER： 接收MapReduce任务（需要处理的文件），并生成
Elasticsearch系列 | 前期准备
🎯摘要看完本文，你可能有如下收获：了解基于windows下Elasticsearch的环境搭建了解一些环境准备中常见的问题及解决方法⭐️⭐️该收获仅供参考，真实收获以实物为准😇😇🍭环境准备下载elasticsearch在官网下载相关文件安装包下有一个自带的jdk，如果本机设置了JDK_HOM
Elasticsearch系列 | 倒排索引
了解正排索引，了解倒排索引及其与正排索引区别。
在Windows操作系统中怎样使用nc命令
最近在学习flink流处理框架这块的内容，在调试代码时候需要模拟数据流式输入的环境。之前在Mac和Linux系统下使用nc命令是非常方便的，可是windows环境下有所不同，经过在网上检索一番之后，将在window下如何使用nc命令进行总结。
一文学会基于发布订阅模式的消息队列Kafka的安装部署和基本使用
Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。
记一次解决jar包版本问题解决
The class hierarchy was loaded from the following locations: org.springframework.kafka.listener.ConsumerProperties:Correct the classpath of your appli
数据库密态等值查询概述及操作
目录1. 密态等值查询概述2. 使用gsql操作密态数据库操作步骤3.使用JDBC操作密态数据库连接密态数据库调用isValid方法刷新缓存示例执行密态等值查询相关的创建密钥语句执行密态等值查询相关的创建加密表的语句执行加密表的预编译SQL语句执行加密表的批处理操作1. 密态等值查询概述随着企业数据
大数据笔记（五）：HDFS权限和Java的api使用
HDFS是一个文件系统类似unix、linux有用户概念HDFS有相关命令和接口去创建用户有超级用户的概念 linux系统中超级用户：root hdfs系统中超级用户： 是namenode进程的启动用户有权限概念 hdfs的权限是自己控制的来自于hdfs的超级用户
大数据框架综合实验作业
1、数据raw_user.csv：完整用户数据，记录2000万左右（见网盘-实验步骤-综合案例1数据）small_user.csv：子集，方便测试，记录30万条我们用small_user.csv这个小数据集进行实验，这样可以节省时间。等所有流程都跑通以后，可以使用大数据集raw_user.csv去测
[Dubbo3.0.8源码解析系列]-16-模块发布器发布服务全过程
目录16-模块发布器发布服务全过程16.1 简介16.2 导出服务的入口16.3 服务配置导出服务16-模块发布器发布服务全过程16.1 简介Dubbo做为服务治理框架,比较核心的就是服务相关的概念,这里我先贴个找到的关于Dubbo工作原理的架构图:如果按完整服务启动与订阅的顺序我们可以归结为以下6
Elasticsearch 从入门到实战到精通（Docker版）
解决什么问题有关系型数据库MySQL 为什么还用全文搜索引擎（Elasticsearch/Solr）?MySQL 侧重数据存储，用like进行简单关键字搜索，但无法应对海量数据下各种复杂条件的查询。如果需要全文进行模糊搜索,MySQL性能是非常低的.例如如下场景: 在一张一亿数据量的手机详情表，搜索
【大数据】Hive基础知识
Hive基础知识1.Hive 有哪些特点？Hive 最适合于数据仓库应用程序，使用该应用程序进行相关的静态数据分析，不需要快速响应给出结果，而且数据本身不会频繁变化。Hive 不是一个完整的数据库。Hadoop 以及 HDFS 的设计本身约束和局限性的限制了 Hive 所能胜任的工作。其中最大的限制
【RabbitMQ Confirm和returns保证生产者消息可靠性】
RabbitMQ Confirm和returns保证生产者消息可靠性RabbitMQ生产者消息可靠性实验环境软件环境和版本spring boot yml 配置RabbitMQ控制台创建交换机和队列并绑定最基本的生产者代码消息生产者流程梳理消息发送流程图简单理解两种机制confirm：returns：
图解Kafka的RecordBatch结构
文章目录RecordBatchRecordBatch初始化写入消息Record结构图关闭ProducerBatch关闭输出流appendStream并压缩数据填充RecordBatchHeader数据RecordBatchHeader结构图RecordBatch整体结构图阅读完本文你大概会获得以下知
二、elasticSearch的CRUD操作和批量操作
elasticSearch的CRUD操作和批量操作
四、elasticSearch分词器(Analysis和Analyzer)
elasticSearch分词器(Analysis和Analyzer)
【Pyspark】常用数据分析基础操作
文章目录零、准备工作0.1 安装pyspark一、pyspark.sql部分1.窗口函数2.更换列名：3.sql将一个字段根据某个字符拆分成多个字段显示4.pd和spark的dataframe进行转换：5.报错ValueError: Some of types cannot be determine
