ZooKeeper的配置选项的安装步骤
（一）下载和安装zooKeeper（1）在起始的/opt 目录下建立software文件和module文件，software文件用来下载安装包，下载后的安装包·可以·解压到module文件。可以用下面这一行代码：tar zxvf /opt/software/zookeeper-3.4.8.tar.g
Maxwell 一款简单易上手的实时抓取Mysql数据的软件
Maxwell 是用 Java 编写的 MySQL 实时抓取软件。实时读取MySQL 二进制日志 Binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。
Kafka中的LEO和HW
通过画图轻松理解kafka中的LEO和HW的概念与作用
QT自定义QTextEdit实现大数据的实时刷新显示
本文自定义QTextEdit实现实时加载大数据，不会卡顿的效果。
flink的standalone模式环境搭建
一.standalone模式所有的资源都由flink自己管理flink的jar包：flink-1.11.2-bin-scala_2.11.tgz把安装包放到linux中bin #服务或命令conf #配置文件examples #实例，案例lib #jar包log #日志1.解压缩tar -xz
Hive--时间函数大全
hive时间函数1. current_date()：获取当前格式化日期2. current_timestamp()：获取当前格式化时间3. unix_timestamp()：获取当前unix时间戳4. from_unixtime()：把unix时间戳转化为格式化时间5. to_date(): 当前格
filebeat+elasticsearch管道提取message字段
1：个人使用背景：filebeat采集日志写入es的时候，日志内容在message字段中，因为其中添加了tid字段，要提取出projectname,date,tid等这些字段，采用管道对数据进行预处理，格式化数据，重新构建了索引，最后查询，排序，条件查询什么的都直接操作字段就可以了。 ps：原
数据湖概念（一）
数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。二、大数据为什么需要数据湖当前基
我与Java Boy的10年-从小白到资深架构
大家好，我是你们的新朋友老王随聊。正值Java的27岁生日之际，今年也恰好是老王与Java相识的第10个年头了, 而这10年老王从自己的亲身经历我见证了Java技术的快速发展。关于我与Java的故事，老王想从Java技术学习的三个阶段聊聊这10年来，我是如何从一个编程小白成长为一名资深架构师，我相信
数据仓库搭建ODS层
其他内容请关注我的博客！在<项目>专栏里！！！目录一、用户行为数据1.1创建日志表1.2ODS层加载数据脚本二、业务数据2.1hive建表2.2ODS层加载数据脚本一、用户行为数据1.1创建日志表1）创建支持lzo压缩的分区表drop table if exists ods_log;CR
夏季瑟瑟发抖的前端又赶上一波裁员潮，其实前端才是宝
饥寒交迫的前端在互联网下行压迫下还能不能雄起，自欺欺人的产品优先战略下前端投入了多少？前端优化有哪些方法和小技巧？
Kafka调研
文章目录1. Kafka概述1.1 Kafka消费模式1.1.1 点对点模式1.1.2 发布/订阅模式1.2 Kafka的基础架构1. Kafka概述 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域，如海量日志的处理。1.1 Ka
JAVA代码实现ElasticSearch搜索（入门-进阶）(二):聚合函数group by 分组，双重聚合
JAVA代码实现ElasticSearch搜索（入门-进阶）(二):聚合函数（group by），双重聚合
Zookeeper权限控制ACL学习笔记
Zookeeper集群部署后怎样管理各个客户端服务的读写创建删除权限，采用ACL（Access Control List）访问控制表，可以针对节点设置相关读写等权限，保障数据安全性。ACL构成zookeeper 的 acl 通过 [scheme:id:permissions] 来构成权限列表。sch
hadoop启动集群之后没有namenode的一种情况
先说结论吧，一般在网上搜索这个问题都是让重新格式化namenode(当然，格式化之前要记得清空namenode和DataNode文件夹)。但是对于我之前遇到的问题却没法解决。我的做法是：检查你的hadoop的配置文件是否填写正确，我的hadoop的hdfs-site.xml中的主机IP地址未填写正确
RabbitMQ 进阶 -- SpringBoot 集成 RabbitMQ实现生产者与消费者模式
Spring Boot 如何集成RabbitMQ ，详解Spring Boot集成RabbitMQ！
MIT 6.824 Lab 1 MapReduce
MapReduce目标根据论文所说明的，有MASTER和WORKER两类工作节点，以下实现大都按照论文所说的实现，但是在对MASTER的实现上有所改动：MASTER向WORKER发送心跳检测，这里改为了对分配出去的任务进行超时监控。MASTER： 接收MapReduce任务（需要处理的文件），并生成
Elasticsearch系列 | 前期准备
🎯摘要看完本文，你可能有如下收获：了解基于windows下Elasticsearch的环境搭建了解一些环境准备中常见的问题及解决方法⭐️⭐️该收获仅供参考，真实收获以实物为准😇😇🍭环境准备下载elasticsearch在官网下载相关文件安装包下有一个自带的jdk，如果本机设置了JDK_HOM
Elasticsearch系列 | 倒排索引
了解正排索引，了解倒排索引及其与正排索引区别。
在Windows操作系统中怎样使用nc命令
最近在学习flink流处理框架这块的内容，在调试代码时候需要模拟数据流式输入的环境。之前在Mac和Linux系统下使用nc命令是非常方便的，可是windows环境下有所不同，经过在网上检索一番之后，将在window下如何使用nc命令进行总结。
