数据治理（五）：元数据管理
目录元数据管理一、大数据中为什么要元数据管理二、元数据管理工具-Atlas三、Atlas架构原理四、Atlas特性1、元数据类型 & 实例2、分类3、血缘4、搜索/发现5、安全和数据屏蔽元数据管理一、大数据中为什么要元数据管理元数据（Metadata），通常的定义为"描述数据的数据"。元数据
九十二、Spark-SparkSQL(统计电影平均分Top10)
Spark-SparkSQL(统计电影平均分Top10)
【大数据】一文带你了解并使用阿里的增量日志解析工具canal
一、简介canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获
INFINI Gateway：Elasticsearch 极限网关入门手册
最近，我有幸接触到 medcl 大神的杰作：极限网关（INFINI GATEWAY）。INFINIGateway 有很多优点，也有很多应用的场景。你可以在官方网站上进行阅读。简单说来，极限网关（INFINI Gateway）是一个面向 Elasticsearch 的高性能应用网关，它包含丰富的特性，
深入解析消息推送平台的设计原理，百万门店同时推送消息是如何实现的？
简介现有项目中存在需要针对百万门店同时推送消息的需求，需要设计一个消息推送中心的系统进行专门的消息推送需求对百万门店进行消息推送支持坐席侧websocket实时推送消息通知客服需要注意的事项挑战设计成通用的消息推送平台，支持其余业务线的消息推送设计实现设计方案准备推送素材导入消息接收人的数据选择条件
必学消息队列-RabbitMQ（下集）
必学消息队列-RabbitMQ（下集）
CentOS7 集群搭建
环境准备1、VMware Workstation 16 Pro2、CentOS-7-x86_64-DVD-2009.iso3、SSH 连接改工具 finashell一、安装 centosVMware安装CentOS7超详细版_Xiao J.的博客-CSDN博客_vmware安装centos7如果网络
OpenShift 容器平台社区版 OKD 4.10.0部署
红帽 OpenShift 是一个领先的企业级 Kubernetes 容器平台，OpenShift 将原生 Kubernetes 扩展为专为企业大规模使用而设计的应用程序平台。OpenShift控制台具有面向开发人员和管理员的视图，能让开发人员轻松构建、部署和运行应用，OpenShift 还提供了一个
微服务Ⅳ ElasticSerach
目录ES简介倒排索引MySQL与ES搭建安装ES安装kibana安装IK分词器ES简介是一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控易扩展高性能（倒排索引）支持分布式，可水平扩展提供Restful接口，可被任何语言调用ELK：ES的核心技术栈Lucene：搜索引擎类库，提供搜
Skywalking+Elasticsearch安装及应用（邮箱告警）
Skywalking数据存储方式常用的有5种，分别为H2(默认)、Elasticsearch、MySql、TiDB、InfluxDB等，Skywalking默认6秒实时刷新，查询性能要求高，所以下面使用的是Skywalking+Elasticsearch的实现方式。
个人第一篇博客
a.个人简要介绍25岁的跨行业发展者，从电气工程师跨向软件工程师。2022年在职考研成功上岸，从此，换一个地方，换一条路，读更多的书，行更远的路。我喜欢编程，每当程序可以成功运行时总能带给我极大的成就感，我喜欢这种感觉，我希望我能坚持这条路走下去。b.编程目标未来是一个万物互联的世界，我憧憬着这个美
Windows环境安装及启动Zookeeper详细历程（含闪退、找不到JAVA_HOME及无限报错原因）
详细历程1.jdk安装2.下载Zookeeper3.解压文件4.创建文件夹5.修改配置文件6.运行闪退问题7.Error: JAVA_HOME is not set8.无限报错9. 启动成功
kafka的安装
一、下载安装包并解压1.下载kafka下载地址：Apache KafkaApache Kafka: A Distributed Streaming Platform.https://kafka.apache.org/downloads（根据自己的需求下载相应版本的kafka）2.将kafka导入到自
AWS 云技术专栏系列文章
目录文章目录目录AWSAWS《2021 亚马逊云科技中国峰会，对话 “容器混合云会是未来的答案吗？”》《无处不在的 AWS 云计算》《全面解读 AWS Private 5G 的革新理念》《AWS — 重塑混合云》《AWS — VPN 虚拟专用云》《AWS — AWS Local Zone》《AWS
hadoop源码编译(从0到1一步步教你如何编译，适用于任何hadoop版本)
hadoop-2.10.1源码编译 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用文章目录hadoop-2.10.1源码编译前言一、下载hadoop-2.10.1二、环境要求1.JDK 1.7 or 1.82.Maven
Elastic Stack最佳实践系列：Beats-＞ES，一个更轻型的架构选择
ELK生态下，构建日志分析系统的选择说起开源的日志分析系统，ELK几乎无人不晓，这个生态并非是Elastic特意而为，毕竟Elasticsearch的初心是分布式的搜索引擎，被广泛用作日志系统纯粹一个“美丽的意外”，这是社区使用者推动而成。而现在各大云厂商推广自己的日志服务时，也往往将各种指标对标于
王者荣耀英雄战力 最低战区查询
个人博客地址: www.codingshen.com今天在逛博客的时候看到了一位博主分享了一个开源的网址，用于查询王者荣耀英雄战力。原网址如下：https://lza59.com/archives/25.html。感觉很有意思就转了过来。希望西施姐姐早日重回金牌🏅！！前言王者荣耀中，我们玩的每个英
MapReduce on Yarn（包含MapReduce执行详细流程）
1. MapReduce1.1 MapReduce任务在Yarn中执行流程MapReduce作为一种分布式计算框架，它在Yarn中执行的流程为：（1）客户端提交job；细节：① org.apache.hadoop.mapreduce.Job类配置job；② mapred-site.xml中mapre
从零开始—仿牛客网讨论社区项目（四）
Kafka 构建TB级异步消息系统项目主要技术架构：SpringBoot Spring SpringMVC MyBatis Redis Kakfa Elasticsearch Spring Security Spring Actator1.阻塞队列阻塞队列案例：public class Blocki
一文告诉你数据安全平台（DSP）能做什么
采用 DSP 时，通过安全的数据共享来最大化数据的协作和价值，并采用创新的数据安全技术和理念实现更大范围的数据共享安全。通过DSP的数据安全运营，让CDO一眼掌握资产动态与数据安全保护措施及效果；数据Owner自己的数据自己掌握，权责相符；安全管理员能够低成本、高效率、实时合规管理，风险事件快速处置
