Elastic Stack最佳实践系列:Beats->ES,一个更轻型的架构选择
ELK生态下,构建日志分析系统的选择说起开源的日志分析系统,ELK几乎无人不晓,这个生态并非是Elastic特意而为,毕竟Elasticsearch的初心是分布式的搜索引擎,被广泛用作日志系统纯粹一个“美丽的意外”,这是社区使用者推动而成。而现在各大云厂商推广自己的日志服务时,也往往将各种指标对标于
王者荣耀英雄战力 最低战区查询
个人博客地址: www.codingshen.com今天在逛博客的时候看到了一位博主分享了一个开源的网址,用于查询王者荣耀英雄战力。原网址如下:https://lza59.com/archives/25.html。感觉很有意思就转了过来。希望西施姐姐早日重回金牌🏅!!前言王者荣耀中,我们玩的每个英
MapReduce on Yarn(包含MapReduce执行详细流程)
1. MapReduce1.1 MapReduce任务在Yarn中执行流程MapReduce作为一种分布式计算框架,它在Yarn中执行的流程为:(1)客户端提交job;细节:① org.apache.hadoop.mapreduce.Job类配置job;② mapred-site.xml中mapre
从零开始—仿牛客网讨论社区项目(四)
Kafka 构建TB级异步消息系统项目主要技术架构:SpringBoot Spring SpringMVC MyBatis Redis Kakfa Elasticsearch Spring Security Spring Actator1.阻塞队列阻塞队列案例:public class Blocki
一文告诉你数据安全平台(DSP)能做什么
采用 DSP 时,通过安全的数据共享来最大化数据的协作和价值,并采用创新的数据安全技术和理念实现更大范围的数据共享安全。通过DSP的数据安全运营,让CDO一眼掌握资产动态与数据安全保护措施及效果;数据Owner自己的数据自己掌握,权责相符;安全管理员能够低成本、高效率、实时合规管理,风险事件快速处置
从零开始—仿牛客网讨论社区项目(五)
仿牛客网讨论社区项目Elasticsearch 分布式搜索引擎
数据挖掘 —— 探索性数据分析
数据挖掘 —— 探索性数据分析1. 统计检验1.1 正态性检验1.2 卡方检验1.3 独立分布t检验1.4 方差检验1.5 Q-Q图1.6 相关系数2 单因素分析2.1 线性回归2.2 PCA 奇异值分解2.3 主成分分析(PCA自定义实现)3 复合分析3.1 分组分析3.1.1 离散数据分组3.
Hive SQL 五大经典面试题
第 1 题 连续问题如下数据为蚂蚁森林中用户领取的减少碳排放量id dt lowcarbon1001 2021-12-12 1231002 2021-12-12 451001 2021-12-13
Flink CEP 实现恶意登录检测
Flink CEP 实现恶意登录检测
ZooKeeper集群搭建
真实的集群是需要部署在不同的服务器上的,但是在我们测试时同时启动很多个虚拟机内存会吃不消,所以我们通常会搭建伪集群,也就是把所有的服务都搭建在一台虚拟机上,用端口进行区分。我们这里要求搭建一个三个节点的Zookeeper集群(伪集群)。
Flink 统计页面点击量
Flink 统计页面点击量
IK分词器
IK分词器
数据治理(一):为什么要数据治理
为什么要数据治理在大数据各个企业数据积累过程中,很多公司都注重了数据的“量”,很少有公司关注数据的“质”,仿佛只要有了海量的数据就可以解决所有问题。真实的情况是公司有了海量的数据,如果不能够保证一定的数据质量不但不能够解决问题,反而还会制造更多的麻烦,例如:企业数据标准、命名规则不一致、企业数据口径
Elasticsearch整体架构解析总结升级版
总体架构图1.整体上看一个es集群,一个es集群由多个节点组成2.es一个数据索引由多个分片组成,并且分布在es各个节点中3.es分片又由P(主)分片和R(副)分片组成4.主分片可以读写,副分片只能提供读的功能5.索引一创建,主分片不可改变(参考数据路由算法),副分片可以增加或者减少单个分片架构图1
ES 8.x 系列教程:ES 8.0 服务安装(可能是最详细的ES 8教程)
这可能是最全面的Elasticsearch 8系列教程
主流数据库之MySQL函数和MySQL数据操作基础知识及示例
本文主要讲了关于数据库中的MySQL函数以及MySQL数据操作,其实一些操作在前边也有写过,大家可以去专栏找对应的文章。另外,走过路过的小伙伴们点个赞和关注再走吧,欢迎评论区交流,大家一起努力一起成长吧!笔芯
Hadoop入门 运行环境搭建
模板虚拟机文章目录模板虚拟机1 硬件2 操作系统3 IP地址和主机名称vmwindows10Hadoop100服务器远程访问工具其他准备克隆虚拟机克隆修改主机名/ip安装jdk1 上传jdk和hadoop安装包2 解压安装包进module文件夹下3 配置JDK环境变量安装hadoop1 解压安装包进
Hadoop访问不了localhost9870
@mac安装完hadoop访问不了9870这个端口根据网上教程mac安装完hadoop之后,电脑死活访问不了localhost:9870这个web,网上说2.x是访问50040,3.x访问的是9870。最后自己摸索,要嘛是防火墙的原因。要嘛是hdfs-site.xml需要添加如下面的配置<pr
大数据各组件安装(数据中台搭建)
文章目录一、基础环境配置(三台机器都操作)1.修改主机名:2.关闭防火墙:3.关闭Selinux:4.文件描述符配置:5.自定义JDK安装:5.1 删除默认openJDK:5.2 安装jdk1.8.0_91:6.创建Hadoop用户:7.配置SSH免密登录:二、大数据组件安装1.安装Zookeepe
大数据学习
提示:避雷Hadoop集群搭建的各种坑!文章目录前言一、基础环境的下载二、基础环境安装jdk安装与环境配置2.hadoop安装总结前言提示:不是小白你别来!提示:以下是本篇文章正文内容,下面案例可供参考一、基础环境的下载1: 系统环境 Ubuntu18.042: jdk1.8.0_321 下载地址链