从零开始—仿牛客网讨论社区项目（四）
Kafka 构建TB级异步消息系统项目主要技术架构：SpringBoot Spring SpringMVC MyBatis Redis Kakfa Elasticsearch Spring Security Spring Actator1.阻塞队列阻塞队列案例：public class Blocki
一文告诉你数据安全平台（DSP）能做什么
采用 DSP 时，通过安全的数据共享来最大化数据的协作和价值，并采用创新的数据安全技术和理念实现更大范围的数据共享安全。通过DSP的数据安全运营，让CDO一眼掌握资产动态与数据安全保护措施及效果；数据Owner自己的数据自己掌握，权责相符；安全管理员能够低成本、高效率、实时合规管理，风险事件快速处置
从零开始—仿牛客网讨论社区项目（五）
仿牛客网讨论社区项目Elasticsearch 分布式搜索引擎
数据挖掘 —— 探索性数据分析
数据挖掘 —— 探索性数据分析1. 统计检验1.1 正态性检验1.2 卡方检验1.3 独立分布t检验1.4 方差检验1.5 Q-Q图1.6 相关系数2 单因素分析2.1 线性回归2.2 PCA 奇异值分解2.3 主成分分析（PCA自定义实现）3 复合分析3.1 分组分析3.1.1 离散数据分组3.
Hive SQL 五大经典面试题
第 1 题 连续问题如下数据为蚂蚁森林中用户领取的减少碳排放量id dt lowcarbon1001 2021-12-12 1231002 2021-12-12 451001 2021-12-13
Flink CEP 实现恶意登录检测
Flink CEP 实现恶意登录检测
ZooKeeper集群搭建
真实的集群是需要部署在不同的服务器上的，但是在我们测试时同时启动很多个虚拟机内存会吃不消，所以我们通常会搭建伪集群，也就是把所有的服务都搭建在一台虚拟机上，用端口进行区分。我们这里要求搭建一个三个节点的Zookeeper集群（伪集群）。
Flink 统计页面点击量
Flink 统计页面点击量
IK分词器
IK分词器
数据治理（一）：为什么要数据治理
为什么要数据治理在大数据各个企业数据积累过程中，很多公司都注重了数据的“量”，很少有公司关注数据的“质”，仿佛只要有了海量的数据就可以解决所有问题。真实的情况是公司有了海量的数据，如果不能够保证一定的数据质量不但不能够解决问题，反而还会制造更多的麻烦，例如：企业数据标准、命名规则不一致、企业数据口径
Elasticsearch整体架构解析总结升级版
总体架构图1.整体上看一个es集群，一个es集群由多个节点组成2.es一个数据索引由多个分片组成，并且分布在es各个节点中3.es分片又由P(主)分片和R(副)分片组成4.主分片可以读写，副分片只能提供读的功能5.索引一创建，主分片不可改变(参考数据路由算法)，副分片可以增加或者减少单个分片架构图1
ES 8.x 系列教程：ES 8.0 服务安装（可能是最详细的ES 8教程）
这可能是最全面的Elasticsearch 8系列教程
主流数据库之MySQL函数和MySQL数据操作基础知识及示例
本文主要讲了关于数据库中的MySQL函数以及MySQL数据操作，其实一些操作在前边也有写过，大家可以去专栏找对应的文章。另外，走过路过的小伙伴们点个赞和关注再走吧，欢迎评论区交流，大家一起努力一起成长吧！笔芯
Hadoop入门 运行环境搭建
模板虚拟机文章目录模板虚拟机1 硬件2 操作系统3 IP地址和主机名称vmwindows10Hadoop100服务器远程访问工具其他准备克隆虚拟机克隆修改主机名/ip安装jdk1 上传jdk和hadoop安装包2 解压安装包进module文件夹下3 配置JDK环境变量安装hadoop1 解压安装包进
Hadoop访问不了localhost9870
@mac安装完hadoop访问不了9870这个端口根据网上教程mac安装完hadoop之后，电脑死活访问不了localhost:9870这个web，网上说2.x是访问50040，3.x访问的是9870。最后自己摸索，要嘛是防火墙的原因。要嘛是hdfs-site.xml需要添加如下面的配置<pr
大数据各组件安装（数据中台搭建）
文章目录一、基础环境配置（三台机器都操作）1.修改主机名：2.关闭防火墙：3.关闭Selinux：4.文件描述符配置：5.自定义JDK安装：5.1 删除默认openJDK：5.2 安装jdk1.8.0_91：6.创建Hadoop用户：7.配置SSH免密登录：二、大数据组件安装1.安装Zookeepe
大数据学习
提示：避雷Hadoop集群搭建的各种坑！文章目录前言一、基础环境的下载二、基础环境安装jdk安装与环境配置2.hadoop安装总结前言提示：不是小白你别来！提示：以下是本篇文章正文内容，下面案例可供参考一、基础环境的下载1: 系统环境 Ubuntu18.042: jdk1.8.0_321 下载地址链
ElasticSearch-SpringBoot中三种分页查询总结
目录一、from+size 浅分页DSL 查询方式RestHighLevelClient 查询方式二、scroll 深分页DSL 查询方式RestHighLevelClient 查询方式三、search_after 深分页DSL 查询方式RestHighLevelClient 查询方式一、from+
linux安装zookeeper集群保姆教程，包括集群启停脚本
三台机器安装zookeeper集群注意事项：安装前三台机器一定要保证时钟同步说明：我这里是有3台服务器，分别hostname为node01、node02、node03。三台机器已经配置好了ssh。zookeeper使用的是cdh5的zookeeper包，没有使用原生zookeeper项目的包。三台机
Hadoop UserGroupInformation详解
hadoop UserGroupInformation研究了很多次，每次都是朦朦胧胧，这一次花了一些力气，终于是搞明白了。下面大概了解下面Java的认证相关框架JAAS 认证和授权框架，只要负责用户的认证和权限。SASL client 和 server之间认证的框架GSS 是sasl的一个provi
