Hive SQL 五大经典面试题
第 1 题 连续问题如下数据为蚂蚁森林中用户领取的减少碳排放量id dt lowcarbon1001 2021-12-12 1231002 2021-12-12 451001 2021-12-13
Flink CEP 实现恶意登录检测
Flink CEP 实现恶意登录检测
ZooKeeper集群搭建
真实的集群是需要部署在不同的服务器上的，但是在我们测试时同时启动很多个虚拟机内存会吃不消，所以我们通常会搭建伪集群，也就是把所有的服务都搭建在一台虚拟机上，用端口进行区分。我们这里要求搭建一个三个节点的Zookeeper集群（伪集群）。
Flink 统计页面点击量
Flink 统计页面点击量
IK分词器
IK分词器
数据治理（一）：为什么要数据治理
为什么要数据治理在大数据各个企业数据积累过程中，很多公司都注重了数据的“量”，很少有公司关注数据的“质”，仿佛只要有了海量的数据就可以解决所有问题。真实的情况是公司有了海量的数据，如果不能够保证一定的数据质量不但不能够解决问题，反而还会制造更多的麻烦，例如：企业数据标准、命名规则不一致、企业数据口径
Elasticsearch整体架构解析总结升级版
总体架构图1.整体上看一个es集群，一个es集群由多个节点组成2.es一个数据索引由多个分片组成，并且分布在es各个节点中3.es分片又由P(主)分片和R(副)分片组成4.主分片可以读写，副分片只能提供读的功能5.索引一创建，主分片不可改变(参考数据路由算法)，副分片可以增加或者减少单个分片架构图1
ES 8.x 系列教程：ES 8.0 服务安装（可能是最详细的ES 8教程）
这可能是最全面的Elasticsearch 8系列教程
主流数据库之MySQL函数和MySQL数据操作基础知识及示例
本文主要讲了关于数据库中的MySQL函数以及MySQL数据操作，其实一些操作在前边也有写过，大家可以去专栏找对应的文章。另外，走过路过的小伙伴们点个赞和关注再走吧，欢迎评论区交流，大家一起努力一起成长吧！笔芯
Hadoop入门 运行环境搭建
模板虚拟机文章目录模板虚拟机1 硬件2 操作系统3 IP地址和主机名称vmwindows10Hadoop100服务器远程访问工具其他准备克隆虚拟机克隆修改主机名/ip安装jdk1 上传jdk和hadoop安装包2 解压安装包进module文件夹下3 配置JDK环境变量安装hadoop1 解压安装包进
Hadoop访问不了localhost9870
@mac安装完hadoop访问不了9870这个端口根据网上教程mac安装完hadoop之后，电脑死活访问不了localhost:9870这个web，网上说2.x是访问50040，3.x访问的是9870。最后自己摸索，要嘛是防火墙的原因。要嘛是hdfs-site.xml需要添加如下面的配置<pr
大数据各组件安装（数据中台搭建）
文章目录一、基础环境配置（三台机器都操作）1.修改主机名：2.关闭防火墙：3.关闭Selinux：4.文件描述符配置：5.自定义JDK安装：5.1 删除默认openJDK：5.2 安装jdk1.8.0_91：6.创建Hadoop用户：7.配置SSH免密登录：二、大数据组件安装1.安装Zookeepe
大数据学习
提示：避雷Hadoop集群搭建的各种坑！文章目录前言一、基础环境的下载二、基础环境安装jdk安装与环境配置2.hadoop安装总结前言提示：不是小白你别来！提示：以下是本篇文章正文内容，下面案例可供参考一、基础环境的下载1: 系统环境 Ubuntu18.042: jdk1.8.0_321 下载地址链
ElasticSearch-SpringBoot中三种分页查询总结
目录一、from+size 浅分页DSL 查询方式RestHighLevelClient 查询方式二、scroll 深分页DSL 查询方式RestHighLevelClient 查询方式三、search_after 深分页DSL 查询方式RestHighLevelClient 查询方式一、from+
linux安装zookeeper集群保姆教程，包括集群启停脚本
三台机器安装zookeeper集群注意事项：安装前三台机器一定要保证时钟同步说明：我这里是有3台服务器，分别hostname为node01、node02、node03。三台机器已经配置好了ssh。zookeeper使用的是cdh5的zookeeper包，没有使用原生zookeeper项目的包。三台机
Hadoop UserGroupInformation详解
hadoop UserGroupInformation研究了很多次，每次都是朦朦胧胧，这一次花了一些力气，终于是搞明白了。下面大概了解下面Java的认证相关框架JAAS 认证和授权框架，只要负责用户的认证和权限。SASL client 和 server之间认证的框架GSS 是sasl的一个provi
985高校大数据专业教学究竟怎么样？在校生有话说
哈罗大家好，我是来自华南理工大学数据科学与大数据技术专业的老鸭汤，目前是一名大一菜鸟。
【大数据】flink保证Exactly_Once的理解
满足三点，可以保证端到端的Exactly_Once1.开启checkpoint2.source支持数据重发3.sink端幂等性写入、事务性写入。我们常使用事务性写入sink 事务性写入分为两种方式1、WAL（预写日志的方式）：先将数据当作状态保存，当收到checkpoint完成通知后，一次性sink
操作ElasticSearch(脚本操作)
操作ElasticSearch分为脚本操作(运维人员常用)和java操作(开发人员常用)，今天小编主要介绍脚本操作方式，之前小编讲解了ES如何搭建，并介绍了IK分词器，今天基于ES环境来继续学习。Restful风格定义一种接口的规范，基于Http协议，可以使用XML、JSON格式定义，每个URI代表
jupyter notebook 安装教程
目录一、jupyter notebook 简介二、安装jupyter notebook三、启动jupyter notebook一、jupyter notebook 简介Jupyter Notebook 是一个基于 Web 的交互式计算笔记本环境。Jupyter Notebook 允许用户创建和共享
