清空hive表 姿势大全
- 清空分区表为什么着重强调分区表,因为分区表清空可能会因为分区过多导致清理速度特别慢.
05-Hadoop集群部署(普通用户)
format操作只在hadoop集群初次启动时执行一次 format多次会造成我们数据的丢失，还可能会造成Hadoop集群主从角色之间相互不识别（解决方法：将所以节点的hadoop.tmp.dir目录删除，删除所有机器的data和logs目录删除，后重新格式化）
大数据Flink（五十三）：Flink流处理特性、发展历史以及Flink的优势
同时 Flink 支持高度容错的状态管理，防止状态在计算过程中因为系统异常而丢失，Flink 周期性地通过分布式快照技术 Checkpoints 实现状态的持久化维护，使得即使在系统停机或者异常情况下都能计算出正确的结果。由Java语言编写；2019-01-08，阿里巴巴以9000万欧元的价格收购了
Logstash启动报错：401的问题解决
原因: logstash的conf文件没有配置ES的账号密码, 配置上账号密码即可。
Datax安装
Datax安装十分简单
Hadoop集成Hive
说明：服务器已用主机名代替，可根据自己的需求，改为IP地址环境1、java版本1.82、Rsync CentOS中默认存在3、zstd、openssl、autoconf、automake、libtool、ca-certificates安装4、ISA-L5、nasm与yasm6、ssh7、hadoop
大数据Flink（五十）：流式计算简介
批量计算是维护一张表，对表进行实施各种计算逻辑。流式计算相反，是必须先定义好计算逻辑，提交到流式计算系统，这个计算作业逻辑在整个运行期间是不可更改的。计算结果上，批量计算对全部数据进行计算后传输结果，流式计算是每次小批量计算后，结果可以立刻实时化展现。，这样的场景下，传统的统一收集数据，再存到数据库
时间序列数据库 (TSDB)
阿里云时序数据库TSDB
Rancher上Containers with unready status: [xxx]问题处理
Rancher(k8s)上Containers with unready status: [xxx]问题处理1、查看了下本地及私镜像都存在2、于是重启了下Docker容器，再观察下service docker restart 也可根据情况reboot重启主机 （如果有相关问题，可加微信: java
NBTSTAT 命令详解
NBTSTAT 使用TCP/IP上的NetBIOS显示协议统计和当前TCP/IP连接，使用这个命令可以得到远程主机的NETBIOS信息，如用户名 ，所属工作组，网卡的MAC地址等。
Flink Environment Variable
我们在使用命令发布Flink任务的时候可以根据根据任务需要来设置环境变量(具体命令就是./flink run-application -t yarn-application),而不需要根据使用默认flink-conf.yaml的默认值,同时因为flink并不能自己根据任务的多少来设置算子的并行度等原
Hadoop的伪分布式安装方法
若成功启动则会列出如下进程:NameNode, DataNode和SecondaryNameNode（如果SecondaryNameNode没有启动，请运行./sbin/stop-dfs.sh关闭进程，然后再次尝试启动）。sudo tar -zxvf ~/Downloads/hadoop-3.3.2
Python用pandas进行大数据Excel两文件比对去重300w大数据处理
通俗理解有两个excel文件 分别为A和B我要从B中去掉A中含有的数据，数据量大约在300w左右因为数据量较大，无论是wps还是office自带的去重都无法正常使用这样就需要用到脚本了。
Hadoop简介以及集群搭建详细过程
hadoop加群包括两个集群：hdfs集群，yarn集群两个集群逻辑上分离，通常物理上在一起两个集群都是标准的主从架构集群逻辑上分离：两个集群相互之间没有依赖，互不影响物理上在一起：某些角色今晚往往部署在同一台物理服务器上MapReduce集群呢？MapReduce是计算框架、代码层面的组件没有集群
Flink实时计算引擎入门教程
Flink实时计算引擎入门教程
5、Flink 的 source、transformations、sink的详细示例（一）
本文介绍了source、transformations和sink的基本用法，下一篇将介绍各自的自定义用法。以上，简单的介绍了source、transformations和sink的使用示例。下文中所有示例都是用该maven依赖，除非有特殊说明的情况。3、在192.168.10.42中输入测试数据，如
大数据法律监督模型优势特色及应用场景
大数据法律监督平台是基于监督数据整合管理平台、监督模型构建平台、内置模型库以及法律监督线索管理平台打造的一套服务于检察机关法律监督工作的专业化系统。
大数据课程D1——hadoop的初识
6. 在Nutch0.8的时候，Doug发现NDFS和MapReduce不只可以用于搜索引擎，也可以用于其他的分布式处理，所以就把NDFS和MapReduce以及其他的一些需要的基本以来分离出来，组成了一个新的框架Hadoop，同时NDFS改名为HDFS(Hadoop Distributed Fil
等保三级认证基本要求
等保三级认证基本要求
ElasticSearch - 索引增加字段并查询增加字段前的历史数据
从上面的结果可以看出，在ElasticSearch中为已有索引增加一个新字段以后，老的数据并不会自动就拥有了这个新字段，也就不可能给他一个默认值。我们项目中有一个需求：ElasticSearch存在很多历史数据，然后需求中索引新增了一个字段，我们需要根据条件查询出历史数据，但历史数据中这个新增的字段
