linux 部署Hadoop完全分布式集群教程
linux 部署Hadoop完全分布式集群教程
Java 17 VS Java 8: 新旧对决，这些Java 17新特性你不容错过
Java是一门非常流行的编程语言，由于其跨平台性、可移植性以及强大的面向对象特性而备受青睐。Java最初由Sun Microsystems公司于1995年推出，随着时间的推移，Java发展迅速，版本不断更新。本篇博客将重点介绍Java 17与Java 8的对比，以及Java 17的新特性。
Hive的Join操作
Hive的Join操作
es 启动elasticsearch.bat发生闪退
在bin目录下输入elasticsearch.bat启动，发生报错，查看Caused by 的后面的错误信息，发现是elasticsearch.yml配置文件的编码格式错误。打开我的elasticsearch.yml配置文件 发现我的注释是中文，所有要使用utf-8的编码格式。最后说一句，方法有很多
Ansible 自动化运维
自动化运维参考
SQL窗口函数可视化详解
“Window”或 <Aggregate> OVER (PARTITION ... SORT BY ...) 是SQL中高级并且非常实用的函数。尽管大多数教程未能准确地可视化窗口函数是如何逐步工作的，所以我整理了一些不错的 GIF，它们可以对窗口函数更完整的可视化。
数据架构:Data Fabric和Data Mesh介绍和对比
Data Mesh和Data Fabric是两种不同的数据架构模式，Data Mesh强调分散数据管理和数据可观性和透明度，Data Fabric强调集成和访问的中心化控制和灵活性，两者在实际应用中可以相互补充。
Data Mesh和数据中台
虽然“数据中台”这个概念在近年来逐渐流行起来，但它并不是一个严格的定义，而是一个比较模糊的概念，具有一定的抽象性。在实际应用中，“数据中台”往往表达的是一种数据的使用和管理方式，而不是一个具体的技术平台。
flink cdc 没有Replication client ，Replication slave权限，报错，处理
fiink cdc 的表用户，需要有Replication client ，Replication slave权限。授权命令如下： grant Replication client on *.* to ods_base@'%'; grant replication slave on *.* to o
什么是Kubernetes
K8s-Kubernetes1.什么是Kubernetes Kubernetes是Google公司在2014年6月开源的一个容器集群管理系统，使用Go语言开发，也叫K8S。Kubernetes的目标是让部署容器化的应用简单并且高效,Kubernetes提供了应用部署，规划，更新，维
Pytorch固定随机种子&&复现模型
PyTorch固定随机数种子结果可复现
HiveSql一天一个小技巧：利用array_contains()函数进行容器存在性计数问题分析
由于题意要求了不能使用join等关联形式求解，通过题意分析此题本质为存在性计数问题，类似于java中我们构建一个HashSet()我们往里面Put数据的时候，每次检查一次是否有该值，有就记为1，最终统计重复的个数有多少个，这类问题也就是我们经常说的容器变换问题，而对应到Hive中时候我们如何构建容器
Linux系统（Centos7）实现hadoop安装
Linux系统（Centos7）实现hadoop安装
@KafkaListener 详解及消息消费启停控制
如果不想使用默认的"kafkaListenerContainerFactory"容器工厂，则必须手动创建一个"ConcurrentKafkaListenerContainerFactory"类的实例，并且其bean name 不能叫"kafkaListenerContainerFactory"（不然
【hadoop】在Mac m1下搭建安装hadoop环境（亲测有效版）
在Mac m1环境下安装hadoop教程 亲测有效 超简单版
Eureka原理看这一篇就够了
1.服务发现概念首先，要理解服务发现的概念，需要先了解分布式系统，这里引用一个通俗易懂的分布式系统比喻“当一头牛拉不动车的时候，不要试图寻找一头更强壮的牛，而是用两头牛来拉车”因此，从狭义来解释，分布式系统是：由多个应用程序协同来完成任务的一种工作模式系统。这里的任务可以是一个下单操作、可以是一个复
hive 之with as 和create view 和create temporary table用法
create view 其实和with tmp as 很相似，都是把复杂的可以重用的sql简化，我觉得唯一的区别就是 view是可以创建下次再使用的 但是with只是当前sql有效，甚至不是会话有效。可以看到 这个join with as 和 view 都是执行了两次，但是temporary ta
Prometheus+Grafana监控部署以kafka监控为例
Prometheus是由SoundCloud开发的开源监控系统，由GO语言编写而成，采用Pull的方式来获取监控信息，并且提供了多维度的数据模型和灵活的查询接口。Prometheus既支持通过静态文件配置监控对象，还支持自动发现机制，能通过Kubernetes、Consl、DNS等多种方式动态获取监
TEZ介绍及使用
TEZ介绍及使用
Hadoop学习笔记01：学习Linux常用操作命令
1>.ls （横向查看目录） ll（竖排查看目录）2>.mkdir （创建文件夹）3>.cd 文件夹名 （进入该文件夹） cd …（返回上一级目录）4>.rm 文件/夹名 （删除，可以接-f忽略不存在的文件，-i互动模式，-r递归删除会有危险。这是删除文件）（-rf才是删除文件夹）5>.mv 文件/
