30分钟掌握 Hive SQL 优化（解决数据倾斜）
如果joinkey有集中的空值热点值，这些空值会聚集到少数个分区中，导致长尾问题。
Maven项目构建工具
** Maven项目对象模型(POM)，可以通过一小段描述信息来管理项目的构建，报告和文档的项目管理工具软件。**Maven 除了以程序构建能力为特色之外，还提供高级项目管理工具。由于 Maven 的缺省构建规则有较高的可重用性，所以常常用两三行 Maven 构建脚本就可以构建简单的项目。由于 Ma
ES和Kibana设置账号密码
命令执行后，会出现几句英文，大概的意思是：你如果确定开启密码的话，需要设置以下六种账户的密码elastic、apm_system、kibana、logstash_system、beats_system、remote_monitoring_user。第四步：重启后，输入kibana的访问地址：http
微信支付及支付回调
实现微信支付功能，完成支付回调接口，实现内网穿透功能，实现webSocket消息推送功能，完成显示支付结果
大数据ClickHouse（八）：MergeTree系列表引擎之MergeTree（重点掌握）
在所有的表引擎中，最为核心的当属MergeTree系列表引擎，这些表引擎拥有最为强大的性能和最广泛的使用场合。对于非MergeTree系列的其他引擎而言，主要用于特殊用途，场景相对有限。而MergeTree系列表引擎是官方主推的存储引擎，有主键索引、数据分区、数据副本、数据采样、删除和修改等功能，支
SSH免密登录配置
SSH无密登录配置
湖仓一体电商项目（三）：3万字带你从头开始搭建12个大数据项目基础组件
在node1、node2、node3节点上/etc/clickhouse-server/config.d路径下下配置metrika.xml文件，默认clickhouse会在/etc路径下查找metrika.xml文件，但是必须要求metrika.xml上级目录拥有者权限为clickhouse，所以这
大数据ClickHouse进阶（一）：ClickHouse使用场景和集群安装
服务端的配置文件目录，包括全局配置config.xml 和用户配置users.xml。
大数据行业如何获取高薪岗位offer？
在互联网行业需要保持不断的学习。学习大数据先思考自身未来想往哪个方向发展，想要入门快、基础深厚，并且需求多应用广建议从JAVA开始学起，找到适合自己的学习方法。大数据行业人才稀缺，据第三方统计2020年全国招收程序员394699人，全国程序员平均工资14K，工资中位数12K，其中96%的人的工资介于
学完了Hadoop，我总结了这些重点
大数据生态圈中最基础、最重要的组件。大数据小菜鸟迈出的第一步！
【ES小结】还在用ElasticSearch做查询？换条思路实现高效数据统计
聚合是ES除搜索功能外提供的针对ES数据做统计分析的功能，聚合有助于根据搜索查询提供聚合数据，聚合查询是数据库中重要额功能特性，ES作为搜索引擎兼数据库，同样提供了强大的聚合分析功能力，它是基于查询条件来对数据进行分桶、计算的方法，这种很类似与SQL中的group by再加上一些函数方法的操作。在了
大数据ClickHouse进阶（六）：Distributed引擎深入了解
Distributed引擎和Merge引擎类似，本身不存放数据,功能是在不同的server上把多张相同结构的物理表合并为一张逻辑表。注意：创建分布式表是读时检查的机制，也就是说对创建分布式表和本地表的顺序并没有强制要求。有了分布式表之后，我们就可以向分布式表中插入数据，那么分布式表会根据配置的sha
CDH大数据平台 14Cloudera Manager Console之flume安装和配置(markdown新版)
flume配置，数仓必备采集数据工具
【数据库】03——初级开发需要掌握哪些SQL语句
SQL语言是一种“查询语言”，但除了查询数据库，他还有很多功能：定义数据结构、修改数据库中数据以及定义安全性约束，学习SQL重点不是学习整个完整的用户手册，而是其基本结构和概念，工作中入门SQL，看这篇就足够了。
Hudi源码|bootstrap源码分析总结（写Hudi）
利用Hudi Bootstrap转化现有Hive表的parquet/orc文件为Hudi表本文简单的对Hudi bootstrap的一些关键的源码逻辑进行了分析，希望能对大家有所帮助。限于精力及能力的原因，有些地方可能不够深入，或者不对的地方，还请大家多多指正，让我们共同进步。
【云原生】设备云之内外组织与管理
内部组织指登入系统的用户所属的组织即为内部组织。作为超级管理员的身份登入系统，内部组织的根节点组织，已经由租户的申请人员提供的公司信息自动填入，可以修改，无法删除。
高效掌握JDBC技术（二）| 掌握ORM思想 | 定义连接数据库的工具类
🔥前言上文讲了JDBC连接数据库的六大步，成功完成了对数据库的修改的读取。那么今天就来学习一下ORM思想，理解面向对象语言与关系型数据库之间的映射关系，学习把连接数据库的方法定义到一个工具类中从而减少重复代码的书写。...
ES查看集群信息(健康状态、分片、索引等)
查看ES的集群信息，如：健康状态、分片、索引等
物联网协议概述
CoAP&MQTT 协议概述
湖仓一体电商项目（八）：业务实现之编写写入ODS层业务代码
以上两个方面中第一个方面需要再Hive中预先创建对应的Iceberg表，才能写入，第二个方面不好分辨topic“KAFKA-DB-BUSSINESS-DATA”中哪些binlog数据是事实数据哪些binlog是维度数据，所以这里我们在mysql 配置表“lakehousedb.dim_tbl_con
