大数据基础之java常用API三（SimpleDateFormat类和Calendar类的使用）
java SimpleDateFormat,Calendar类的介绍和使用
为什么要做数据治理以及如何进行数据治理？
多国将数据战略上升为国家战略数据治理是促进数据价值实现重要保障数据开放共享是释放数据价值基础条件数据质量管理是释放数据价值的关键环节流程化提供工作流程与模板将数据治理工作拆解为需求调研、 概要设计、 详细设计、 数据开发、 部署运维、 培训六个阶段， 并规定每个阶段的输入输出内容及模板自动化提供产品
在DataPhin基于PySpark实现主键重复就自动失败以提高运维的半自动化水平
在DataPhin基于PySpark实现主键重复就自动失败以提高运维的半自动化水平
Linux下编写shell脚本一键启动HBase
zookeeper启动、停止脚本。hadoop启动、停止脚本。hbase启动、停止脚本
想了解流计算？你必须得看一眼，实现Flink on Yarn的三种部署方式，并运行wordcount计算任务
想了解流计算，你必须得看一眼，实现Flink on Yarn的三种部署方式，并运行wordcount,7000字奉上
【黄啊码】MySQL入门—9、什么？都2022了，还不知道什么是事务？
【黄啊码】什么是MySQL事务？事务的特性是什么？MySQL事务语法
Flink / Scala 实战 - 18.一套代码搞懂 KeyedState
Flink - ValueState 、ListState 、 ReducingState 、AggregateState、MapState 实战 demo。
这家公司只有1个人，年赚一个亿
金磊 Pine 发自 凹非寺量子位 | 公众号 QbitAI全公司上下仅有1个人，每年竟能赚上1400多万美元（1亿多元）。这并不是什么天方夜谭，而是现实生活中上演的真人真事。故事的主人公叫做Gary Brewer（简称“盖哥”），而他之所以能如此猛猛吸金，靠的就是自己创办的网站BuiltWith。
大数据项目之电商数仓、数据仓库概念、项目需求及架构设计
比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。数据仓库，并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准备包括对数据的：备份、清
[机器学习、Spark]Spark MLlib实现数据基本统计
MLlib提供了很多统计方法，包含摘要统计、相关统计、分层抽样、假设检验、随机数生成等统计方法，利用这些统计方法可帮助用户更好地对结果数据进行处理和分析MLlib三个核心功能：1.实用程序：统计方法，如描述性统计、卡方检验、线性代数、模型评估方法等2.数据准备：特征提取、变换、分类特征的散列和一些自
【数据库】03——初级开发需要掌握哪些SQL语句
SQL语言是一种“查询语言”，但除了查询数据库，他还有很多功能：定义数据结构、修改数据库中数据以及定义安全性约束，学习SQL重点不是学习整个完整的用户手册，而是其基本结构和概念，工作中入门SQL，看这篇就足够了。
【大数据基础之java单列集合】
java单列集合
【Apache Spark 】第 9 章使用 Apache Spark构建可靠的数据湖
在前面的章节中，您学习了如何轻松有效地使用 Apache Spark 构建可扩展的高性能数据处理管道。然而，在实践中，表达处理逻辑只解决了构建管道的端到端问题的一半。对于数据工程师、数据科学家或数据分析师来说，构建管道的最终目标是查询处理过的数据并从中获得洞察力。存储解决方案的选择决定了数据管道的端
Q&A特辑 | 这场直播解决了我对于电商风控的大部分疑问
顶象业务安全大讲堂汇集了业内大咖，分享万亿级业务安全攻防经验，打造时下最专业的业务安全直播课，通过“技术+方案+实践”三大核心专题，带您全面了解金融、互联网、航旅出行、跨境电商以及目前大热的NFT等各类业务风险及防范手段，深入解析背后的产品技术，抽丝剥茧攻防实战，助您打造零风险的数字业务。：我们在设
打破AI算力成本困局 趋动科技即将重磅发布全球首个AI算力池化云服务
打破AI算力成本困局 趋动科技即将重磅发布全球首个AI算力池化云服务
基于Python-sqlparse的SQL表血缘追踪解析实现
之前我在两篇SQLparse的开源库解析中就说过自己在寻找在python编程内可行的SQL血缘解析，JAVA去解析Hive的源码实践的话我还是打算放到后期来做，先把Python能够实现的先实现完。主要是HiveSQL的底层就是JAVA代码，怎么改写还是绕不开JAVA的。
【数据库】02——关系模型是什么东东
关系模型依旧是现代商用数据处理应用的主要数据模型，它半个多世纪不断融合各种新特点和功能，一直沿用至今。学习关系模型有利于后续我们进行关系数据库设计模式的学习。
Observability：集群监控 （一） - Elastic Stack 8.x
你可以在我之前文章 “” 的 “” 找到相关的 Elastic Stack 监控的文章。在那些文章里，所有的理论还是成立的，只不过在最新的 Elastic Stack 8.0 出现后，由于 HTTPS 访问变成了默认的配置，需要有一些额外的配置，而且界面有所改变。在今天的文章中，我来详细地介绍如何在
CDH大数据平台 18Cloudera Manager Console之hue配置ldap(markdown新版)
hue+ldap配置sentry权限
Hudi源码|bootstrap源码分析总结（写Hudi）
利用Hudi Bootstrap转化现有Hive表的parquet/orc文件为Hudi表本文简单的对Hudi bootstrap的一些关键的源码逻辑进行了分析，希望能对大家有所帮助。限于精力及能力的原因，有些地方可能不够深入，或者不对的地方，还请大家多多指正，让我们共同进步。
