【Apache Spark 】第 9 章使用 Apache Spark构建可靠的数据湖
在前面的章节中,您学习了如何轻松有效地使用 Apache Spark 构建可扩展的高性能数据处理管道。然而,在实践中,表达处理逻辑只解决了构建管道的端到端问题的一半。对于数据工程师、数据科学家或数据分析师来说,构建管道的最终目标是查询处理过的数据并从中获得洞察力。存储解决方案的选择决定了数据管道的端
Q&A特辑 | 这场直播解决了我对于电商风控的大部分疑问
顶象业务安全大讲堂汇集了业内大咖,分享万亿级业务安全攻防经验,打造时下最专业的业务安全直播课,通过“技术+方案+实践”三大核心专题,带您全面了解金融、互联网、航旅出行、跨境电商以及目前大热的NFT等各类业务风险及防范手段,深入解析背后的产品技术,抽丝剥茧攻防实战,助您打造零风险的数字业务。:我们在设
打破AI算力成本困局 趋动科技即将重磅发布全球首个AI算力池化云服务
打破AI算力成本困局 趋动科技即将重磅发布全球首个AI算力池化云服务
基于Python-sqlparse的SQL表血缘追踪解析实现
之前我在两篇SQLparse的开源库解析中就说过自己在寻找在python编程内可行的SQL血缘解析,JAVA去解析Hive的源码实践的话我还是打算放到后期来做,先把Python能够实现的先实现完。主要是HiveSQL的底层就是JAVA代码,怎么改写还是绕不开JAVA的。
【数据库】02——关系模型是什么东东
关系模型依旧是现代商用数据处理应用的主要数据模型,它半个多世纪不断融合各种新特点和功能,一直沿用至今。学习关系模型有利于后续我们进行关系数据库设计模式的学习。
Observability:集群监控 (一) - Elastic Stack 8.x
你可以在我之前文章 “” 的 “” 找到相关的 Elastic Stack 监控的文章。在那些文章里,所有的理论还是成立的,只不过在最新的 Elastic Stack 8.0 出现后,由于 HTTPS 访问变成了默认的配置,需要有一些额外的配置,而且界面有所改变。在今天的文章中,我来详细地介绍如何在
CDH大数据平台 18Cloudera Manager Console之hue配置ldap(markdown新版)
hue+ldap配置sentry权限
Hudi源码|bootstrap源码分析总结(写Hudi)
利用Hudi Bootstrap转化现有Hive表的parquet/orc文件为Hudi表本文简单的对Hudi bootstrap的一些关键的源码逻辑进行了分析,希望能对大家有所帮助。限于精力及能力的原因,有些地方可能不够深入,或者不对的地方,还请大家多多指正,让我们共同进步。
大数据面试重点之kafka(四)
大数据面试重点之kafka(四)
云原生|kubernetes|搭建部署一个稳定高效的EFK日志系统
采集器fluentd的部署。【整体关键字段介绍】【部分关键变量介绍】
Kubernetes1.23搭建Elasticsearch7集群(集群加密)
Kubernetes1.23.1上部署Elasticsearch7.16.2+Kibana7.16.2基于Kuboard3.3.0管理,内容详细且经过博主一步步创建、线上运行使用实战性极强,欢迎大家学习讨论!
你就想这样一辈子躺平,还是改变这个世界?
武林高手将自己毕生绝学刻在山洞里,几百年后,一个年轻人路过,学了山洞里的绝学,横空出世成为武林中一位高手。绝顶聪明的商人自己写一本书,将自己毕生的智慧和经验都总结在书里面。通过出版社将书卖到全世界,每个购买书的年轻人,看了那本书都有不少收获。其中还有不少人受到启发,总结成自己一套体系理论,横空出世成
猿创征文 | 国产数据库:目前最火的五款国产数据介绍
随着互联网的高速发展,目前数据的存储越来越多,传统的数据库逐渐不能满足人们对海量数据、高效查询的需求,国产的数据库如雨后春笋一样,一个个冒了出来来解决我们高速科技发展的数据库瓶颈,今天就给大家聊一聊目前最火的五款国产数据库,大家一起来交流一下。
计算机操作系统(汤子瀛)习题答案 第4章、存储器管理
1、可采用哪几种方式将程序装入内存?它们分别适用于何种场合?答:A、首先由编译程序将用户源代码编译成若干目标模块,再由链接程序将编译后形成的目标模块和所需的库函数链接在一起,组成一个装入模块,再由装入程序将装入模块装入内存;B、装入模块的方式有:绝对装入方式,可重定位方式和动态运行时装入方式;C、绝
Hadoop2.0高可用集群搭建【保姆级教程】
Hadoop高可用集群搭建
MapReduce(eclipse)求2020年部门工资平均值,求2021年员工平均工资
MapReduce(eclipse)求2020年部门工资平均值,求2021年员工平均工资
Elasticsearch:运用 Python 实时通过 Logstash 写入日志到 Elasticsearch
在我之前的文章,我详细地介绍了如何通过 Filebeat 来收集日志并写入到 Elasticsearch。在今天的文章中,我将分享如何使用 Logstash 把日志文件发送到 Elasticsearch。使用 Logstash 的好处是它可以很方便地使用它丰富的过滤器对数据进行清洗以便更好地对数据进
一个算法模型搞定千万种场景,人工智能领域出现一匹黑马
明敏 发自 凹非寺量子位 | 公众号 QbitAI不知不觉,AI技术的渗透,已经开始超出人们的想象。去医院照个CT,都有AI作为双重保障,通过视频画面动作识别,确定病人在进入机器前已经得到有效保护。还有流水线产品是否有瑕疵,公共场所人们是否戴了口罩,工人是否佩戴安全帽、后厨是否达到“明厨亮灶”、应急
关于生产报表工具—行列视(RCV)的答疑
行列视(RCV)生产数据应用系统是由青岛国瑞信息技术有限公司自主研发的一套以实时数据库+人工填报数据为主要数据来源的自助式、自动化、智能化、可视化生产数据应用系统。
大数据ClickHouse进阶(十八):数据字典类型
在创建字典表语句中使用“layout”来指定字典的类型,目前扩展字典支持7种类型,分别为flat、hashed、range_hashed、cache、complex_key_hashed、complex_key_cache、ip_trie,不同的字典类型决定了数据在内存中以何种结构组织和存储。使用c