Spark SQL【博学谷学习记录】
spark sql
ELK集群部署(史上超详细)
ELK集群部署(史上超详细)
Hadoop分布式(最小集群)搭建(三台虚拟机)
三台虚拟机分布式搭建Hadoop
如何保证RabbitMQ消息顺序消费
所谓顺序消费,即保证消息的发送顺序要与消息的消费顺序保持一致。
kakfa可视化工具Offset Explorer/kafka-Tool 的使用
当要读取kafka 中的数据时,在服务器上查看比较麻烦,数据量较大,也不是很直观。此时就需要一款简洁,使用方便的可视化工具了,嘻嘻, Offset Explorer (以前叫:kafka-Tool ) 就是一个不错的选择。例如:上述就是简单整理了一下kafka -tool 相关使用,详细有这个作为入
Scala 基础 (三):运算符和流程控制
Scala中的运算符和Java中的运算符基本相同。算术运算 ,和在一元运算表中示正号和负号,在二元运算中表示加和减。表示整除,只保留整数部分舍弃掉小数部分除此之外,也表示两个字符串相加关系运算逻辑运算赋值运算位运算在 Scala 中其实是没有运算符的,所有运算符都是方法的调用。举个栗子:二、流程控制
基于K8S+eureka的java应用快速上下线的WEB平台
功能看起来很简单,但麻雀虽小五脏俱全。直接操作生成环境的eureka\k8s,做了很多校验和保护,最终才敢在生产环境上线。技术栈:vue(element-plus)+flask技术上的关键点标签页和穿梭框,父子组件之间的通信,子组件选择应用后父组件动态响应;前后端分离,每个后端接口需要认证才能访问;
2022年度笔记本十大热门品牌销量排行榜
2022年在笔记本领域联想品牌全年销量超214万件,销售额超107亿元;华为笔记本销量超99万件,销售额超53亿元、
Spark的五种提交作业方式
该文介绍了Spark的五种作业提交方式
ES聚合用法
ES中的聚合查询,类似SQL的SUM/AVG/COUNT/GROUP BY分组查询,主要用于统计分析场景。下面先介绍ES聚合查询的核心流程和核心概念。ES聚合查询类似SQL的GROUP by,一般统计分析主要分为两个步骤:对查询的数据首先进行一轮分组,可以设置分组条件,例如:新生入学,把所有的学生按
hive空值、NULL值判断
首先我们要明白:在hive中 空值和NULL是不等价的1.一种标示为NULLcolumn1column2dsfNULLDFSDFSddfff2.一种没有标示 直接为空值column1column2dfsfdfsfd如果是第一种,在表中显示为NULL,则在底层数据中,保存的可能为NULL或\n此时
Doris系列1-Doris介绍
文章目录一. Doris简介二. Doris 整体架构2.1 Doris 整体架构简介2.2 Doris 数据分布2.3 Doris 的使用方式三. Doris关键技术3.1 数据可靠性3.2 易运维3.3 MySQL 兼容性3.4 支持 MPP四. Doris 数据模型4.1 Doris 数据模型
Stata中异方差检验(代码直接食用)
多种方法检验异方差。图示法,B-P法,White法。代码含详细注释。predict e,residuals invchi2tail rvpplot chi2tail
6.Linux下配置Hadoop集群之完全分布式配置
否则,需要查看命令是否正确,或此前Hadoop 集群的安装和配置是否正确。此外需要注意的是,上述格式化命令只需要在Hadoop集群初次启动前执行一次即可,后续重复启动时不需要执行格式化。在配置上述文件中,HDFS数据块的副本数量(默认值为3)其中配置了Secondarynamenode,nameno
一文解码:如何在人工智能热潮下实现产业“智”变
我们要做的就是,加速人工智能与实体经济的融合,这样才能带动智能运营、智能软件、智能硬件、智能机器人等人工智能技术的新产品发展,从而达到泛在化的智能经济发展初具雏形的目的。
PCA针对TE过程(田纳西伊斯曼过程)数据的故障监测处理
PCA故障诊断中两个关键统计变量T2T^2T2和SPESPESPE的的计算T2T^2T2:Hotelling-T2SPESPESPE:平方预测误差(Squared prediction error)T2T^2T2 统计量反映了每个主成分在变化趋势和幅值上偏离模型的程度,是对模型内部化的一种度量,它可
Java+mysql毕业设计,网上订餐系统
随着年轻人的对新事物强烈的接受性和猎奇性,网上订餐以自己强大的方便快捷的优势席卷而来,网上订餐逐渐开始成为了订餐的主流方式,并朝着一种大趋势前进。在对软件进行需求分析的过程中,系统分析人员是沟通用户和开发者之间的翻译器,他们可以将用户的想法传达给技术人员,实现用户的想法和技术人员功能上实现的对接。而
基于Canal+kafka监听数据库变化的最佳实践
工作中,我们很多时候需要根据某些状态的变化更新另一个业务的逻辑,比如订单的生成,成交等,需要更新或者通知其他的业务。我们通常的操作通过业务埋点、接口的调用或者中间件完成。但是状态变化的入口比较多的时候,就很容易漏掉某些地方。代码维护起来也比较麻烦。今天介绍阿里出品的【canal】中间件完成数据库字段
【Flink】自定义keyBy的KeySelector
这个对象的类型,KEY为最后返回的key的类型,我们返回的是Product对象的name值,是String类型,直接实现getKey这个类,返回Product对象的name值即可实现。来看最后的实现,通常我们不论是从哪个数据源传到flink中的数据(通常是kafka),我们会把数据转化为一个对象,红
RabbitMQ消息列队
RabbitMQ