大数据技术之SparkCore

Spark Core是spark的核心与基础,实现了Spark的基本功能,包含任务调度,内存管理,错误恢复与存储系统交互等模块Spark Core中包含了对Spark核心API——RDD API(弹性分布式数据集)的定义:RDD表示分布在多个计算节点上可以并行操作的元素集合,是spark的核心抽象。

强制退出hdfs安全模式

强制退出安全模式

CDH/CDP 是什么?

CDH ( Cloudera Distribution Hadoop )是 Cloudera 公司提供的包含 Apache Hadoop 及其相关项目的软件发行版本。CDP(Cloudera Data Platform)是 CDH 的继任者。CDP 是面向企业的云计算平台。

如何写出高性能的 SQL Join: join 实现和最佳实践

Join是数据库和数仓中最常用的一个感念了。在关系型数据库的数据模型中,为了避免数据冗余存储,不同的数据往往放在不同的表中,分为事实表和维度表,这样做可以极大的节省数据存储空间。

springcloud的负载均衡两种实现方式

如何为服务消费者自定义RibbonClient?①代码自定义RibbonClient所谓的自定义RibbonClient的主要作用就是使用自定义配置替代Ribbon默认的负载均衡策略,注意:自定义的RibbonClient是有针对性的,一般一个自定义的RibbonClient是对一个服务提供者(包括

RabbitMQ(五)死信队列、延迟队列

死信队列、延迟队列

ChatGPT 可收费的那种产品该如何实现?一点尝试

Tinkle是本人开发的一款国产数据库管理客户端,目前支持Mysql、Mariadb、PostgreSQL等数据库。区别于其它数据库,其优势是提供了数据可视化、SQL练测、数据填充、SQL逆代码生成、AI SQL生成等创新功能。本文主要介绍AI SQL生成功能,因此先介绍一下其支持的SQL生成能力:

Hadoop 之 集群安装(HDFS、YARN)

Hadoop 之 集群安装(HDFS、YARN)

Elasticsearch:使用最新的 Elasticsearch Java client 8.0 来创建索引并搜索

这篇文章,我来详细地描述如何使用最新的 Elasticsearch Java client 8.0 来创建索引并进行搜索。最新的 Elasticsearch Java client API 和之前的不同。在之前的一些教程中,我们使用 High Level API来进行操作。在官方文档中,已经显示为

ROS2与C++入门教程-多线程演示

ROS2与C++入门教程-多线程演示

【电商数仓】关系建模与维度建模、维度表和事实表、几种维度模型、数仓建模原则

维度建模一定要选定一个中心,这个中心就是需要做的业务,如电商的核心业务就是订单,那么在对电商业务进行维度建模的时候,就可以将订单放到中心的位置。描述订单的方式一般为:和人,何时,何地,下的什么订单,一个用户,一个维度;例如,需要统计,什么时间下的订单多,哪个地区下的订单多,哪个用户下的订单多。在业务

毕业设计:基于SSM框架的学生实习管理系统

​ 高校实习管理系统主要解决各大高校学生暑假实习/寒假实习等过程管理难的问题,提升学校、老师和学生、企业之间的联系,避免学生因实习任务而感到为难,解决学校和老师无法实时感知到学生的实习情况,无法了解到学生的实习过程,无法对实习结果进行评分等问题,提升企业和学校的沟通,及时发现学生存在的问题,优化实

【AI人工智能写作】使用 AI 智能写作实现每天产生被动收入的终极指南!!!...

使用 AI 写作和每天产生被动收入的终极指南AI辅助写作:Rytr - Best AI Writer, Content Generator & Writing Assistanthttps://poe.com/chatgpthttps://poe.com/claudehttps://poe.

steam搬砖项目,新手也能月入8000+(详细教程)

大家好,我是阿阳这个项目很早之前就有了,而且这么久以来一直非常稳定。作为一名没有任何经验却想通过低成本投入来赚钱的小白,做steam搬砖项目真的可以实现财富自由0成本,操作简单,有手机就能做!真的比辛辛苦苦当社畜强多了! 如果有玩过一些游戏的,你一定知道steam是什么平台,Steam平台是全球最大

数据中台介绍

主题:即高层次的互不折叠的数据分类,用于管理其下一级的业务对象数据标准:基于公司或者一具体的业务线制定的需要公司共同遵守的属性层数据含义和业务规则,描述了公司对某个数据的共同理解,这些理解确定后就应该作为标准在企业内被共同遵守。数据仓库-ODS层:存储源数据的简单落地数据仓库-DWI层:又称为数据整

服务异步通讯——RabbitMQ

资源链接提取码:GY66RabbitMQ的结构和概念RabbitMQ中的几个概念● Publisher:消息发送者● consumer:消息消费者● channel:操作MQ的工具● exchange:交换机,路由消息到队列中● queue:队列,缓存消息● virtual host:

Kafka入门

文章目录基础架构工作流程文件存储生产者生产者分区策略producer ack何时发送ack?生产者ACK策略数据一致性问题基础架构Producer : 消息生产者,就是向 Kafka broker 发送消息的客户端;Consumer : 消息消费者,向 Kafka broker 取消息的客户端;Co

CDH6.3.2集成flink1.13

CDH6.3.2集成flink1.13

Linux安装ElasticSearch

Linux安装ElasticSearch

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈