Flink二阶段提交

XA(eXtended Architecture)是指由X/Open 组织提出的分布式交易处理的规范。XA 是一个分布式事务协议,由Tuxedo 提出,所以分布式事务也称为XA 事务。XA 协议主要定义了事务管理器TM(Transaction Manager,协调者)和资源管理器RM(Resourc

数据仓库架构详解

基本概念

【Hadoop】HDFS高可用与高扩展原理分析(HA架构与Federation机制)

通俗的讲,集群启动时DataNode会向NameNode上报所有的Block块信息,每个块(无论大小)对象约占150byte,而NameNode的内存是有限的,当HDFS文件愈来愈多的时候,NameNode就会成为集群的短板(这也是为什么HDFS不适合存储小文件的原因)。图中的Zookeeper是为

开启kafka密码认证

Kafka默认未开启密码认证,可以免密登录,太不安全,因此需要开启密码认证。一 kafka认证方式类型kafka提供了多种安全认证机制,主要分为SSL和SASL大类。其中SASL/PLAIN是基于账号密码的认证方式,比较常用1.1 SSL1.2 SASL1.2.1 SASL/Kerberos1.2.

dolphinscheduler 3.0.1 资源中心

资源中心通常用于上传文件、UDF 函数和任务组管理。对于 standalone环境,可以选择本地文件目录作为上传文件夹(此操作不需要Hadoop部署)。当然,你也可以 选择上传到 Hadoop 或者 MinIO 集群。在这种情况下,您需要有 Hadoop(2.6+)或 MinION 等相关环境。

PyFlink使用说明:建表及连接Mysql数据库

PyFlink版本是1.16.0,所以需要下载 :flink-connector-jdbc-1.16.0.jar。环境根据最新的版本安装即可,需要注意最新的PyFlink支持的最大Python版本。注意点:使用 批处理环境的时候,无法执行成功 ,必须使用 流处理环境。注意点:使用 批处理环境的时候,

狂神说SpringBoot笔记(全网最全)

狂神说SpringMVC笔记(全网最全)

一文弄懂Hive中谓词下推(on与where的区别)

Hive谓词下推与where和on的使用时机,一文就能理解透彻

银河麒麟高级服务器操作系统V10 SP2安装kafka_2.12-2.3.1

银河麒麟高级服务器操作系统V10 SP2安装kafka_2.12-2.3.1

高并发高可用之ElasticSearch

ES的数据存储在磁盘中,数据操作在内存中。注意:ElasticSearch6.0之后移除了类型的概念。7.x使用类型会警告,8.x将彻底废除。安装ES查看日志命令:查看docker镜像ID命令:运行docker镜像:访问:安装kibanakibana访问地址:http://192.168.239.1

基于Hadoop的电商用户分析系统

电商用户分析系统是为了更精准的为用户推荐他们想要的内容,如果一个用户在浏览商品信息的时候,通过对用户数据的记录,和已经存在的其他的用户记录进行分析,从而为用户推荐相应的数据。本次毕业设计的课题是基于Hadoop的电商用户用户行为的分析系统,那么研究的方向就是大数据中的Hadoop方向,在我的课题中我

FineBI产品简介

FineBI 是帆软软件有限公司推出的一款商业智能(Business Intelligence)产品。FineBI 是新一代大数据分析的 BI 工具,旨在帮助企业的业务人员充分了解和利用他们的数据。FineBI 凭借强劲的大数据引擎,用户只需简单拖拽便能制作出丰富多样的数据可视化信息,自由地对数据进

python文本相似度计算

当计算出文本的CountVector后,通过如下几种方法计算文本相似度。CountVector相关计算(8条消息)利用python文章关键信息提取_菜鸟1号——的博客-CSDN博客https以下相似度计算均以此例子进行句子1这只皮靴号码大了,那只号码合适句子2这只皮靴号码不小,那只更合适。...

月入8000+的steam搬砖项目,你应该知道(详细教程)

3、不要使用异常定价在多个账号之间交易,比如一个人操作了两个账号,为了把收益都汇集到一个账号,可能会把一个原本市场价 2 块的道具标价为 2000 块,然后自己的账号之间互相买卖,这种明显违反物品价值的定价,很容易就被判定违规交易,两个号都有风险,所以我们只需要正常买卖提现即可,提现都是秒到。2、充

hadoop基础搭建(hadoop+hive+hbase+zk)(一)

关于hadoop的基础搭建

kafka数据清理配置——删除篇

前言本意利用kafka实现一个类似redis发布订阅的模式,比redis多了一个数据分区的功能。kafka里面的数据我们是不需要存储的,因此我们需要配置对应的删除策略Kafka版本号2.8.1数据清理策略kafka有两种数据清理策略,delete删除和compact压缩,默认是删除。delete:一

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈