IDC 中国数字化转型盛典：兴业银行「基于悦数图数据库」的「智能大数据云平台」获奖
近日，2023 第八届 IDC 中国数字化转型年度盛典在北京盛大开幕。会上，IDC 中国为 2023 年度“IDC 中国未来企业大奖”卓越奖获奖企业颁奖。兴业银行凭借「基于悦数图数据库」的「智能大数据云平台」荣获“2023 IDC 中国未来企业大奖——未来数字基础架构领军者”殊荣。
消息队列选型：Kafka 如何实现高性能？
在分布式消息模块中，我将对消息队列中应用最广泛的 Kafka 和 RocketMQ 进行梳理，以便于你在应用中可以更好地进行消息队列选型。另外，这两款消息队列也是面试的高频考点。所以，本文我们就一起来看一下，Kafka 是如何实现高性能的。
Kafka中的enable-auto-commit和auto-commit-interval配置
Kafka中的enable-auto-commit和auto-commit-interval配置
ELK+kafka+filebeat企业内部日志分析系统
是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，
Hadoop3完全分布式搭建
1，Datanode相关界面负载信息2，这个查看 HDFS的相关信息。
Flink知识点概述
stream.keyBy() .window() .aggregate() 会话窗口，超过五秒没数据，自动生成新的窗口
RabbitMQ快速入门（详细）
Kafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache顶级项目。Kafka主要特点是追求高吞吐量，一开始的目的就是用于日志收集和传输。0.8版本开始支持复制，不支持事务，对消息的重复、丢失、错误没有严格要求，适合产生大量日志数据的互联网服务的数据收集业务。
【大数据】Flink CDC 的概览和使用
Flink CDC 是一个开源的数据库变更日志捕获和处理框架，它可以实时地从各种数据库（如 MySQL、PostgreSQL、Oracle、MongoDB 等）中捕获数据变更并将其转换为流式数据。Flink CDC 可以帮助实时应用程序实时地处理和分析这些流数据，从而实现数据同步、数据管道、实时分析
大数据学习之Flink、快速搞懂Flink的容错机制！！！
的容错机制是确保数据流应用程序在出现故障时能够恢复的关键机制。这种机制通过创建分布式数据流和操作符快照来实现，这被称为检查点（Checkpoint）。当系统遇到故障，例如机器故障、网络故障或软件故障时，会回退到最后一个成功的检查点，然后重新启动所有的算子。这样可以确保即使在故障发生后，应用程序的状态
【Kafka】Suppressed: java.nio.file.AccessDeniedException问题的解决
【Kafka】Suppressed: java.nio.file.AccessDeniedException问题的解决
大数据关联规则挖掘：Apriori算法的深度探讨
Apriori算法是一种用于挖掘数据集中频繁项集的算法，进而用于生成关联规则。这种算法在数据挖掘、机器学习、市场篮子分析等多个领域都有广泛的应用。关联规则挖掘是数据挖掘中的一个重要分支，其目标是发现在一个数据集中变量间存在的有趣的关联或模式。假设在一个零售商的交易数据中，如果客户购买了啤酒，他们也很
Flink版本更新汇总（1.14-1.18）
Flink 版本更新汇总（1.14-1.18）
Flink学习笔记（三）：Flink四种执行图
在 JobGraph 的基础上结合各算子的并行度生成的就是 ExecutionGraph （ExecutionGraph与 JobGraph 最大的区别就是按照并行度将每个算子的任务拆分成了多个并行的子任务，并明确了任务间数据传输的方式。：代表由一个 Task 的生成的数据，和 ExecutionG
Spark内核解析-内存管理7(六)
Spark内核解析-内存管理
spark-udf函数
from pyspark.sql import SparkSessionfrom pyspark.sql.types import *ss = SparkSession.builder.getOrCreate()df_csv = ss.read.csv(‘hdfs://node1:8020/user
Hive HWI 配置
1、下载安装好hive后，发现hive有hwi界面功能，研究下是否可以运行，于是使用hive –service hwi命令启动hwi界面报错。启动hwi功能2、访问192.168.126.110:9999/hwi，发现访问错误一、HWI介绍HWI）是Hive-2-1版本之前的源码中提供的网页控制台工
zookeeper 常见客户端介绍和使用 zkCli、自带API、 zkClient、Curator
Zookeeper的基本客户端使用，包括自带的控制台、自带的API、第三方API例如zkClient、Curator等
Hive表操作
external , 创建外部表partitioned by，分区表clustered by , 分桶表stored as , 存储格式location ， 存储位置2.数据类型分类类型描述字面量示例原始类型TINYINT1字节的有符号整数 -128~1271YSMALLINT2字节的有符号整数 -
大数据英文考试复习——第一章（了解大数据）
相关数据的集合或者组称为数据集analysis译为“数据分析”是通过检查数据来发现事实、关系、模式、见解、趋势等的过程，analysis的总体目标是支持更好的决策analytics与analysis同译为“数据分析”，但analytics是更广泛的术语，包括对完整数据生命周期的管理，包括收集、清理、
Hive行转列[一行拆分成多行/一列拆分成多列]
hive有张表armmttxn_tmp，其中有一个字段lot_number，该字段以逗号分隔开多个值，每个值又以冒号来分割料号和数量，如：A3220089:-40,A3220090:-40,A3220091:-40,A3220083:-40,A3220087:-40,A3220086:-40,A32
