大数据资产管理架构设计篇-来自《数据资产管理核心技术与应用》一书的权威讲解
数据资产管理是一项系统而复杂的工程，涉及到元数据、数据血缘、数据质量、数据服务、数据监控、数据安全、数据权限等众多方面，为了更高效的管理好数据资产，因此在很多大型的企业或者组织中，通常会构建一个数据资产管理平台来管理这些各种各样的数据资产，数据资产管理平台通常会包含如下功能： 关注。一书的前面的章节
【AI大数据计算原理与代码实例讲解】消费者组
【AI大数据计算原理与代码实例讲解】消费者组关键词：AI、大数据、计算原理、消费者组、机器学习、数据挖掘、聚类分析、关联规则、推荐系统1. 背景介绍1.1 问题的由来随着互联网和电子商务的快速发展,海量的用户行
RabbitMQ的七种工作模式代码介绍
简单模式（Simple）工作队列模式（Work Queue）发布订阅模式（Publish/Subscribe）路由模式（Routing）通配符模式（Topics）RPC模式（RPC）发布确认模式（Publish Confirms）上述工作模式，其中1-5使用的比较多，6-7较少，代码难度也比较大。
SparkSubmit进程无法强制kill掉以及Flink相关error
SparkSubmit进程无法强制kill掉以及Flink相关error：Caused by: java.lang.ClassCastException: cannot assign instance of org.apache.commons.collections.map.LinkedMap t
Zookeeper的数据一致性模型是如何保证的？
通过上述机制，ZooKeeper 能够在分布式环境中提供强一致性的数据存储和协调服务。这些机制共同作用，确保即使在部分服务器故障的情况下，集群仍然能够维持数据的一致性和高可用性。ZooKeeper 的设计使得它成为构建分布式系统时常用的协调服务框架之一。
kafka测试
使用 Kafka 的命令行工具来测试生产者和消费者的连接。查看最新的日志条目，确保没有新的错误或警告信息。查看最新的日志条目，确保没有新的错误或警告信息。如果一切正常，在消费者端看到生产者发送的消息。确保 ZooKeeper 容器正在运行。确保 Kafka 容器正在运行。每个分区可以独立地存储和处理
编写并运行第一个spark java程序
Setting的Build，Execution，Deployment中的Compiler下的Java Compiler下，bytecode版本两处都改为8。原文链接：https://blog.csdn.net/youbitch1/article/details/88355111。lines.firs
RabbitMQ可靠投递之confirmCallback确认模式------RabbitMQ
RabbitMQ可靠投递之confirmCallback确认模式------RabbitMQ
探索Couchbase Lite For C：跨平台的嵌入式数据库解决方案
探索Couchbase Lite For C：跨平台的嵌入式数据库解决方案 couchbase-lite-CC language bindings for the Couchbase Lite embedded NoSQL database engine项目地址:https://gitcode.co
Spark连接访问Hive数据
Spark访问Hive数据
flink on k8s
echo "示例: $0 'k8s01 k8s02 k8s03 k8s04 k8s05' /path/to/file /remote/directory"echo "示例: $0 'k8s01 k8s02 k8s03 k8s04 k8s05' 'cd /aaa/bbb;echo "正在将文件 $SO
【大数据】海豚调度DolphinScheduler入门学习
DolphinScheduler 是一款分布式的、易扩展的、高可用的数据处理平台，主要包含调度中心、元数据管理、任务编排、任务调度、任务执行和告警等模块。其技术架构基于 Spring Boot 和 Spring Cloud 技术栈，采用了分布式锁、分布式任务队列等技术确保任务高可用性。部署灵活，支持
大数据-192 DataX - 异构数据源的同步工具 核心模块 Reader Writer
DataX是阿里巴巴集团内广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore（OTS）、MaxCompute（ODPS）、DRDS等各种异构数据源之间高效的数据同步功能。为了解决异构数据
**cppkafka 技术文档**
cppkafka 技术文档 cppkafka Modern C++ Apache Kafka client library (wrapper for librdkafka)
Kafka技术详解[6]: 创建主题
消息的生产者必须将消息发送到特定的主题，而消费者则从特定的主题中获取消息，并且可以同时消费一个或多个主题的数据。通常，分区的一个副本作为Leader副本，负责所有读写操作，其他副本作为Follower副本，用于数据备份。以上步骤展示了如何通过命令行工具创建具有不同分区和副本数目的主题，并简述了创建主
Kafka（1）
kafka学习记录
Spark介绍与安装
Spark是一种基于内存的快速、通用、可扩展的大数据分析（计算）引擎。
003 Springboot操作RabbitMQ
springboot操作rabbitmq
11.2使用Scala开发Spark应用
安装好后，正确配置系统环境测试安装结果：打开IntelliJ IDEA ，下载scala。
大数据新视界 -- 大数据大厂之Cassandra 性能优化策略：大数据存储的高效之路
本文围绕《Cassandra 性能优化策略：大数据存储的高效之路》展开，全面阐述 Cassandra 架构对性能影响、读写优化、实施步骤、风险规避、案例分析、监控调优等内容，含大量代码示例、脚本、监控工具使用和调优策略，旨在为大数据存储优化提供指导，并鼓励读者互动。
