数据同步工具之Flink CDC
Flink CDC（Change Data Capture）是基于Apache Flink的一个扩展，用于捕获和处理数据库中的数据变化。它能够实时捕获关系数据库中的数据变更（如插入、更新、删除操作），并将这些变更流式传输到Flink进行处理。以下是Flink CDC的详细介绍：
基于Hadoop去哪儿旅游景点数据采集与分析
通过网页数据分析，发现去哪儿网的页面结构规范，提供了丰富的信息，这使得自动化数据采集成为可能。在景点列表页面中，每个景点的信息均被整齐地组织在一定的HTML结构中，而景区详情页面则提供了深入的单个景点信息，包括用户的具体评价和评分。例如，评论总数可能通过某个特定的类名聚合在一起，而详细的用户评论则分
大数据-49 Redis 缓存问题中 穿透、雪崩、击穿、数据不一致、HotKey、BigKey
上节完成了Redis的通信协议、响应模式、数据格式、多路复用。本节我们学习缓存的问题，比如穿透、雪崩、击穿、数据不一致性、HotKey、BigKey等，并提出解决方案。对于一些设置了过期时间的key，如果这些key可能会在某些时间点被超高并发的访问，是一种非常热的数据。多个客户端并发写一个 key，
大数据-93 Spark 集群 Spark SQL 概述 基本概念 SparkSQL对比 架构 抽象
上节研究了Spark的Standalone、SparkContext、Shuffle的V1和V2的对比等内容。本节研究SparkSQL，SparkSQL的基本概念、对比、架构、抽象。SparkSQL 是 Apache Spark 中用于处理结构化数据的模块。它不仅支持 SQL 查询，还允许你将 SQ
什么是数据血缘？怎么做好数据血缘分析？
本文介绍了数据血缘的定义、特点以及未来技术发展趋势并介绍了如何做好数据血缘分析。
Uptime第14份年度全球数据中心调查结果显示，行业正在扩大规划，以应对重大的技术、经济和运营变化
30多年来，该公司为数据中心的性能、恢复力、可持续发展和效率建立了行业领先的基准，为客户提供了保障，使他们的数字基础设施能够在各种运行条件下以符合其各自业务需求的水平运行。Uptime提供的服务包括该组织的分级标准和认证、管理与运营审查和评估（包括SCIRA-FSI金融行业风险评估）、可持续性评估以
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
上节研究了RDD的容错机制、分区机制、分区器、自定义分区器等内容。本节研究RDD的广播变量、RDD的累加器，用来对Spark程序进行优化的。有时候需要在多个任务之间共享变量，或者在任务（Task）和 Driver Program 之间共享变量。为了满足这个需求，Spark提供了两种类型的变量。广播变
信息泄露事件频发，我们应该如何防范？|企业数据防泄密的实用方法
信息泄露的风险来源多种多样，包括内部员工的不当操作、外部黑客的攻击、合作伙伴的数据共享不当等。一旦敏感数据泄露，可能涉及客户隐私、商业机密、技术专利等重要信息，对企业的运营和发展造成严重影响。
确保Apache Flink流处理的数据一致性和可靠性
Apache Flink是一个用于大规模数据流处理的开源框架，它提供了多种机制来保证在分布式环境中数据的一致性和可靠性。在实时流处理中，数据的一致性和可靠性是至关重要的，因为它们直接影响到数据处理结果的准确性和系统的稳定性。本文将详细介绍Flink如何通过不同的机制和策略来确保数据的一致性和可靠性。
通俗大白话讲大数据（新手筑基篇，中国移动实习）
数据采集传输：Flume、kafka、datax，maxwell，sqoop，logstash数据存储：mysql、hdfs、hbase、redis、mongodb数据计算：hive、spark、flink、storm、tez数据查询：presto、kylin、impala、druid、clickh
大数据平台CDH、HDP、CDP的区别
部署一套大数据架构是相当麻烦的事情，各种组件、服务配置相当多而杂，由此诞生了能简化各种服务部署和配置的的工具，也就是大数据平台框架。
数据分析模型：洞察数据背后的奥秘
数据分析模型：洞察数据背后的奥秘
构筑自主可控大数据“底座”，赋能数字经济发展
随着信息技术的飞速发展，大数据已成为推动经济社会发展的重要力量。在这个时代背景下，构筑自主可控的大数据“底座”不仅关乎国家安全，更是赋能数字经济、推动产业升级的关键所在。
Spark核心知识要点（八）Shuffle配置调优
Spark核心知识要点（八）Shuffle配置调优
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
上节研究了Spark的RDD的Super Word Count程序，实现了将计算结果写入到MySQL中。本节研究Spark的高阶编码、RDD的依赖关系，RDD的持久化、RDD的缓存机制。RDD任务切分中间分为：Driver program、Job、Stage(TaskSet) 和 Task。Dri
大数据-Big Data（一）：概述与基础
在当今数字化时代，大数据（Big Data）已成为各行各业的核心驱动力。从商业决策到科学研究，数据的规模和复杂性日益增加。本文旨在深入探讨大数据的概念、基础技术及其在各个领域的应用，帮助读者全面理解大数据的基本理论和实践方法。
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
上节我们看了Kafka的核心架构概念，Producer、Consumer、Topic等等，本节我们下载安装配置部署Kafka服务器，并启动Kafka，前置依赖需要Java和ZooKeeper。Kafka在3版本以下都是需要ZooKeeper来做协调器的，在3版本以上，Kafka实现了自己的协议去做高
Hologres+Flink企业级实时数仓核心能力介绍
Hologres+Flink企业级实时数仓核心能力介绍
git远程仓库限额的解决方法——大文件瘦身
Git作为世界上最优秀的分布式版本控制工具，也是优秀的文件管理工具，它赋予了项目成员对项目进行远程协同开发能力，因此受到越来越多的行业从业人员的喜爱。很多优秀的项目管理平台，比如国内的Gitee，国外的Github，也都是以Git为核心操作。
新型大数据架构之湖仓一体（Lakehouse）架构特性说明——Lakehouse 架构（一）
数据仓库和数据湖一直是实现数据平台最流行的架构，然而，过去几年，社区一直在努力利用不同的数据架构方法来实现数据平台。本文就是对当下非常流行的湖仓一体架构的特性说明。
