大数据-49 Redis 缓存问题中 穿透、雪崩、击穿、数据不一致、HotKey、BigKey
上节完成了Redis的通信协议、响应模式、数据格式、多路复用。本节我们学习缓存的问题，比如穿透、雪崩、击穿、数据不一致性、HotKey、BigKey等，并提出解决方案。对于一些设置了过期时间的key，如果这些key可能会在某些时间点被超高并发的访问，是一种非常热的数据。多个客户端并发写一个 key，
第四届中国移动“梧桐杯”大数据创新大赛正式启动报名！
梧桐杯”大赛是中国移动面向海内外高校青年学生打造的年度大数据创新赛事，以“竞逐数海，领航未来”为主题，携手政府、高校和行业企业通过比赛发掘高校优秀人才，孵化投资优秀项目。各参赛团队以创新赛的形式根据赛题提交创新作品进行创意比拼，通过综合各团队的初赛成绩与创新赛评分，评选出省级一二三等奖和优秀奖，各省
在Windows中安装下载Docker
Docker是一个开源的应用容器引擎，基于Go语言Docker让开发者打包他们的应用以及依赖包的一个轻量级，可移植的容器中然后发布到人格流行的Linux机器上，实现虚拟化。Docker应用场景Web 应用的自动化打包和发布。自动化测试和持续集成、发布。在服务型环境中部署和调整数据库或其他的后台应用。
zookeeper开启SASL权限认证
ZooKeeper 不使用任何形式的身份验证并允许匿名连接。但是，它支持 Java 身份验证与授权服务(JAAS)，可用于使用简单身份验证和安全层(SASL)设置身份验证
大数据-93 Spark 集群 Spark SQL 概述 基本概念 SparkSQL对比 架构 抽象
上节研究了Spark的Standalone、SparkContext、Shuffle的V1和V2的对比等内容。本节研究SparkSQL，SparkSQL的基本概念、对比、架构、抽象。SparkSQL 是 Apache Spark 中用于处理结构化数据的模块。它不仅支持 SQL 查询，还允许你将 SQ
什么是数据血缘？怎么做好数据血缘分析？
本文介绍了数据血缘的定义、特点以及未来技术发展趋势并介绍了如何做好数据血缘分析。
Uptime第14份年度全球数据中心调查结果显示，行业正在扩大规划，以应对重大的技术、经济和运营变化
30多年来，该公司为数据中心的性能、恢复力、可持续发展和效率建立了行业领先的基准，为客户提供了保障，使他们的数字基础设施能够在各种运行条件下以符合其各自业务需求的水平运行。Uptime提供的服务包括该组织的分级标准和认证、管理与运营审查和评估（包括SCIRA-FSI金融行业风险评估）、可持续性评估以
DataGrip无法连接Hive 【已解决】
【代码】DataGrip无法连接Hive 【已解决】
ZooKeeper的8大应用场景解析
本文将简要介绍ZooKeeper的主要应用场景，包括数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁以及分布式队列。
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
上节研究了RDD的容错机制、分区机制、分区器、自定义分区器等内容。本节研究RDD的广播变量、RDD的累加器，用来对Spark程序进行优化的。有时候需要在多个任务之间共享变量，或者在任务（Task）和 Driver Program 之间共享变量。为了满足这个需求，Spark提供了两种类型的变量。广播变
蒙特卡洛树搜索 原理与代码实例讲解
蒙特卡洛树搜索 原理与代码实例讲解作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming1. 背景介绍1.1 问题的由来蒙特卡洛树搜索（Monte Carlo T
3.Eureka-微服务注册中心
Eureka Server作为服务注册中心，负责管理所有的服务实例信息，包括注册、注销、查询等功能。：Eureka Client是微服务的客户端，用于将自己注册到Eureka Server上，并维持与Eureka Server的心跳连接。在该模式下，Eureka Server会保留已注册的服务信息，
ETL数据集成丨将DB2数据同步至Postgres数仓实践
本文介绍了如何使用ETLCloud将DB2数据同步至Postgres数仓数据库，包括DB2与Postgres简介、ETLCloud数据同步方案及配置流程。
确保Apache Flink流处理的数据一致性和可靠性
Apache Flink是一个用于大规模数据流处理的开源框架，它提供了多种机制来保证在分布式环境中数据的一致性和可靠性。在实时流处理中，数据的一致性和可靠性是至关重要的，因为它们直接影响到数据处理结果的准确性和系统的稳定性。本文将详细介绍Flink如何通过不同的机制和策略来确保数据的一致性和可靠性。
通俗大白话讲大数据（新手筑基篇，中国移动实习）
数据采集传输：Flume、kafka、datax，maxwell，sqoop，logstash数据存储：mysql、hdfs、hbase、redis、mongodb数据计算：hive、spark、flink、storm、tez数据查询：presto、kylin、impala、druid、clickh
大数据平台CDH、HDP、CDP的区别
部署一套大数据架构是相当麻烦的事情，各种组件、服务配置相当多而杂，由此诞生了能简化各种服务部署和配置的的工具，也就是大数据平台框架。
数据分析模型：洞察数据背后的奥秘
数据分析模型：洞察数据背后的奥秘
构筑自主可控大数据“底座”，赋能数字经济发展
随着信息技术的飞速发展，大数据已成为推动经济社会发展的重要力量。在这个时代背景下，构筑自主可控的大数据“底座”不仅关乎国家安全，更是赋能数字经济、推动产业升级的关键所在。
Spark核心知识要点（八）Shuffle配置调优
Spark核心知识要点（八）Shuffle配置调优
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
上节研究了Spark的RDD的Super Word Count程序，实现了将计算结果写入到MySQL中。本节研究Spark的高阶编码、RDD的依赖关系，RDD的持久化、RDD的缓存机制。RDD任务切分中间分为：Driver program、Job、Stage(TaskSet) 和 Task。Dri
