保姆级Hadoop集群部署
保姆级hadoop集群部署
Spark框架-离线数据统计
数据清洗任务简介:第一步：输出日志(使用spark默认的log4j配置文件)第二步：创建SparkSession对象(关闭严格模式,否则创建静态分区)第三步:拿出所有的表并进行清洗第四步：删除分区并且统计第五步：将对于字段的日期改为timestamp类型第六步：去除重复字段并创建临时视图第七步：查看
阿里云+作业帮+小红书：论剑云原生时代的 SRE与智能运维
CSDN云原生系列在线峰会第1期“SRE与智能运维峰会”如期而至
给linux(centos)操作系统设置主机名的几种方式
给linux(centos)系统设置主机名的三种方式
从趋势到必选项，探讨企业数字化转型方式方法
通过数字化转型，实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理，打造组件化、松耦合的中台能力，将数字技术与企业需求相融合，释放数字化转型的真正价值。
Redis分布式锁的解决方案(Redisson)
什么是分布式锁？实现分布式锁的常用三种方式在很多场景中，我们为了保证数据的最终一致性，需要很多的技术方案来支持，比如分布式事务、分布式锁等。那具体什么是分布式锁，分布式锁应用在哪些业务场景、如何来实现分布式锁呢？一 为什么要使用分布式锁我们在开发应用的时候，如果需要对某一个共享变量进行多线程同步访问
【鸿蒙开发——服务器端】数字管家服务端——配置详细步骤
【鸿蒙开发——服务器端】上手数字管家服务端——配置详细步骤如果说鸿蒙“发布”是万里长征的前半段，相信华为已经走完，但在后半段–生态养成，鸿蒙的隐忧是不少的！从那天起，兴龙也有了新的人生目标“志向为华为鸿蒙开发相关做50年的教学事业！”*兴龙是云南省一高校的计算机教师。仅用9小时，就完成了OpenH
MySQL分页查询limit优化的两种思路
我们知道，limit分页，当翻到比较靠后的页时，查询效率会越来越慢。如这则帖子所述：浅谈PageHelper插件分页实现原理及大数据量下SQL查询效率问题解决博主这也是一种不错的思路。其实针对分页这个问题，了解其为什么慢就知道优化方法了，按我的理解如下（不一定说的很准确哈）：（1）以前select
ES 性能调优，这可能是全网最详细的 Elasticsearch 性能调优指南
Elasticsearch 读写性能调优ES 架构和Mapping优化
Spark框架——离线数据抽取(样题实例超详细)
模块B离线数据抽取任务简介具体步骤简介第一步：开启动态分区第二步：提取前一天时间第三步：读取MYSQL数据第四步：全量写入数据第五步：Main第六步：打包集群第七步：找到jar包第八步：把jar包打包到集群目录下第九步：进入Master目录下运行任务简介具体步骤简介第一步：开启动态分区val spa
云原生中为什么需要API网关？
越来越多的组织正在转向 API 驱动的架构。 这种强大的方法可帮助他们快速创新，与同类最佳的外部服务集成，并以前所未有的速度交付新服务。然而，随着 API 对经营业务变得越来越重要，提供可靠和一致的服务同时保护 API 不被滥用或利用变得至关重要。 API 网关提供了一层安全和控制，对于保护您的数据
Spark 之WordCount
Spark 之WordCount
【源码解读】|SparkContext源码解读
本文针对于SparkContext 初始化总线，来阐述了Spark接收到任务时的一系列操作，让读者可以随时溯源
数据治理（八）：Atlas集成Hive
目录Atlas集成Hive一、配置hive-site.xml二、修改Hive-env.sh三、复制$ATLAS_HOME/conf/atlas-application.properties文件到$HIVE_HOME/conf下，并追加内容四、复制导入Hive元数据必须的jar包五、执行同步Hive
Flink实时数仓项目—项目初了解
Flink实时数仓项目—项目初了解前言一、实时数仓分层介绍1.普通的实时计算与实时数仓比较2.实时电商数仓分层规划二、实时数仓需求概览1.离线计算和实时计算的比较2.实时需求种类2.1 日常统计报表或分析图中需要包含当日部分2.2 实时数据大屏监控2.3 数据预警或提示2.4 实时推荐系统三、数仓架
数据治理（九）：Atlas界面操作
Atlas界面操作安装好Atlas之后，可以操作Atlas页面这里主要查看导入Hive的元数据信息。一、查看同步过来的Hive表二、 查看表的properties:三、查看表的Lineage,这里首次导入看不到血缘关系：四、查看表的关系：五、查看表类别：六、查看表审计信息，包含修改时间，详情等:七、
ElasticSearch基本操作
文章目录1.ElasticSearch 简介2.索引库操作2.1.mapping 属性2.2.索引库CRUD3.文档操作3.1.新增文档1.ElasticSearch 简介Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。
Ceph Swift 实践运用（四）
Ceph Swift 实践运用一、Ceph封装与自动化装配1、创建ceph-starter自动化工程：2、pom文件依赖： <dependencies> <!-- Spring Boot 自定义启动器的依赖 --> <dependenc
大数据-kafka学习（三）——Kafka Broker
Kafka Broker工作流程Leader 和 Follower 故障处理细节
SpringBoot整合Kafka消息队列并实现发布订阅和消费
SpingBoot整合Kafka，实现基本的订阅与消费pom依赖 --版本和springboot相关 <dependency> <groupId>org.springframework.kafka</groupId> <artifact
