Hadoop参数调优全攻略,让你的集群性能翻倍!
的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定,其默认值为file://${hadoop.tmp.dir}/dfs/data,若服务器有多个磁盘,必须对该参数进行修改。在进行参数调优时,需要综合考虑集群的硬件配置、作业的特点和性能指标,通过实验和监控来找到最
大数据必知必会系列_开源组件总结(2):数据存储层
采集数据之后,一般先存储再计算。对于离线系统通常先存于消息队列中,再存入文件系统,而对于实时系统,一般存放在消息中间件(如kafka)直接计算(减小时延)消息中间件是用于在分布式系统中传递消息的中间件,它们在不同的应用程序或服务之间提供可靠的消息传递机制。总之,消息队列提供高效、可靠的数据暂存功能。
ZooKeeper笔记,深入浅出ZooKeeper原理、paxos算法、ZAB协议,涵盖集群搭建和管理
本文围绕 Zookeeper 展开,详细阐述了其核心概念与特性。介绍了 Zookeeper 在分布式系统中的重要作用,如数据一致性保障、分布式协调等。深入探讨了其工作原理,包括 ZAB 协议的运行机制。还涵盖了 Zookeeper 的应用场景,如服务注册与发现、配置管理等。同时,提及了相关的实践要点
Jenkins自动部署Maven项目详细教程
Jenkins从安装到使用,详细介绍Jenkins拉取代码、编译部署、流水线搭建等每一个步骤,已排雷。
jenkins持续集成通过shell脚本实现自动发布(三)
jenkins持续集成通过shell脚本实现自动发布
都在说CI/CD,到底什么是CI/CD
当我们发布到生产环境时,通常不会马上进行全量的发布,而是先进行灰度部署。灰度部署是指逐渐将生产环境流量从老版本切换到新版本。通常流量是按比例分配的。例如 90% 的请求流向老版本,10% 的请求流向新版本。然后没有发现问题,就逐步扩大新版本上的流量,减少老版本上的流量。
Jenkins+Newman+Postman生成接口自动化测试报告
Jenkins是一个开源软件项目,是基于Java开发的一种持续集成工具,用于监控持续重复的工作。注:此安装步骤基于Win10 ,x64环境。前提:本地已安装好JDK。JDK安装配置教程,可参考:https://blog.csdn.net/moxiaofei1208/article/details/8
自动化测试基础设施—集成loki和influxdb
链接文章自动化测试基础设施—介绍自动化测试基础设施—部署loki,grafana,influxdb自动化测试基础设施—git安装部署自动化测试基础设施—基础设施集成方案自动化测试基础设施—git创建自动化测试工程集成loki和influxdb为了记录测试过程,我们会把一些测试相关信息,记录在测试报告