k8s集群 ceph rbd 存储动态扩容
k8s 集群 rbd 扩容的两种方法
在windows上用docker编译ceph
去转义也不行,这就导致它无法正常读到本地文件,解决办法就是去需要读文件的目录中build,使用不带任何前缀的相对路径方式,Dockerfile在哪个目录,哪个目录就是它的当前路径,或者,到Linux上build,就不存在这个问题,这个小问题困扰了半天,松鼠哥认为这是个bug=.=这个源路径是本地wi
第33讲:K8S集群StorageClass使用Ceph CSI供应商与Cephfs文件系统集成
K8S StorageClass对接Ceph集群的Cephfs文件系统有两种方法,一种是cephfs-provisioner另一种是cephfs-csi。Cephfs-csi是第三方的客户端程序,部署简单,只需要拉取下来镜像就可以部署成功,而cephfs-provisioner则有很多的故障,相对于
4. ceph存储使用流程
ceph集群默认启用了cephx的认证,业务服务器要挂载使用ceph需要通过令牌认证。一个文件系统存储需要两个RADOS存储池,一个用于存储实体数据,一个用于存储元数据。上面分别创建两个存储池,名称为db_data, db_metadata。分别指定存储池对应的PG数量为128, 64。10-50个
第31讲:K8S StorageClass使用rbd-provisioner驱动与Ceph RBD块存储集成
rbd-provisioner和csi-provisioner都是StorageClass对接Ceph集群块存储的驱动客户端,CSI客户端部署相对复杂,并且镜像拉取很费力,RBD客户端部署非常简单,相当于开箱即用。无论使用哪种类型的驱动都可以,不过使用RBD客户端时,会遇到一个大坑,如下所示。
第30讲:Ceph集群RBD块存储通过CSI客户端与K8S StorageClass集成
StorageClass与Ceph RBD集成的官方文档:https://kubernetes.io/zh/docs/concepts/storage/storage-classes/#rbdCeph对于StorageClass的官方文档:https://docs.ceph.com/en/pacif
一款为AI 视觉类训练定制的高功性能文件系统hpfs
在使用hpfs之前,我对比了其他的一些开源项目,很多都是需要第三方插件去存储元数据,总觉得怪怪的,因为数据存储那边本身就已经能通过3副本保证数据安全了,并且有完善的数据安全机制了,然后,元数据又搞一套数据副本机制,没看懂什么意思,数据直接存储到底层存储上不行吗?这款文件系统是在ceph基础上进行修改
第29讲:Ceph集群使用RBD块存储设备与K8S的PV集成
RBD(Reliable Block Device)组件是一种构建在RADOS集群之上为客户端提供块设备存储接口接口的中间层,提供的块存储服务可以形成一个裸磁盘,提供格式化、映射的功能,挂载到服务器中。这类的客户端包括虚拟化KVM和云计算OpenStack。RBD组件支持存储空间的动态扩容,也可以借
第28讲:Ceph集群使用RBD块存储与K8S Volumes集成
VolumeVolume持久化有三种类型分别是EmptyDir、HostPath、NFS。Volume是K8S集群中较为简单的数据持久化方案,无需创建其他资源,直接在Pod资源编排文件中声明Volume卷,即可挂载使用。PV、PVCPV和PVC是一种高级类型的持久化存储费方案,PV负责与底层存储系统
Ceph 存储(最详细!)
存储机制会把数据分散存储到多个节点上,具有高扩展性、高性能、高可用性等优点。Ceph使用C++语言开发,是一个开放、自我修复和自我管理的开源分布式存储系统。具有高扩展性、高性能、高可靠性的优点。Ceph目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack,Kubernetes
Springboot对接ceph集群以及java利用s3对象网关接口与ceph集群交互
然后java代码,一些相关注意的事项都在代码里有标出。springboot中引入相关依赖。
云原生专栏
云原生专栏大纲
分部署存储Ceph
Cephdeploy-ceph部署投入使用ceph前,要知道一个很现实得问题,ceph对低版本内核得客户端使用非常不友好,低内核是指小于等于3.10.0-862,默认的centos7.5及以下的系统都是小于此类内核,无法正常使用ceph的文件存储(cephFS)块存储(RBD)。ceph部署一定要考
【ceph相关】ceph基准性能测试工具
本篇主要介绍几种ceph原生基准性能测试工具以及各自对应使用方法不同于fio、vdbench等上层应用接口测试工具,ceph提供了一些自带的基准性能测试工具,用于测试rados、rbd等底层存储基准性能,可以比对底层基准性能和上层应用基准性能,确定潜在可调优的空间
Ceph集群部署
说明目标主机已经有ceph.conf配置文件,而且内容和当前目录的配置文件不一样,如果需要覆盖则使用--overwrite-conf选项。如上图,其中:ceph.conf是主配置文件, ceph.client.admin.keyring文件存放的是ceph的用户名和密码。如上图可以看到,会自动远程所
Ceph Swift 实践运用(四)
Ceph Swift 实践运用一、Ceph封装与自动化装配1、创建ceph-starter自动化工程:2、pom文件依赖: <dependencies> <!-- Spring Boot 自定义启动器的依赖 --> <dependenc