开源minio-AWS-S3存储的部署及go操作详细

介绍

MinIO是一个开源的分布式对象存储服务，它允许用户在私有云或公有云环境中构建自己的对象存储基础设施。MinIO旨在提供高性能、高可用性的对象存储，并且与Amazon S3兼容，这意味着可以使用S3客户端工具和库直接与MinIO交互，而无需更改现有的应用程序代码。

以下是一些关键的MinIO特性和信息：

1. 分布式架构： MinIO设计为具有分布式架构，允许用户将多个MinIO实例组合成一个集群，提供高可用性和可扩展性。每个MinIO实例可以运行在独立的硬件节点上，通过负载均衡器或DNS轮询等方式进行负载均衡。
2. S3兼容性： MinIO与Amazon S3的API兼容，这意味着现有的S3客户端工具和库可以直接用于与MinIO进行交互。这种兼容性使得迁移现有S3应用程序到MinIO变得相对简单。
3. 开源： MinIO是开源的，它的源代码可以在GitHub上获得。这使得用户能够审查和修改源代码以满足他们特定的需求，并且可以在社区的支持下获得帮助。
4. 轻量级： MinIO设计为轻量级和高性能。它专注于提供快速的对象存储服务，而不引入过多的复杂性。
5. 安全性： MinIO支持SSL/TLS加密，以确保在数据传输过程中的安全性。此外，它还提供身份验证和访问控制功能，以保护存储在MinIO中的数据。
6. 版本控制： MinIO支持对象版本控制，允许用户存储和检索不同版本的对象。这对于处理数据的变更和回滚操作非常有用。
7. 事件通知： MinIO支持事件通知，可以在对象被创建、删除或更新时触发通知。这为构建自动化工作流和应用程序提供了便利。
8. 易于部署： MinIO提供了容器化的部署选项，可以轻松地在容器环境中部署，例如使用Docker。

总的来说，MinIO是一个灵活、高性能、可扩展且S3兼容的对象存储解决方案，适用于构建私有云、混合云或公有云环境中的存储基础设施。

部署

yum remove docker docker-common container-selinux docker-selinux docker-engine
yum install -y yum-utils
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum install -y docker-ce

docker run -d \
  -p 9000:9000 \
  -p 9001:9001 \
  -e "MINIO_ROOT_USER=LIUYUNSHENG" \
  -e "MINIO_ROOT_PASSWORD=LIUYUNSHENGKEY" \
  minio/minio server /data --console-address "0.0.0.0:9001"

go相关操作代码

package main

import (
    "context"
    "fmt"
    "log"
    "os"
    "path"

    "github.com/aws/aws-sdk-go-v2/aws"
    "github.com/aws/aws-sdk-go-v2/config"
    "github.com/aws/aws-sdk-go-v2/credentials"
    "github.com/aws/aws-sdk-go-v2/service/s3"
)

func main() {
    cfg, err := config.LoadDefaultConfig(context.TODO(),
        config.WithCredentialsProvider(credentials.NewStaticCredentialsProvider("LIUYUNSHENG", "LIUYUNSHENGKEY", "")),
        config.WithEndpointResolverWithOptions(aws.EndpointResolverWithOptionsFunc(func(service, region string, options ...interface{}) (aws.Endpoint, error) {
            return aws.Endpoint{
                URL: "http://127.0.0.1:9000",
            }, nil
        })),
        config.WithRegion("cn-north-1"),
    )
    if err != nil {
        return
    }
    client := s3.NewFromConfig(cfg, func(o *s3.Options) {
        o.UsePathStyle = true //https://s3.amazonaws.com/BUCKET/KEY
    })

    // 打印所有的桶
    result, err := client.ListBuckets(context.TODO(), &s3.ListBucketsInput{})
    if err != nil {
        return
    }
    for _, bucket := range result.Buckets {
        fmt.Println(*bucket.Name)
    }
    // 创建桶
    bucketName := "liuysh-bucket"
    client.CreateBucket(context.TODO(), &s3.CreateBucketInput{Bucket: &bucketName})

    // 上传文件
    fileName := "/var/lib/pgsql/pgsql/go/go1.21.5.linux-amd64.tar.gz"
    file, err := os.Open(fileName)
    fileBase := path.Base(fileName)
    if err != nil {
        fmt.Printf("Couldn't open file %v to upload. Here's why: %v\n", fileName, err)
    } else {
        defer file.Close()
        _, err = client.PutObject(context.TODO(), &s3.PutObjectInput{
            Bucket: aws.String(bucketName),
            Key:    aws.String(fileBase),
            Body:   file,
        })
        if err != nil {
            log.Printf("Couldn't upload file %v to %v:%v. Here's why: %v\n",
                fileName, bucketName, file.Name(), err)
        }
    }

}