gsutil 下载谷歌云数据集，以Waymo数据集为例

文章目录

前言

记录下载waymo数据集的过程

一、gsutil是什么？

gsutil 是一个 Python 应用，该应用可让您通过命令行访问 Cloud Storage。

二、使用步骤

1.安装gsutil

代码如下（示例）：

pip install --upgrade pip
pip install gsutil

2.安装Google Cloud SDK

下载安装Google Cloud CLI 安装程序



选择默认路径

3.配置gcloud

第二步Finish后默认打开cmd+gcloud init
或者自己打开Google Cloud SDK Shell，输入

gcloud init

配置账户信息

gcloud auth login

设置proxy（因人而异）
network proxy:HTTP->host address:127.0.0.1->proxy port:1082->proxy authenticated:N
弹出网页通过验证
安装crcmod，设置分片下载，提高下载速度

pip install-U crcmod

验证是否安装成功

gsutil version -l

如下结果就是安装成功了

4.下载示例

#例
gsutil -mcp-r"gs://waymo_open_dataset_motion_v_1_1_0/uncompressed/scenario".

下载大文件时，发现经常出现下载失败的问题，速度很慢（正常1~2M/s）,有时候还会卡死（几十kb/s），所以写了一个批处理文件一个一个下载，效果蛮好的（稳定3M/s），新建一个txt文件，把下面代码粘贴进去，修改后缀名为bat，再拖入Google Cloud SDK Shell里，回车自动执行。（根据需要修改文件保存地址和要下载的文件）

@echo off
cd /d F:\Motion1.1\tf_example\training
for/l %%i in(0,1,999)do(gsutil -m cp "gs://waymo_open_dataset_motion_v_1_1_0/uncompressed/tf_example/training/training_tfexample.tfrecord-00%%i-of-01000".)
pause

效果如图

总结

记录下载waymo数据集的过程