公共网盘¶

公共网盘介绍¶

公共网盘是恒源云所研发对接百度网盘、阿里云盘的功能，该功能通过在实例中执行命令gpushare-cli实现。

可用于在实例中的数据上传到百度网盘或阿里云盘，以及下载百度网盘或阿里云盘中的数据到实例，具体上传或下载速度取决于百度网盘或阿里云盘账号是否具备加速权益。

支持在实例中直接使用其他同学所分享的数据集，同时也可以发布自己网盘中的数据集进行分享。

使用流程

在恒源云平台授权百度网盘或阿里云盘账号，可同时授权多个。
开启并登录实例，然后在实例中下载平台所研发对接公共网盘的工具gpushare-cli。
使用平台gpushare-cli工具进行数据上传或下载。

网盘功能说明¶

功能适配¶

同时支持多个百度网盘、阿里云盘及多个账号同时绑定。
支持下载数据到任何目录，支持上传任何目录中的数据到网盘。
上传及下载不受平台任何限速（实际上传下载速度取决于网盘账号是否具备相关加速权益）。
支持网盘数据集发布到平台，同样支持使用他人发布的网盘数据集实现共享。

百度网盘¶

关于百度网盘使用提示：

下载速度：非会员下载速度最大为1MB/s；超级会员上传下载10MB/s+。
上传速度：非会员上传速度最大为10MB/s；超级会员上传速度为10MB/s+。
文件大小：非会员上传单个文件最大为5G；超级会员上传单个文件最大为20G（文件较大，可以分多次上传）。
转存限制：非会员单次保存他人分享给你的文件数量为500个；超级会员单次保存他人分享给你的文件数量为50000个。

更多百度网盘相关权益请参考：百度网盘账号权益介绍

阿里云盘¶

关于阿里云盘使用提示：

下载速度：所有用户极速下载，不限速！
上传速度：所有用户极速上传，不限速！提供秒传、超大文件快传等功能。
文件大小：非会员上传单个文件最大为100GB；会员上传单个文件最大为200GB；超级会员上传单个文件最大为1TB（文件较大，可以分多次上传）。
转存限制：非会员单次保存他人分享给你的文件数量为500个；会员单次保存他人分享给你的文件数量为3000个；超级会员单次不限制保存他人分享给你的文件数量。

更多阿里云盘相关权益请参考：阿里云盘账号权益介绍

综合百度网盘和阿里云盘相关账号权益，建议使用阿里云盘，受限小、传输快！

授权账号¶

打开恒源云控制台 -> 点击实例与数据 -> 点击我的实例 -> 点击公共网盘，如下图所示：

如下所示，支持百度网盘和阿里云盘两种授权方式。

百度网盘授权¶

点击授权

进行登录百度网盘，可通过百度网盘APP进行扫码登录或通过百度网盘账号登录

登录成功后会跳转到授权成功页面

点击返回列表，可看到授权的百度网盘账号

阿里云盘授权¶

点击添加网盘，选择阿里云盘，然后打开阿里云盘APP进行扫描登录

扫描后即绑定成功，跳转到云盘列表

下载命令工具¶

创建实例 -> 开启实例 -> 登录实例，过程可参考快速开始

登录实例后执行如下命令进行下载gpushare-cli命令工具

curl -L https://download.gpushare.com/download/gpushare-cli-linux -o /usr/local/bin/gpushare-cli
chmod u+x /usr/local/bin/gpushare-cli

#执行gpushare-cli version命令验证是否安装成功
gpushare-cli version
v1.0.11

使用方法¶

#gpushare-cli --help 命令可参考命令使用方法
gpushare-cli --help
恒源云网盘工具，目前支持百度云盘，阿里云盘。
请在官网授权对应网盘后，用恒源云账号登录使用。

Usage:
  gpushare-cli [flags]
  gpushare-cli [command]

Examples:
  gpushare-cli login -u=<username> -p=<password>

Available Commands:
  ali          阿里云盘
  baidu        百度云盘
  help         帮助
  login        登录
  version      版本

Flags:
  -h, --help   帮助

下载公共网盘数据到实例¶

如下展示如何将百度网盘及阿里云盘中的数据下载到实例中。

下载提示

如果下载的文件较大，建议使用tmux命令托管下载指令，否则如果发生网络波动可能会影响您的使用体验。

目前仅支持下载文件，不支持下载文件夹及目录。

下载百度网盘数据到实例¶

通过gpushare-cli命令工具登录平台；所使用的账号密码为恒源云控制台的账号密码，通过-u参数指定账号，-p参数指定密码
```
~ gpushare-cli login -u 186xxxxxxxx -p xxxxxxxxxxxx
登录成功
百度云盘[*********]已授权<已选择>
阿里云盘[*********]已授权<已选择>
```

查看百度网盘中文件

#展开百度网盘中的所有文件，如下/dataset目录为是百度网盘中的文件目录
~ gpushare-cli baidu ls 
加载中...
+------------------+------+--------+
|  Path            |  ID  |  Size  |
+------------------+------+--------+
|  /dataset        |      |        |
+------------------+------+--------+

#展开百度网盘中指定目录的所有文件
~ gpushare-cli baidu ls /dataset
# Path列中展示/dataset目录下的文件
# ID列中展示该文件对应的ID
# Size列中展示该文件的大小
加载中...
+---------------------------------------+--------------------+-----------+
|  Path                                 |  ID                |  Size     |
+---------------------------------------+--------------------+-----------+
|  /dataset/data_scene_flow_calib.zip   | 1061409882677800   | 1.631MB   |
|  /dataset/calib.zip                   | 438325381265667    | 1.631MB   |
+---------------------------------------+--------------------+-----------+

下载百度网盘中的文件

#下载指令使用down，下载可以使用两种方式
#1. 指定网盘中的文件路径进行下载
#2. 指定网盘中的文件ID进行下载(如果文件名称有空格、特殊符号等字符，建议使用文件ID进行下载)

#指定网盘文件路径下载百度网盘中/dataset/目录下的calib.zip文件到当前实例的/hy-tmp/目录
~ gpushare-cli baidu down /dataset/calib.zip /hy-tmp/
检查网盘路径...
检查本地路径...
开始下载...
 1.56 MiB / 1.56 MiB [===================================] 100.00% 1.90 MiB/s 0s
下载完成: /hy-tmp/calib.zip

#指定网盘文件ID下载百度网盘中/dataset/目录下的calib.zip文件到当前实例的/hy-tmp/目录
~ gpushare-cli baidu down 438325381265667 /hy-tmp/
检查网盘路径...
检查本地路径...
开始下载...
 1.56 MiB / 1.56 MiB [=================================] 100.00% 380.45 KiB/s 4s
下载完成: /hy-tmp/calib.zip

查看下载到/hy-tmp/目录中的文件并解压

~ cd /hy-tmp/
~ ls 
calib.zip
~ unzip calib.zip

下载阿里云盘数据到实例¶

通过gpushare-cli命令工具登录平台；所使用的账号密码为恒源云控制台的账号密码，通过-u参数指定账号，-p参数指定密码
```
~ gpushare-cli login -u 186xxxxxxxx -p xxxxxxxxxxxx
登录成功
百度云盘[*********]已授权<已选择>
阿里云盘[*********]已授权<已选择>
```

查看阿里云盘中文件

#展开阿里云盘中的所有文件，如下/dataset目录为是阿里云盘中的文件目录
~ gpushare-cli ali ls
加载中...
+------------------+------+--------+
|  Path            |  ID  |  Size  |
+------------------+------+--------+
|  /dataset        |      |        |
+------------------+------+--------+

#展开阿里云盘中指定目录的所有文件
~ gpushare-cli ali ls /dataset
# Path列中展示/dataset目录下的文件
# ID列中展示该文件对应的ID
# Size列中展示该文件的大小
加载中...
+------------------------+--------------------------------------------+-----------+
|  Path                  |  ID                                        |  Size     |
+------------------------+--------------------------------------------+-----------+
|  /dataset/calib.zip    | 6273f13cba015b49ef5b4f968b954a4e939f61e5   | 1.631MB   |
+------------------------+--------------------------------------------+-----------+

下载阿里云盘中的文件

#下载指令使用down，下载可以使用两种方式
#1. 指定网盘中的文件路径进行下载
#2. 指定网盘中的文件ID进行下载(如果文件名称有空格、特殊符号等字符，建议使用文件ID进行下载)

#指定网盘文件路径下载阿里云盘中/dataset/目录下的calib.zip文件到当前实例的/hy-tmp/目录
~ gpushare-cli ali down /dataset/calib.zip /hy-tmp/
检查本地路径...
检查网盘路径...
开始下载...
 1.56 MiB / 1.56 MiB [===================================] 100.00% 4.16 MiB/s 0s
下载完成: /hy-tmp/calib.zip.1652105813


#指定网盘文件ID下载阿里云盘中/dataset/目录下的calib.zip文件到当前实例的/hy-tmp/目录
~ gpushare-cli ali down 6273f13cba015b49ef5b4f968b954a4e939f61e5 /hy-tmp/
检查本地路径...
检查网盘路径...
开始下载...
 1.56 MiB / 1.56 MiB [===================================] 100.00% 4.31 MiB/s 0s
下载完成: /hy-tmp/calib.zip.1652105848

查看下载到/hy-tmp/目录中的文件并解压

~ cd /hy-tmp/
~ ls
calib.zip
~ unzip calib.zip

上传实例数据到公共网盘¶

如下展示如何将实例中的数据上传到百度网盘及阿里云盘。

上传提示

如果上传的文件较大，建议使用tmux命令托管上传指令，否则如果发生网络波动可能会影响您的使用体验。

目前仅支持上传文件，不支持上传文件夹及目录。

上传实例数据到百度网盘¶

通过gpushare-cli命令工具登录平台；所使用的账号密码为恒源云控制台的账号密码，通过-u参数指定账号，-p参数指定密码
```
~ gpushare-cli login -u 186xxxxxxxx -p xxxxxxxxxxxx
登录成功
百度云盘[*********]已授权<已选择>
阿里云盘[*********]已授权<已选择>
```

上传实例中/hy-tmp/dataset/train.zip文件到百度网盘中的/dataset/目录中(要确保百度网盘中存在dataset目录)。

#上传指令使用up
#注意：上传数据实例中的文件必须要写绝对路径，也就是需要从 / 开始写路径，不能使用相对路径，例如 ./train.zip 或 ../train.zip。

~ gpushare-cli baidu up /hy-tmp/dataset/train.zip /dataset/
计算文件大小...
上传中...
[==================================================] 100%         1/1
上传完成: train.zip

查看百度网盘中的文件验证是否上传成功

#展开百度网盘中的所有文件
~ gpushare-cli baidu ls
/dataset        #/dataset目录为是百度网盘中的文件目录

#展开百度网盘中指定目录的所有文件来验证是否上传成功，也可以通过百度网盘客户端登录查看。
~ gpushare-cli baidu ls /dataset
#返回如下三个文件为百度网盘中/dataset/目录中的文件，其中train.zip为刚上传的文件
1061409882677800 -> data_scene_flow_calib.zip
864542844022467 -> calib.zip
827945728239665 -> train.zip

上传实例数据到阿里云盘¶

通过gpushare-cli命令工具登录平台；所使用的账号密码为恒源云控制台的账号密码，通过-u参数指定账号，-p参数指定密码
```
~ gpushare-cli login -u 186xxxxxxxx -p xxxxxxxxxxxx
登录成功
百度云盘[*********]已授权<已选择>
阿里云盘[*********]已授权<已选择>
```

上传实例中/hy-tmp/dataset/train.zip文件到阿里云盘中的/dataset/目录中(要确保阿里云盘中存在dataset目录)。

#上传指令使用up
#注意：上传数据实例中的文件必须要写绝对路径，也就是需要从 / 开始写路径，不能使用相对路径，例如 ./train.zip 或 ../train.zip。

~ gpushare-cli ali up /hy-tmp/dataset/train.zip /dataset/
计算文件大小...
上传中...
[==================================================] 100%         1/1
上传完成: train.zip

查看阿里云盘中的文件验证是否上传成功

#展开阿里云盘中的所有文件
~ gpushare-cli ali ls
/dataset        #/dataset目录为是阿里云盘中的文件目录

#展开阿里云盘中指定目录的所有文件来验证是否上传成功，也可以通过阿里云盘客户端登录查看。
~ gpushare-cli ali ls /dataset
#返回如下三个文件为阿里云盘中/dataset/目录中的文件，其中train.zip为刚上传的文件
1061409882677800 -> data_scene_flow_calib.zip
864542844022467 -> calib.zip
827945728239665 -> train.zip