跳转至

数据使用

实例自身存储使用

实例自身存储提示

实例自身存储有20G的可用空间容量,可通过以下命令进行查询实例空间信息。

#查看实例自身空间的总空间、已用空间、可用空间
df -hT | grep -w / | awk '{print "实例总空间: "$3, "\n实例已用空间: "$4, "\n实例可用空间: "$5}'

#返回结果
实例总空间: 20G
实例已用空间: 45M
实例可用空间: 20G
实例空间中通常部署了所需的框架、Python、Cuda、miniconda等;不建议直接修改官方镜像中各种环境版本,如果环境版本修改出现问题,则可能登陆实例失败;如果有需要的环境版本,可联系客服进行登记,由恒源云来制作为官方镜像使用。

实例中的文件操作使用常用的文件管理命令即可;常用的文件管理命令如下:

ls                                  #显示当前目录所有文件
ls /hy-tmp/                         #显示/hy-tmp/目录所有文件
cd /hy-tmp/                         #进入指定的/hy-tmp/目录
cd /root/                           #进入 /root 目录
cd /                                #进入 / 目录
mkdir /hy-tmp/datafile              #在/hy-tmp/下创建data目录
mkdir /root/data                    #在/root/目录下创建data目录
mkdir data                          #在当前目录创建data目录
touch datafile                      #在当前目录下创建datafile文件
touch /hy-tmp/datafile              #在/hy-tmp/目录下创建datafile文件
mv datafile /hy-tmp/                #移动当前目录中的datafile文件到/hy-tmp/目录中 
mv /root/datafile /hy-tmp/          #移动/root/datafile文件到/hy-tmp/目录中
mv /hy-tmp/datafile ./              #移动/hy-tmp/datafile文件到当前目录
cat /hy-tmp/datafile                #查看/hy-tmp/datafile文件内容
cp /hy-tmp/datafile ./              #复制/hy-tmp/datafile文件到当前目录
cp /hy-tmp/datafile /root/          #复制/hy-tmp/datafile文件到/root/目录
rm /hy-tmp/datafile                 #删除/hy-tmp/datafile目录中的文件
rm -f /hy-tmp/data                  #删除/hy-tmp/data目录 
ps -ef                              #查看当前实例中所运行的所有进程
ps -ef | grep python                #查看丹铅实例中所运行的python进程
vim /hy-tmp/datafile                #编辑/hy-tmp/datafile文件

/hy-tmp使用

/hy-tmp使用提示

/hy-tmp目录为实例所挂载机器的本地磁盘,该磁盘多数为SSD,相比其它几种数据存储方式,/hy-tmp读写效率最高,非常适合用来存储数据集。

/hy-tmp通常用来存储数据集,/hy-tmp目录也属于Linux中的文件系统,一样可以通过常用的文件管理命令直接进行操作。

#查看/hy-tmp目录的总空间、已用空间、可用空间
df -hT | grep -w /hy-tmp | awk '{print "/hy-tmp总空间: "$3, "\n/hy-tmp已用空间: "$4, "\n/hy-tmp可用空间: "$5}'

/hy-nas使用

/hy-nas使用提示

/hy-nas目录为具备共享存储的实例所挂载的磁盘,每个用户在/hy-nas中所写入的数据都是私有的,不会进行共享,请放心使用,/hy-nas适合近期经常使用的数据,不希望频繁通过 个人数据 下载到本地,可以将数据存到 /hy-nas 共享存储。

/hy-nas目录为远程存储,也属于Linux中的文件系统,挂载到实例中的/hy-nas目录,也可以通过常用的文件管理命令直接进行操作。

个人数据使用

个人数据提示

个人数据存储的数据将会存储到云盘,个人电脑可以先将较大的数据通过OSS命令上传至个人数据,然后在实例中通过OSS命令进行下载,将个人数据作为中转站。

个人数据为云盘,并没有挂载到实例中,只能通过OSS命令登陆后进行上传文件、下载文件、创建文件、删除文件等常规操作;个人数据主要由OSS命令进行操作,关于OSS常用操作可以参考下面指令; 同样可以参考平台平台录制的如何使用OSS命令传输数据视频进行使用。

#通过OSS命令登陆个人数据
~# oss login
Username:139********
Password:**********
139******** login successfully!
#列出个人数据中的目录文件
oss ls -s -d oss://
#返回如下
Listing objects .

Folder list:
oss://dataset/      #个人数据中的dataset目录
oss://

Object list:
oss://ctpn.zip      #个人数据中的ctpn.zip文件
oss://data_scene_flow_calib.zip #个人数据中的data_scene_flow_calib.zip文件

Folder number is: 2
File number is: 2

#列出个人数据中指定目录下的文件
oss ls -s -d oss://dataset/
#返回如下
Listing objects .

Folder list:
oss://dataset/

Object list:                #展示个人数据中/dataset/目录下的所有文件
oss://dataset/ctpn.zip      #个人数据中/dataset/目录下的ctpn.zip文件

Folder number is: 1
File number is: 1

上面两条指令分别查看了个人数据中 / 目录的所有文件以及个人数据中 /dataset/ 目录下的所有文件,这些文件正对应 我的数据OSS存储中的文件以及目录,如下图所示:

#在个人数据中创建目录
oss mkdir oss://dataset_1

#在个人数据中递归创建目录
oss mkdir oss://dataset_2/file2

#在个人数据中删除目录
oss rm oss://dataset_1

#把当前目录中的test_fio.tar.gz压缩包上传至个人数据中的dataset目录中
oss cp test_fil.tar.gz oss://dataset/

#把个人数据中dataset目录下的test_fio.tar.gz文件下载到当前目录
oss cp oss://dataset/test_fio.tar.gz ./

公共数据集使用

公共数据集提示

公共数据集则是大家在平台论坛中所提出的数据集下载需求,平台下载后同步到公共数据集为大家使用。永久免费;也可以在控制台中实例与数据*中查看数据集列表,数据集名称搜索是模糊搜索,数据集名称和数据集文件夹同名,没有空白字符。搜索时可以输入数据集名称的一个单词或者数据集缩写来查找。

公共数据集也属于云盘,不过公共数据集挂载到了实例中,挂载实例中的目录位于/hy-public,大家有两种方式可以使用公共数据集; 同样可以参考平台平台录制的如何使用公共数据集视频进行使用。

  1. 通过OSS命令使用数据集
  2. 通过常用文件操作命令使用数据集

通过OSS命令使用数据集

#通过OSS命令登陆
~# oss login
Username:139********
Password:**********
139******** login successfully!

#查看所有公共数据集
~# oss ls -public -s -d oss://

#查看指定公共数据集
~# oss ls -public -s -d oss://TrackingNet/

#下载公共数据集中的TrackingNet目录下面的TEST到/hy-tmp/目录
~# oss cp -r -f -public oss://TrackingNet/TEST /hy-tmp/

#查看下载完成的数据集
~# ls /hy-tmp/

通过常用文件操作命令使用数据集

公共数据集也挂载到了实例中,被挂载到实例中的/hy-public/目录

#查看/hy-public目录下所有的数据集
~# ls /hy-public/

#复制/hy-publnic/目录下中名称为TrackingNet的数据集到/hy-tmp目录进行训练
~# cp -rf /hy-public/TrackingNet /hy-tmp/