数据使用¶
实例自身存储使用¶
实例自身存储提示
实例自身存储有20G的可用空间容量,可通过以下命令进行查询实例空间信息。
#查看实例自身空间的总空间、已用空间、可用空间
df -hT | grep -w / | awk '{print "实例总空间: "$3, "\n实例已用空间: "$4, "\n实例可用空间: "$5}'
#返回结果
实例总空间: 20G
实例已用空间: 45M
实例可用空间: 20G
实例中的文件操作使用常用的文件管理命令即可;常用的文件管理命令如下:
ls #显示当前目录所有文件
ls /hy-tmp/ #显示/hy-tmp/目录所有文件
cd /hy-tmp/ #进入指定的/hy-tmp/目录
cd /root/ #进入 /root 目录
cd / #进入 / 目录
mkdir /hy-tmp/datafile #在/hy-tmp/下创建data目录
mkdir /root/data #在/root/目录下创建data目录
mkdir data #在当前目录创建data目录
touch datafile #在当前目录下创建datafile文件
touch /hy-tmp/datafile #在/hy-tmp/目录下创建datafile文件
mv datafile /hy-tmp/ #移动当前目录中的datafile文件到/hy-tmp/目录中
mv /root/datafile /hy-tmp/ #移动/root/datafile文件到/hy-tmp/目录中
mv /hy-tmp/datafile ./ #移动/hy-tmp/datafile文件到当前目录
cat /hy-tmp/datafile #查看/hy-tmp/datafile文件内容
cp /hy-tmp/datafile ./ #复制/hy-tmp/datafile文件到当前目录
cp /hy-tmp/datafile /root/ #复制/hy-tmp/datafile文件到/root/目录
rm /hy-tmp/datafile #删除/hy-tmp/datafile目录中的文件
rm -f /hy-tmp/data #删除/hy-tmp/data目录
ps -ef #查看当前实例中所运行的所有进程
ps -ef | grep python #查看丹铅实例中所运行的python进程
vim /hy-tmp/datafile #编辑/hy-tmp/datafile文件
/hy-tmp使用¶
/hy-tmp使用提示
/hy-tmp
目录为实例所挂载机器的本地磁盘,该磁盘多数为SSD,相比其它几种数据存储方式,/hy-tmp
读写效率最高,非常适合用来存储数据集。
/hy-tmp
通常用来存储数据集,/hy-tmp目录也属于Linux中的文件系统,一样可以通过常用的文件管理命令直接进行操作。
#查看/hy-tmp目录的总空间、已用空间、可用空间
df -hT | grep -w /hy-tmp | awk '{print "/hy-tmp总空间: "$3, "\n/hy-tmp已用空间: "$4, "\n/hy-tmp可用空间: "$5}'
/hy-nas使用¶
/hy-nas使用提示
/hy-nas
目录为具备共享存储的实例所挂载的磁盘,每个用户在/hy-nas
中所写入的数据都是私有的,不会进行共享,请放心使用,/hy-nas
适合近期经常使用的数据,不希望频繁通过 个人数据 下载到本地,可以将数据存到 /hy-nas 共享存储。
/hy-nas
目录为远程存储,也属于Linux中的文件系统,挂载到实例中的/hy-nas
目录,也可以通过常用的文件管理命令直接进行操作。
个人数据使用¶
个人数据提示
个人数据
存储的数据将会存储到云盘,个人电脑可以先将较大的数据通过OSS命令上传至个人数据,然后在实例中通过OSS命令进行下载,将个人数据作为中转站。
个人数据
为云盘,并没有挂载到实例中,只能通过OSS命令登陆后进行上传文件、下载文件、创建文件、删除文件等常规操作;个人数据主要由OSS命令进行操作,关于OSS常用操作可以参考下面指令;
同样可以参考平台平台录制的如何使用OSS命令传输数据视频进行使用。
#通过OSS命令登陆个人数据
~# oss login
Username:139********
Password:**********
139******** login successfully!
#列出个人数据中的目录文件
oss ls -s -d oss://
#返回如下
Listing objects .
Folder list:
oss://dataset/ #个人数据中的dataset目录
oss://
Object list:
oss://ctpn.zip #个人数据中的ctpn.zip文件
oss://data_scene_flow_calib.zip #个人数据中的data_scene_flow_calib.zip文件
Folder number is: 2
File number is: 2
#列出个人数据中指定目录下的文件
oss ls -s -d oss://dataset/
#返回如下
Listing objects .
Folder list:
oss://dataset/
Object list: #展示个人数据中/dataset/目录下的所有文件
oss://dataset/ctpn.zip #个人数据中/dataset/目录下的ctpn.zip文件
Folder number is: 1
File number is: 1
上面两条指令分别查看了个人数据中 /
目录的所有文件以及个人数据中 /dataset/
目录下的所有文件,这些文件正对应 我的数据OSS存储中的文件以及目录,如下图所示:
#在个人数据中创建目录
oss mkdir oss://dataset_1
#在个人数据中递归创建目录
oss mkdir oss://dataset_2/file2
#在个人数据中删除目录
oss rm oss://dataset_1
#把当前目录中的test_fio.tar.gz压缩包上传至个人数据中的dataset目录中
oss cp test_fil.tar.gz oss://dataset/
#把个人数据中dataset目录下的test_fio.tar.gz文件下载到当前目录
oss cp oss://dataset/test_fio.tar.gz ./
公共数据集使用¶
公共数据集提示
公共数据集则是大家在平台论坛中所提出的数据集下载需求,平台下载后同步到公共数据集为大家使用。永久免费;也可以在控制台中实例与数据*中查看数据集列表,数据集名称搜索是模糊搜索,数据集名称和数据集文件夹同名,没有空白字符。搜索时可以输入数据集名称的一个单词或者数据集缩写来查找。
公共数据集
也属于云盘,不过公共数据集挂载到了实例中,挂载实例中的目录位于/hy-public
,大家有两种方式可以使用公共数据集;
同样可以参考平台平台录制的如何使用公共数据集视频进行使用。
- 通过OSS命令使用数据集
- 通过常用文件操作命令使用数据集
通过OSS命令使用数据集
#通过OSS命令登陆
~# oss login
Username:139********
Password:**********
139******** login successfully!
#查看所有公共数据集
~# oss ls -public -s -d oss://
#查看指定公共数据集
~# oss ls -public -s -d oss://TrackingNet/
#下载公共数据集中的TrackingNet目录下面的TEST到/hy-tmp/目录
~# oss cp -r -f -public oss://TrackingNet/TEST /hy-tmp/
#查看下载完成的数据集
~# ls /hy-tmp/
通过常用文件操作命令使用数据集
公共数据集也挂载到了实例中,被挂载到实例中的/hy-public/目录
#查看/hy-public目录下所有的数据集
~# ls /hy-public/
#复制/hy-publnic/目录下中名称为TrackingNet的数据集到/hy-tmp目录进行训练
~# cp -rf /hy-public/TrackingNet /hy-tmp/