1 HDF5文件
- HDF5 是 Hierarchical Data Format version 5 的缩写，是一种用于存储和管理大量数据的文件格式
- 一个h5py文件可以看作是 “dataset” 和 “group” 二合一的容器
- dataset : 数据集，像 numpy 数组一样工作
- group : 包含了其它 dataset 和 其它 group
2 读取文件
以t2vec的 data/porto-vocab-dist-cell100.h5 为例
import h5py import numpy as np data_dir='/home/ruizhichai/t2vec/data/porto-vocab-dist-cell100.h5' file=h5py.File(data_dir,'r') #打开文件讯享网
2.1 keys:获取h5文件中所有组和数据集的名称
讯享网file.keys() #<KeysViewHDF5 ['D', 'V']>
2.2 visit：根据指定的函数来遍历.h5文件的组和数据集
file.visit(lambda x: print(x)) ''' D V '''2.3 读取每个数据集的内容
讯享网file['D'][:].shape,file['D'][:] ''' ((18866, 10), array([[ 0. , 0. , 0. , ..., 0. , 0. , 0. ], [ 0. , 0. , 0. , ..., 0. , 0. , 0. ], [ 0. , 0. , 0. , ..., 0. , 0. , 0. ], ..., [ 412., 400. , 316., ..., 223., 141., 200. ], [1486., 1389., 1476., ..., 447. , 100. , 0. ], [ 761., 707., 670., ..., 100. , 0. , 200. ]])) '''
3 写HDF5文件
data_dir='tst.h5' file=h5py.File(data_dir,'w') 3.1 创建组
讯享网grp_1=file.create_group('group_1') grp_2=file.create_group('group_2')
3.2 向组/file根目录写文件
lst1=np.arange(10) lst2=np.arange(5,8) lst3=np.arange(6,10,2) grp_1.create_dataset("lst1",data=lst1) grp_2.create_dataset("lst2",data=lst2) file.create_dataset("lst3",data=lst3) file.keys() #<KeysViewHDF5 ['group_1', 'group_2', 'lst3']> file['group_1'].keys() #<KeysViewHDF5 ['lst1']> file['group_1']['lst1'][:] #array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/62240.html