Arrays numpy de entrada e saída para h5py

Eu tenho um código Python cuja saída é uma matriz dimensionada, cujas entradas são todas do tipo float. Se eu salvar com a extensão, .dato tamanho do arquivo é da ordem de 500 MB. Eu li que o uso h5pyreduz consideravelmente o tamanho do arquivo. Então, digamos que eu tenha o array numpy 2D nomeado A. Como faço para salvá-lo em um arquivo h5py? Além disso, como faço para ler o mesmo arquivo e colocá-lo como uma matriz numpy em um código diferente, pois preciso fazer manipulações com a matriz?

h5py fornece um modelo de conjuntos de dados e grupos . O primeiro é basicamente arrays e o último você pode pensar em diretórios. Cada um tem um nome. Você deve consultar a documentação da API e exemplos:

http://docs.h5py.org/en/latest/quick.html

Um exemplo simples em que você está criando todos os dados antecipadamente e deseja apenas salvá-los em um arquivo hdf5 seria algo como:

In [1]: import numpy as np
In [2]: import h5py
In [3]: a = np.random.random(size=(100,20))
In [4]: h5f = h5py.File('data.h5', 'w')
In [5]: h5f.create_dataset('dataset_1', data=a)
Out[5]: <HDF5 dataset "dataset_1": shape (100, 20), type "<f8">

In [6]: h5f.close()

Você pode então carregar esses dados de volta usando: '

In [10]: h5f = h5py.File('data.h5','r')
In [11]: b = h5f['dataset_1'][:]
In [12]: h5f.close()

In [13]: np.allclose(a,b)
Out[13]: True

Definitivamente, verifique a documentação:

http://docs.h5py.org

A gravação em arquivo hdf5 depende de h5py ou pytables (cada um possui uma API python diferente que se baseia na especificação do arquivo hdf5). Você também deve dar uma olhada em outros formatos binários simples fornecidas por numpy nativamente tais como np.save, np.savezetc:

http://docs.scipy.org/doc/numpy/reference/routines.io.html

Uma maneira mais limpa de abrir / fechar arquivos e evitar vazamentos de memória:

Preparação:

import numpy as np
import h5py

data_to_write = np.random.random(size=(100,20)) # or some such

Escrever:

with h5py.File('name-of-file.h5', 'w') as hf:
    hf.create_dataset("name-of-dataset",  data=data_to_write)

Ler:

with h5py.File('name-of-file.h5', 'r') as hf:
    data = hf['name-of-dataset'][:]