Perguntas com a marcação «h5py»

Arrays numpy de entrada e saída para h5py

Eu tenho um código Python cuja saída é uma matriz dimensionada, cujas entradas são todas do tipo float. Se eu salvar com a extensão, .dato tamanho do arquivo é da ordem de 500 MB. Eu li que o uso h5pyreduz consideravelmente o tamanho do arquivo. Então, digamos que eu tenha o array numpy 2D nomeado...

Existe uma velocidade de análise ou vantagem de uso de memória ao usar HDF5 para armazenamento de grande array (em vez de arquivos binários simples)?

Estou processando grandes matrizes 3D, que frequentemente preciso dividir de várias maneiras para fazer uma variedade de análises de dados. Um "cubo" típico pode ter cerca de 100 GB (e provavelmente ficará maior no futuro) Parece que o formato de arquivo recomendado típico para grandes conjuntos...