Existem ferramentas projetadas especificamente para compactar dados científicos de ponto flutuante? Se uma função é suave, obviamente há muita correlação entre os números que representam essa função; portanto, os dados devem ser compactados bem. Compactar / compactar dados binários de ponto...
Uso o HDF5 há anos, mas à medida que o tamanho do conjunto de dados aumenta, estou começando a ter os mesmos problemas listados aqui http://cyrille.rossant.net/moving-away-hdf5/ Você pode me apontar para um formato como HDF5 com - Bom suporte para gravações paralelas - Suporte para acesso em...
TL, DR Qual é a melhor prática aceita nos círculos científicos da computação para armazenar grandes quantidades de dados hierarquicamente estruturados? Por exemplo, o SQL não funciona bem com grandes matrizes esparsas. Existe uma boa ferramenta disponível para estruturar, armazenar e analisar esse...
Não estou familiarizado com o formato de arquivo usado no HDF5, mas gostaria de saber se os arquivos HDF5 são adequados para o controle de revisão com o git (ou, por exemplo, Mercurial ou Subversion)? Acho que o que quero dizer é: os arquivos HDF5 são adequados para diferenças baseadas em linhas ou...