Quais são as opções de compactação para armazenar grandes quantidades de texto no Postgres?

Preciso armazenar grandes quantidades de texto no Postgres, principalmente logs de comandos e a saída de comandos de execução longa e preciso saber se existem algumas configurações que podem ajudar a compactar os dados de forma transparente com uma ferramenta como zlib ou outros métodos nativos de economia de espaço .

Os dados são principalmente dados somente leitura, portanto, a gravação não é um problema.

postgresql compression vfclists
fonte

do manual : "

Seqüências

No entanto, usamos um algoritmo de compactação de taxa bastante baixa, porque ele deve ter um baixo custo de CPU. Portanto, ainda vale a pena fazer outra forma de compressão e definir o EXTERNALarmazenamento na coluna.

Craig Ringer

@CraigRinger Quando você diz outra forma de compactação, você quer dizer definir algumas opções adicionais do Postgres ou compilar algum módulo adicional, seja uma biblioteca pronta ou uma de sua preferência?

vfclists

Respostas:

Por padrão, o Postgres compacta automaticamente tudo o que é TEXTO. Ele usa um algoritmo lzcompress simples:

https://www.postgresql.org/docs/9.3/storage-toast.html

Existe um plug-in que provavelmente evoluirá para o suporte à compactação LZ4 para TEXT:

https://github.com/zilder/pg_lz4

Há um FDW que também suporta compactação:

https://www.citusdata.com/blog/2014/04/03/columnar-store-for-analytics/

kworr
fonte