Redis: mostra o tamanho / tamanho do banco de dados para as chaves

Minha instância do redis parece estar ficando muito grande e eu gostaria de descobrir qual dos vários bancos de dados que tenho nele consome quanta memória. O INFOcomando do Redis apenas me mostra o tamanho total e o número de chaves por banco de dados, o que não me dá muita percepção ... Portanto, quaisquer ferramentas / ideias que me forneçam mais informações ao monitorar o servidor redis seriam bem-vindas.

A documentação do Redis não me mostra nenhum comando que possa retornar a memória consumida de certas chaves, então eu acho que se algum código com erros escreveria muito "lixo" para redis, isso poderia ser realmente difícil de encontrar ...

Então, minha solução para meu próprio problema: depois de brincar redis-clium pouco mais, descobri que isso DEBUG OBJECT <key>revela algo como o serializedlengthof key, que na verdade era algo que eu estava procurando ...

Para um banco de dados inteiro, você precisa agregar todos os valores para o KEYS *que não deve ser muito difícil com uma linguagem de script de sua escolha ...

O ruim é que redis.io não tem muitas informações sobre o DEBUG OBJECT.

A solução dos comentários merece sua própria resposta:

redis-cli --bigkeys

MEMORY USAGE key comando fornece o número de bytes que uma chave e seu valor requerem para serem armazenados na RAM.

O uso relatado é o total de alocações de memória para dados e despesas administrativas que uma chave seu valor exige (documentação de redis da fonte)

Dê uma olhada neste projeto, ele produz algumas estatísticas interessantes sobre espaços-chave com base em regexs e prefixos. Ele usa o DEBUG OBJECTcomando e verifica o banco de dados, identificando grupos de chaves e estimando a porcentagem de espaço que estão ocupando.

https://github.com/snmaynard/redis-audit

A saída é semelhante a esta:

Summary  

---------------------------------------------------+--------------+-------------------+---------------------------------------------------  
Key                                                | Memory Usage | Expiry Proportion | Last Access Time                                    
---------------------------------------------------+--------------+-------------------+---------------------------------------------------  
notification_3109439                               | 88.14%       | 0.0%              | 2 minutes                               
user_profile_3897016                               | 11.86%       | 99.98%            | 20 seconds  
---------------------------------------------------+--------------+-------------------+---------------------------------------------------  

Ou este: https://github.com/sripathikrishnan/redis-rdb-tools que faz uma análise completa em todo o keyspace analisando um arquivo dump.rdb offline. Este também funciona bem. Ele pode fornecer o tamanho médio / mínimo / máximo para as entradas em seu banco de dados, e até fará isso com base em um prefixo.

Você pode achar muito útil experimentar as chaves Redis e agrupá-las por tipo. Salvatore escreveu uma ferramenta chamada redis-sampler que emite cerca de 10.000 RANDOMKEYcomandos seguidos por TYPEteclas recuperadas. Em questão de segundos ou minutos, você deve obter uma visão bastante precisa da distribuição dos tipos de chave.

Eu escrevi uma extensão (infelizmente não em qualquer lugar de código aberto porque é relacionada ao trabalho), que adiciona um pouco de introspecção de nomes de chave via regexs que dão uma ideia de quais tipos de chaves de aplicativo (de acordo com qualquer estrutura de nomenclatura que você usando), são armazenados no Redis. Combinado com a saída mais geral do redis-sampler, isso deve lhe dar uma ideia extremamente boa do que está acontecendo.

Talvez você possa fazer alguma introspecção no arquivo db. O protocolo é relativamente simples (mas não bem documentado), então você pode escrever um analisador para ele para determinar quais chaves individuais estão ocupando muito espaço.

Novas sugestões:

Já experimentou usar MONITORpara ver o que está sendo escrito, ao vivo? Talvez você possa encontrar o problema com os dados em movimento.

Você pode usar o aplicativo .net https://github.com/abhiyx/RedisSizeCalculator para calcular o tamanho da chave redis,

Sinta-se à vontade para dar seus comentários sobre o mesmo

Eu geralmente prefiro o método de amostragem de chave para solucionar esses cenários.

redis-cli -p 6379 -n db_number --bigkeys

Por exemplo:-

redis-cli -p 6370 -n 0 --bigkeys

Que tal redis-cli get KEYNAME | wc -c