Estou procurando uma maneira fácil (um comando ou uma série de comandos, provavelmente envolvendo find ) de encontrar arquivos duplicados em dois diretórios e substituir os arquivos em um diretório por links físicos dos arquivos no outro diretório. Aqui está a situação: Este é um servidor de...
Não tenho experiência com btrfs, mas é anunciado que é possível desduplicar arquivos. No meu aplicativo, eu precisaria duplicar árvores de diretório inteiro. Pelo que aprendi, o btrfs apenas desduplica em algumas postagens, não imediatamente. Mesmo o uso cpnão parece desencadear nenhuma...
Procurando por ferramentas de desduplicação no Linux, há muitas, veja, por exemplo, esta página wiki . Quase todos os scripts fazem apenas a detecção, imprimindo os nomes de arquivos duplicados ou removendo os arquivos duplicados vinculando-os a uma única cópia. Com o surgimento do btrfs, haveria...
Eu tenho ~ 30k arquivos. Cada arquivo contém ~ 100k linhas. Uma linha não contém espaços. As linhas em um arquivo individual são classificadas e duplicadas gratuitamente. Meu objetivo: quero encontrar todas as linhas duplicadas em dois ou mais arquivos e também os nomes dos arquivos que continham...
Quais são as soluções disponíveis para desduplicação em nível de bloco ou mais detalhada? Existem arquivos baseados - com a abordagem "Copiar na gravação". Estou procurando pelo nível de bloco "copy-on-write", para que possa procurar periodicamente por blocos comuns, ou - preferencialmente -...
Esta pergunta / resposta tem algumas boas soluções para excluir linhas idênticas em um arquivo, mas não funcionará no meu caso, pois as linhas duplicadas têm um carimbo de data / hora. É possível dizer ao awk para ignorar os primeiros 26 caracteres de uma linha na determinação de duplicatas?...
Como se pode gerar um arquivo tar, para que o conteúdo dos arquivos tarred seja alinhado em bloco, como nos arquivos originais, para que se possa beneficiar da desduplicação no nível do bloco ( https://unix.stackexchange.com/a/208847/9689 ) ? (Estou correto de que não há nada intrínseco ao formato...