pesquise, remova duplicatas e marge para um arquivo

0

Qual será a minha melhor maneira de pesquisar e remover duplicados de mais de 50 GB de arquivos de texto e mesclá-los em um? Eu acho que um aplicativo GUI irá travar, então eu preciso de um estilo CLI com suporte a threading ou uma maneira de usar o linux.

windows linux merge find-and-replace Rachel Nark
fonte
Deseja que cada coleção de duplicatas seja mesclada ou quis dizer que deseja mesclar todos os arquivos de texto restantes em um arquivo no final deste procedimento?
Iglvzx
Eu gostaria de mesclar todos os arquivos de texto em um sem duplicatas
Rachel Nark

Respostas:

0

Aqui está uma postagem que pode ajudá-lo, mas em pequena escala você pode escrever seu próprio script para lidar com um grande número de arquivos. Esta postagem também pode ajudar a usar o comando de classificação

mina.kolta
fonte
0

O Auslogics Duplicate File Finder é gratuito e não deve ter problemas com 50 GB de arquivos de texto. Certifique-se de fazer o download direto do site para evitar o downloader CNET e não aceitar a barra de ferramentas Auslogics. É bastante intuitivo e fácil de se livrar de duplicatas.

Para concatenar seus arquivos de texto no Windows, você pode tentar isso em uma janela do cmd como administrador:

copiar * .txt bigfile.txt

O que copiará todos os seus arquivos de texto em um grande arquivo. Não faço ideia se isso funcionará com o volume de arquivos que você possui.

BJ292
fonte