Escalabilidade de 'sort -u' para arquivos gigantescos

Qual é o limite de escalabilidade razoável de 'sort -u'? (nas dimensões "comprimento da linha", "quantidade de linhas", "tamanho total do arquivo"?)

Qual é a alternativa do Unix para arquivos que excedem isso na dimensão "quantidade de linhas"? (É claro que posso implementar facilmente um, mas me perguntei se há algo que pode ser feito com poucos comandos padrão do Linux.)

O sortque você encontra no Linux vem do pacote coreutils e implementa uma mesclagem R-Way Externa . Ele divide os dados em pedaços que podem ser manipulados na memória, os armazena em disco e os mescla. Os pedaços são feitos em paralelo, se a máquina tiver os processadores para isso.

Portanto, se houver um limite, é o espaço livre em disco que sortpode ser usado para armazenar os arquivos temporários a serem mesclados, combinados com o resultado.

Não posso falar de implementações específicas do fornecedor, mas a UNIX sortimplementação divide arquivos grandes em arquivos menores, classifica esses arquivos e combina os arquivos menores classificados em uma saída classificada agregada.

A única limitação é o espaço em disco para os arquivos menores criados intermediariamente por sort, mas os arquivos podem ser redirecionados para um diretório arbitrário configurando a variável de ambiente TMPDIR.

Com base em https://blog.mafr.de/2010/05/23/sorting-large-files/ e /unix//a/88704/9689 :

split -n l/20 input input-
for inpf in input-* ; do
    sort --parallel="$(nproc --all)" "${inpf}" > sorted-"{$inpf}"
done
sort -m sorted-input-* > sorted-input

Atualizar:

Das respostas acima, vemos que sortjá faz o que mencionou o trecho - ou seja, a fusão externa do R-Way . Então, afinal de contas, apenas:

sort --parallel="$(nproc --all)" -u input > output

Deve ser suficiente.

Minhas suposições atuais (sem verificar o código) sobre limites são:

• o comprimento máximo da linha é limitado pela quantidade de memória física. A classificação precisa encaixar pelo menos dois na memória
• quantidade de linhas - não conheço
• tamanho do arquivo - obviamente por sistema de arquivos
• quantidade de arquivos abertos em paralelo - dependendo do sistema operacional (Obrigado Diomidis Spinellis por apontar isso!)

(Esta resposta está marcada como wiki da comunidade - sinta-se incentivado a melhorá-la! :))