Em todo lugar que vejo alguém precisando obter uma lista exclusiva e classificada, eles sempre acessam sort | uniq. Eu nunca vi nenhum exemplo em que alguém use sort -u. Por que não? Qual é a diferença e por que é melhor usar o uniq do que o sinalizador exclusivo para
Eu realmente gosto de usar control+rpara pesquisar recursivamente meu histórico de comandos. Encontrei algumas boas opções que gosto de usar: # ignore duplicate commands, ignore commands starting with a space export HISTCONTROL=erasedups:ignorespace # keep the last 5000 entries export...
$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ O resultado que eu preciso é exibir todas as linhas do arquivo original, removendo todas as duplicatas (não apenas as consecutivas),...
Esse alinhamento remove linhas duplicadas da entrada de texto sem pré-classificação. Por exemplo: $ cat >f q w e w r $ awk '!a[$0]++' <f q w e r $ O código original que encontrei nas internets dizia: awk '!_[$0]++' Isso foi ainda mais desconcertante para mim, pois eu _tive um...
Aqui estão os comandos em um arquivo aleatório do pastebin : wget -qO - http://pastebin.com/0cSPs9LR | wc -l 350 wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u...
Existe uma maneira de encontrar todos os arquivos em um diretório com nomes de arquivos duplicados, independentemente da caixa (maiúscula e / ou
Minha pergunta é semelhante a essa pergunta, mas com algumas restrições diferentes: Eu tenho uma grande lista de \npalavras delimitada - uma palavra por linha. O tamanho dos arquivos varia de 2 GB a 10 GB. Preciso remover todas as linhas duplicadas. O processo pode classificar a lista durante o...
Encontrei esse caso de uso hoje. Parece simples à primeira vista, mas brincar com sort, uniq, sede awkrevelou que é trivial. Como posso excluir todos os pares de linhas duplicadas? Em outras palavras, se houver um número par de duplicatas de uma determinada linha, exclua todas elas; se houver um...
Eu tenho algum código antigo de 2003, que usa a -topção de uniqcomando. Ele gera um erro, já que essa opção provavelmente não é mais suportada. Aqui está a peça que usa o comando: egrep -n "{ IA32_OP" ia32-decode.c | \ awk '{ print $1 $3 $4 }' | \ sort -t '(' +1 | \ uniq -t ':' -f 1 | \ sed...
Eu tenho um arquivo grande no seguinte formato: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2 0 2 1022 4 5 2 1030 0 1 2 1030 5 0 2 1031 4 4 Se os valores na coluna 2 corresponderem, quero somar os valores nas colunas 3 e 4 de ambas as linhas, senão apenas a soma dos valores na linha...
Eu tenho um arquivo com uma coluna com nomes que se repetem várias vezes cada. Quero condensar cada repetição em uma, mantendo outras repetições com o mesmo nome que não sejam adjacentes a outras repetições com o mesmo nome. Por exemplo, eu quero virar o lado esquerdo para o lado direito: Golgb1...
O que está acontecendo no seguinte snippet de código? Não estou obtendo minha saída esperada. Eu acho que foi um bug, mas acontece em 2 programas diferentes (uniq e sort), então eu suspeito que isso tenha algo a ver com ... bem, eu não sei o que ... daí a pergunta. Os 3 primeiros (de 4)...
Eu tenho um arquivo de texto grande (1,5 G), Quero saber qual é a ferramenta mais rápida e confiável no Linux. Eu costumo usar: awk '!x[$0]++' file.txt Mas quando eu uso o htopcomando, vejo que meu uso de memória está aumentando. Quero saber qual é a mais rápida e confiável para arquivos...
Se eu tiver uma string "1 2 3 2 1" - ou uma matriz [1,2,3,2,1] - como posso selecionar os valores exclusivos, ou seja, "1 2 3 2 1" produces "1 2 3" ou [1,2,3,2,1] produces [1,2,3] Semelhante ao uniq, mas o uniq parece funcionar em linhas inteiras, não em padrões dentro de uma linha...
Estou tentando um ingênuo: $ cat * | sort -u > /tmp/bla.txt que falha com: -bash: /bin/cat: Argument list too long Portanto, para evitar uma solução boba como (cria um enorme arquivo temporário): $ find . -type f -exec cat {} >> /tmp/unsorted.txt \; $ cat /tmp/unsorted.txt | sort -u...