Removendo linhas duplicadas no vi?

Eu tenho um arquivo de texto que contém uma longa lista de entradas (uma em cada linha). Algumas delas são duplicadas, e eu gostaria de saber se é possível (e se sim, como) remover as duplicatas. Estou interessado em fazer isso no vi / vim, se possível.

Se você estiver bem em classificar seu arquivo, poderá usar:

:sort u

Tente o seguinte:

:%s/^\(.*\)\(\n\1\)\+$/\1/

Ele procura por qualquer linha seguida imediatamente por uma ou mais cópias de si mesma e a substitui por uma única cópia.

Faça uma cópia do seu arquivo antes de tentar. Não foi testado.

Na linha de comando, faça:

sort file | uniq > file.new

awk '!x[$0]++' yourfile.txtse você deseja preservar o pedido (ou seja, a classificação não é aceitável). Para invocá-lo do vim, :!pode ser usado.

g/^\(.*\)$\n\1/d

Funciona para mim no Windows. Porém, as linhas devem ser classificadas primeiro.

Eu combinaria duas das respostas acima:

go to head of file
sort the whole file
remove duplicate entries with uniq

1G
!Gsort
1G
!Guniq

Se você estava interessado em ver quantas linhas duplicadas foram removidas, use control-G antes e depois para verificar o número de linhas presentes no seu buffer.

Selecione as linhas no modo de linha visual ( Shift+ v) e, em seguida :!uniq. Isso só pega duplicatas que vêm uma após a outra.

Sobre como o Uniq pode ser implementado no VimL, ​​procure o Uniq em um plugin que estou mantendo . Você verá várias maneiras de implementá-lo, fornecidas na lista de discussão do Vim.

Caso contrário, :sort ué realmente o caminho a percorrer.

:%s/^\(.*\)\(\n\1\)\+$/\1/gec

ou

:%s/^\(.*\)\(\n\1\)\+$/\1/ge

esta é a minha resposta para você, ele pode remover várias linhas duplicadas e manter apenas uma que não seja removida!

Eu usaria !}uniq, mas isso só funciona se não houver linhas em branco.

Para cada linha em um uso arquivo: :1,$!uniq.

Esta versão remove apenas linhas repetidas que são contíguas. Quero dizer, apenas exclui linhas repetidas consecutivas. Usando o mapa fornecido, a função nota bagunçar as linhas em branco. Mas se alterar o REGEX para corresponder ao início da linha, ^ele também removerá as linhas em branco duplicadas.

" function to delete duplicate lines
function! DelDuplicatedLines()
    while getline(".") == getline(line(".") - 1)
        exec 'norm! ddk'
    endwhile
    while getline(".") == getline(line(".") + 1)
        exec 'norm! dd'
    endwhile
endfunction
nnoremap <Leader>d :g/./call DelDuplicatedLines()<CR>

Um método alternativo que não usa o vi / vim (para arquivos muito grandes) é da linha de comando do Linux use sort e uniq:

sort {file-name} | uniq -u

Isso funcionou para mim para ambos .csve.txt

awk '!seen[$0]++' <filename> > <newFileName>

Explicação: A primeira parte do comando imprime linhas exclusivas e a segunda parte, ou seja, após a seta do meio é salvar a saída da primeira parte.

awk '!seen[$0]++' <filename>

>

<newFileName>