Existe um Windows equivalente ao Unix uniq?

17

Preciso remover linhas duplicadas de um arquivo de texto, é simples no Linux usando

cat file.txt |sort | uniq

quando file.txt contém

aaa
bbb
aaa
ccc

Irá produzir

aaa
bbb
ccc

Existe um equivalente do Windows? ou como fazer isso no Windows?

windows sorting uniq Yu Jiaao
fonte

10

No Unix, você pode escrever comosort -u file.txt

jfs

1

Há também WSL que funciona muito bem, tanto quanto esse tipo de coisa vai

user2813274

Talvez você queira definir algo como solução, se não tiver mais perguntas?

Davidbaumann

31

O Sort-Objectcmdlet no PowerShell suporta uma -Uniqueopção que faz o mesmo que uniq:

Get-Content file.txt | Sort-Object -unique

Obviamente, devido à presença de aliases no PowerShell, você também pode escrever:

type file.txt | sort -unique

Além disso, há uma /uniqueopção não documentada no sort.exeWindows 10, portanto, isso deve funcionar no prompt de comando:

type file.txt | sort /unique

Yu Jiaao
fonte

1

Eu não acho que o comando do Windows ( sort.exe) suporte isso; parece um recurso do PowerShell embutido.

Ben Voigt

1

digite unsorted.txt | tipo -Unique> sorted.txt Isso realmente trabalho sob win10 e valores exclusivos writed para novo arquivo

Lixas

7

Surpreendentemente @BenVoigt, type file.txt | sort /uniquefunciona com opção de utilidade não documentada (pelo menos no Windows 10). Por outro lado, você está certo de que o exemplo fornecido é o PowerShell , de fato. /uniquesort.exeGet-Content file.txt | Sort-Object -unique

JosefZ

1

sort /uniqueerros Invalid switch.no Windows 7 Enterprise.

Don Cruickshank

1

@ JosefZ, a resposta especifica a opção usando "/" (barra) e não traço; a barra é o padrão do Windows para comandos no CMD, e nem todos os comandos permitem substituir uma barra por uma barra nas opções de comando. docs.microsoft.com/en-us/windows-server/administration/… para uma referência rápida mostra consistentemente barras. A resposta acima foi ótima, compartilhando um petisco pouco conhecido, embora eu não possa imaginar por que a opção "/ unique" não é documentada, pois é muito útil.

Debra

6

Existem portas do uniq que funcionam de maneira idêntica às versões gnu / coreutils. Eu pessoalmente uso a variação do GOW, mas o git para windows tem uma versão significativamente mais nova . Não é necessário cygwin. Para este último, você precisa procurar em / usr / bin

Como esses pacotes também contêm cat, sort e uniq - seu fluxo de trabalho deve ser praticamente idêntico e cat file.txt |sort | uniqdeve funcionar de maneira idêntica

Journeyman Geek
fonte

2

Você pode escrever facilmente o comando "uniq" sozinho. Salve isso em um arquivo em lotes "uniq.cmd" em algum lugar do seu% path% pode encontrá-lo (por exemplo, em% windir% \ system32). Esta versão NÃO diferencia maiúsculas de minúsculas:

@echo off
setlocal DisableDelayedExpansion
set "prev="
for /f "delims=" %%F in ('sort %*') do (
    rem "set" needs to be done without delayed expansion
    set "line=%%F"
    setlocal EnableDelayedExpansion
        set "line=!line:<=<!"
        if /i "!prev!" neq "!line!" echo(!line!
        set "prev=!line!"
    endlocal
)

Isso funciona com "uniq mytextfile" e "cat mytextfile | uniq"; como todas as entradas e argumentos são simplesmente passados para o comando de classificação.

A partir do Windows 7, você pode querer uma versão com distinção entre maiúsculas e minúsculas (a diferença não é a opção não documentada "sort / C" e não "if / i"):

@echo off
setlocal DisableDelayedExpansion
set "prev="
for /f "delims=" %%F in ('sort /C %*') do (
    rem "set" needs to be done without delayed expansion
    set "line=%%F"
    setlocal EnableDelayedExpansion
        set "line=!line:<=<!"
        if "!prev!" neq "!line!" echo(!line!
        set "prev=!line!"
    endlocal
)

Tom Stein
fonte

Legal, mas tem algumas falhas. Atualmente, falha com como conteúdo /?, ON, one ^ caretou bang!. Mas isso pode ser resolvido usando a técnica de expansão com atraso de alternância e echo(consulte: Dostips: ECHO. Falha ao fornecer texto ou linha em branco

jeb

Obrigado, o motivo para usar a técnica de expansão com atraso de alternância não era óbvio nem marcado. Editei meus exemplos para ser (quase) perfeito agora.

Tom Stein

0

Além da resposta de Yu Jiaao. Você pode invocar o sort-objectcmdlet do powershell em um prompt de comando como:

type file.txt | powershell -nop "$input | sort -unique"

snipsnipsnip
fonte

Existe um Windows equivalente ao Unix uniq?

Respostas: