Desenhe aleatoriamente um certo número de linhas de um arquivo de dados

Eu tenho uma lista de dados, como

12345
23456
67891
-20000
200
600
20
...

Suponha que o tamanho desse conjunto de dados (ou seja, linhas de arquivo) seja N. Eu quero desenhar mlinhas aleatoriamente deste arquivo de dados. Portanto, a saída deve ser dois arquivos, um é o arquivo que inclui essas mlinhas de dados e o outro inclui N-mlinhas de dados.

Existe uma maneira de fazer isso usando um comando Linux?

Pode não ser a maneira mais eficiente, mas funciona:

shuf <file> > tmp
head -n $m tmp > out1
tail -n +$(( m + 1 )) tmp > out2

Com $mcontendo o número de linhas.

Esse script bash / awk escolhe linhas aleatoriamente e mantém a sequência original nos dois arquivos de saída.

awk -v m=4 -v N=$(wc -l <file) -v out1=/tmp/out1 -v out2=/tmp/out2 \
 'BEGIN{ srand()
         do{ lnb = 1 + int(rand()*N)
             if ( !(lnb in R) ) {
                 R[lnb] = 1
                 ct++ }
         } while (ct<m)
  } { if (R[NR]==1) print > out1 
      else          print > out2       
  }' file
cat /tmp/out1
echo ========
cat /tmp/out2

Saída, com base nos dados da pergunta.

12345
23456
200
600
========
67891
-20000
20

Como em todas as coisas do Unix, existe um utilitário para essa ^TM .

Programa do dia: split
splitdividirá um arquivo de várias maneiras, -bbytes, -llinhas, -nnúmero de arquivos de saída. Nós estaremos usando a -lopção Como você deseja escolher linhas aleatórias e não apenas a primeira m, sorto arquivo será aleatoriamente primeiro. Se você quiser ler sobre sort, consulte a minha resposta aqui .

Agora, o código real. É bem simples, na verdade:

sort -R input_file | split -l $m output_prefix

Isso criará dois arquivos, um com mlinhas e outro com N-mlinhas, nomeado output_prefixaae output_prefixab. Certifique-se de que mé o arquivo maior que você deseja ou obterá vários arquivos de comprimento m(e um com N % m).

Se você deseja garantir o uso do tamanho correto, aqui está um pequeno código para fazer isso:

m=10 # size you want one file to be
N=$(wc -l input_file)
m=$(( m > N/2 ? m : N - m ))
sort -R input_file | split -l $m output_prefix

Edit: Chegou ao meu conhecimento que algumas sortimplementações não têm uma -Rbandeira. Se você tiver perl, você pode substituir perl -e 'use List::Util qw/shuffle/; print shuffle <>;'.

Se você não se importa de reordenar as linhas e tiver o GNU coreutils (por exemplo, no Linux ou Cygwin não incorporado, não muito antigo desde que shufapareceu na versão 6.0), shuf("shuffle") reordena as linhas de um arquivo aleatoriamente. Assim, você pode embaralhar o arquivo e despachar as primeiras m linhas em um arquivo e o restante em outro.

Não existe uma maneira ideal de fazer esse envio. Você não pode simplesmente encadear heade tailporque headficaria mais à frente. Você pode usar split, mas não tem flexibilidade com relação aos nomes dos arquivos de saída. Você pode usar awk, é claro:

<input shuf | awk -v m=$m '{ if (NR <= m) {print >"output1"} else {print} }'

Você pode usar sed, o que é obscuro, mas possivelmente mais rápido, para arquivos grandes.

<input shuf | sed -e "1,${m} w output1" -e "1,${m} d" >output2

Ou você pode usar teepara duplicar os dados, se sua plataforma tiver /dev/fd; tudo bem se m for pequeno:

<input shuf | { tee /dev/fd/3 | head -n $m >output1; } 3>&1 | tail -n +$(($m+1)) >output2

Portably, você pode usar o awk para despachar cada linha por vez. Observe que o awk não é muito bom em inicializar seu gerador de números aleatórios; a aleatoriedade não é apenas definitivamente não adequada para criptografia, mas nem muito boa para simulações numéricas. A semente será a mesma para todas as invocações do awk em qualquer sistema dentro de um período de um segundo.

<input awk -v N=$(wc -l <input) -v m=3 '
    BEGIN {srand()}
    {
        if (rand() * N < m) {--m; print >"output1"} else {print >"output2"}
        --N;
    }'

Se você precisar de uma aleatoriedade melhor, poderá fazer o mesmo no Perl, que semeia seu RNG decentemente.

<input perl -e '
    open OUT1, ">", "output1" or die $!;
    open OUT2, ">", "output2" or die $!;
    my $N = `wc -l <input`;
    my $m = $ARGV[0];
    while (<STDIN>) {
        if (rand($N) < $m) { --$m; print OUT1 $_; } else { print OUT2 $_; }
        --$N;
    }
    close OUT1 or die $!;
    close OUT2 or die $!;
' 42

Assumindo m = 7e N = 21:

cp ints ints.bak
for i in {1..7}
do
    rnd=$((RANDOM%(21-i)+1))
    # echo $rnd;  
    sed -n "${rnd}{p,q}" 10k.dat >> mlines 
    sed -i "${rnd}d" ints 
done

Nota: Se você substituir 7por uma variável como $1ou $m, precisará usar seq, não a {from..to}notação -que não faz expansão de variável.

Ele funciona excluindo linha por linha do arquivo, que fica cada vez menor, de modo que o número da linha, que pode ser removido, precisa ficar cada vez menor.

Isso não deve ser usado para arquivos mais longos e para muitas linhas, pois para cada número, em média, o meio arquivo precisa ser lido para o 1º e todo o arquivo para o 2º código sed .