Reindexando um arquivo CSV grande

Analisei as respostas neste tópico útil , mas meu problema parece ser diferente o suficiente para que eu não consiga pensar em uma boa resposta (pelo menos com sed).

Eu tenho um arquivo CSV grande (mais de 200 GB) com linhas parecidas com a seguinte:

<alphanumerical_identifier>,<number>

onde <alphanumerical_identifier>é único em todo o arquivo. Eu gostaria de criar um arquivo separado que substitua a primeira coluna por um índice , ou seja,

<index>,<number>

para que possamos obter:

1, <number>
2, <number>
3, <number>

Pode awkgerar um índice crescente sem carregar o arquivo completo na memória?

Como o índice aumenta monotonicamente, pode ser ainda melhor simplesmente descartá-lo. A solução para isso seria tão diferente ?, ou seja:

<number>
<number>
<number>

Não é perto de um terminal para testar, mas e o nlcomando muitas vezes esquecido ? Algo como:

cut -f 2 -d , original.csv | nl -w 1 -p -s , > numbered.csv

Aqui estão algumas abordagens, mas nenhuma abordará a velocidade da solução cute nlacima:

1. awk

   awk -F, '{$1=NR;print $1","$2;}' file.csv > newfile.csv

2. Perl

   perl -pe 's/[^,]+/$./' file.csv > newfile.csv

   ou

   perl -F, -ane '$F[0]=$.; print join ",", @F' file.csv

3. Shell (mas eu não o recomendo para um arquivo 200G, isso levará séculos)

   i=1; while IFS=, read foo num; do 
           printf "%d,%s\n" $((i++)) $num; 
   done < file.csv > newfile.csv

As soluções acima são classificadas em ordem de velocidade. Eu testei no meu laptop e um arquivo de 40M e eles tiraram (média de 10 execuções) 2,22282 (awk), 2,4555 (1º perl), 3,1825s (2º perl) e um impressionante 48.6035s para o shell. A solução cute a nlsolução mais inteligentes que você já possui foram cerca de 4 vezes mais rápidas a 0,6078s.