Como ler de stdin linha por linha no nó

177

Eu estou olhando para processar um arquivo de texto com o nó usando uma chamada de linha de comando como:

node app.js < input.txt

Cada linha do arquivo precisa ser processada individualmente, mas uma vez processada, a linha de entrada pode ser esquecida.

Usando o ouvinte em dados do stdin, recebo o vapor de entrada dividido por um tamanho de byte, então configurei isso.

process.stdin.resume();
process.stdin.setEncoding('utf8');

var lingeringLine = "";

process.stdin.on('data', function(chunk) {
    lines = chunk.split("\n");

    lines[0] = lingeringLine + lines[0];
    lingeringLine = lines.pop();

    lines.forEach(processLine);
});

process.stdin.on('end', function() {
    processLine(lingeringLine);
});

Mas isso parece tão desleixado. Ter que massagear o primeiro e o último itens da matriz de linhas. Não existe uma maneira mais elegante de fazer isso?

Matt R. Wilson
fonte

Respostas:

207

Você pode usar o módulo readline para ler stdin linha por linha:

var readline = require('readline');
var rl = readline.createInterface({
  input: process.stdin,
  output: process.stdout,
  terminal: false
});

rl.on('line', function(line){
    console.log(line);
})
levi
fonte
3
Isso parece funcionar bem para inserir entradas manualmente no console, no entanto, quando passo um arquivo no comando, o arquivo é enviado para o stdout. Um inseto? readline é considerado instável neste momento.
Matt R. Wilson
1
Eu acho que você pode simplesmente mudar process.stdoutpara um fluxo gravável diferente - poderia ser tão simples quantooutput: new require('stream').Writable()
Jeff Sisson
3
Infelizmente, eu preciso do stdout. Deixei de fora da minha pergunta, mas estou tentando fazer com que o aplicativo seja utilizável como node app.js < input.txt > output.txt.
Matt R. Wilson
Aparentemente, isso é "por design" github.com/joyent/node/issues/4243#issuecomment-10133900 . Então, acabei fazendo o que você disse e forneci à opção de saída um fluxo gravável fictício, depois escrevi diretamente no fluxo stdout. Eu não gosto, mas funciona.
Matt R. Wilson
13
Parece que se você passar o argumento terminal: falsepara createInterface, ele corrige esse problema.
Jasoncrawford
61
// Work on POSIX and Windows
var fs = require("fs");
var stdinBuffer = fs.readFileSync(0); // STDIN_FILENO = 0
console.log(stdinBuffer.toString());
Zealic
fonte
3
Você poderia incluir alguns detalhes? Já existe um altamente cotados aceita resposta
jhhoff02
2
Isso não funciona para mim (nó v9.2.0, Windows). Error: EISDIR: illegal operation on a directory, fstat at tryStatSync (fs.js: 534: 13) `
AlexChaffee
2
Trabalhou para mim no nó v6.11.2, OSX.
tiffon 27/01
3
@AlexChaffee: Parece haver um bug no Windows (ainda presente na v9.10.1) se não houver entrada stdin ou se o stdin estiver fechado - consulte este problema do GitHub . Para além disto, no entanto, a solução faz o trabalho no Windows.
usar o seguinte comando
3
funciona muito bem e é o mais curto de longe, poderia torná-lo mais curto ao fazerfs.readFileSync(0).toString()
localhostdotdev
56

readlinefoi projetado especificamente para funcionar com o terminal (ou seja process.stdin.isTTY === true). Existem muitos módulos que fornecem funcionalidade dividida para fluxos genéricos, como divisão . Isso torna as coisas super fáceis:

process.stdin.pipe(require('split')()).on('data', processLine)

function processLine (line) {
  console.log(line + '!')
}
vkurchatkin
fonte
6
não, não é. Se você não quer ler linha por linha, você não precisa de nada
vkurchatkin
6
Dica: se você deseja executar algum código após processar todas as linhas, adicione .on('end', doMoreStuff)após a primeira .on(). Lembre-se de que, se você escrever o código normalmente após a instrução .on(), esse código será executado antes que qualquer entrada seja lida, porque o JavaScript não é síncrono.
Rory O'Kane
14
#!/usr/bin/env node

const EventEmitter = require('events');

function stdinLineByLine() {
  const stdin = new EventEmitter();
  let buff = "";

  process.stdin
    .on('data', data => {
      buff += data;
      lines = buff.split(/[\r\n|\n]/);
      buff = lines.pop();
      lines.forEach(line => stdin.emit('line', line));
    })
    .on('end', () => {
      if (buff.length > 0) stdin.emit('line', buff);
    });

  return stdin;
}

const stdin = stdinLineByLine();
stdin.on('line', console.log);
simonepri
fonte
0

compartilhando por outros:

ler fluxo linha por linha, deve ser bom para arquivos grandes canalizados para stdin, minha versão:

var n=0;
function on_line(line,cb)
{
    ////one each line
    console.log(n++,"line ",line);
    return cb();
    ////end of one each line
}

var fs = require('fs');
var readStream = fs.createReadStream('all_titles.txt');
//var readStream = process.stdin;
readStream.pause();
readStream.setEncoding('utf8');

var buffer=[];
readStream.on('data', (chunk) => {
    const newlines=/[\r\n]+/;
    var lines=chunk.split(newlines)
    if(lines.length==1)
    {
        buffer.push(lines[0]);
        return;
    }   

    buffer.push(lines[0]);
    var str=buffer.join('');
    buffer.length=0;
    readStream.pause();

    on_line(str,()=>{
        var i=1,l=lines.length-1;
        i--;
        function while_next()
        {
            i++;
            if(i<l)
            {
                return on_line(lines[i],while_next);
            }
            else
            {
                buffer.push(lines.pop());
                lines.length=0;
                return readStream.resume();
            }
        }
        while_next();
    });
  }).on('end', ()=>{
      if(buffer.length)
          var str=buffer.join('');
          buffer.length=0;
        on_line(str,()=>{
            ////after end
            console.error('done')
            ////end after end
        });
  });
readStream.resume();
Shimon Doodkin
fonte
-1

No meu caso, o programa (elinks) retornou linhas que pareciam vazias, mas na verdade tinham caracteres terminais especiais, códigos de controle de cores e backspace; portanto, as grepopções apresentadas em outras respostas não funcionaram para mim. Então, eu escrevi esse pequeno script no Node.js. Liguei para o arquivo tight, mas esse é apenas um nome aleatório.

#!/usr/bin/env node

function visible(a) {
    var R  =  ''
    for (var i = 0; i < a.length; i++) {
        if (a[i] == '\b') {  R -= 1; continue; }  
        if (a[i] == '\u001b') {
            while (a[i] != 'm' && i < a.length) i++
            if (a[i] == undefined) break
        }
        else R += a[i]
    }
    return  R
}

function empty(a) {
    a = visible(a)
    for (var i = 0; i < a.length; i++) {
        if (a[i] != ' ') return false
    }
    return  true
}

var readline = require('readline')
var rl = readline.createInterface({ input: process.stdin, output: process.stdout, terminal: false })

rl.on('line', function(line) {
    if (!empty(line)) console.log(line) 
})
exebook
fonte