Como processar um arquivo no PowerShell linha por linha como um fluxo

Estou trabalhando com alguns arquivos de texto de vários gigabytes e quero fazer algum processamento de stream neles usando o PowerShell. É uma coisa simples, apenas analisar cada linha e extrair alguns dados, em seguida, armazená-los em um banco de dados.

Infelizmente, get-content | %{ whatever($_) }parece manter todo o conjunto de linhas neste estágio do tubo na memória. Também é surpreendentemente lento, levando muito tempo para realmente ler tudo.

Portanto, minha pergunta tem duas partes:

1. Como posso fazer com que ele processe o fluxo linha por linha e não mantenha tudo armazenado na memória? Eu gostaria de evitar o uso de vários GB de RAM para essa finalidade.
2. Como posso fazê-lo funcionar mais rápido? A iteração do PowerShell em um get-contentparece ser 100x mais lenta do que um script C #.

Espero que haja algo estúpido que estou fazendo aqui, como perder um -LineBufferSizeparâmetro ou algo assim ...

Se você estiver realmente prestes a trabalhar com arquivos de texto de vários gigabytes, não use o PowerShell. Mesmo se você encontrar uma maneira de lê-lo, o processamento mais rápido de uma grande quantidade de linhas será lento no PowerShell de qualquer maneira e você não pode evitar isso. Mesmo loops simples são caros, digamos, para 10 milhões de iterações (bastante reais no seu caso), temos:

# "empty" loop: takes 10 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) {} }

# "simple" job, just output: takes 20 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i } }

# "more real job": 107 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i.ToString() -match '1' } }

ATUALIZAÇÃO: se ainda não tiver medo, tente usar o leitor .NET:

$reader = [System.IO.File]::OpenText("my.log")
try {
    for() {
        $line = $reader.ReadLine()
        if ($line -eq $null) { break }
        # process the line
        $line
    }
}
finally {
    $reader.Close()
}

ATUALIZAÇÃO 2

Há comentários sobre códigos possivelmente melhores / mais curtos. Não há nada de errado com o código original fore não é um pseudocódigo. Mas a variante mais curta (mais curta?) Do ciclo de leitura é

$reader = [System.IO.File]::OpenText("my.log")
while($null -ne ($line = $reader.ReadLine())) {
    $line
}

System.IO.File.ReadLines()é perfeito para este cenário. Ele retorna todas as linhas de um arquivo, mas permite que você comece a iterar sobre as linhas imediatamente, o que significa que não é necessário armazenar todo o conteúdo na memória.

Requer .NET 4.0 ou superior.

foreach ($line in [System.IO.File]::ReadLines($filename)) {
    # do something with $line
}

http://msdn.microsoft.com/en-us/library/dd383503.aspx

Se você quiser usar o PowerShell direto, verifique o código abaixo.

$content = Get-Content C:\Users\You\Documents\test.txt
foreach ($line in $content)
{
    Write-Host $line
}