Digamos que eu tenha um arquivo de texto enorme (> 2 GB) e eu só quero catas linhas Xpara Y(por exemplo 57.890.000-57.890.010). Pelo que entendi, posso fazer isso headentrando em tailcontato ou vice-versa, ou seja, head -A /path/to/file | tail -B ou alternativamente tail -C /path/to/file |...
Um enorme arquivo de texto (com até 2 GiB) contém cerca de 100 duplicatas exatas de cada linha (inútil no meu caso, pois o arquivo é uma tabela de dados semelhante a CSV). O que eu preciso é remover todas as repetições enquanto (de preferência, mas isso pode ser sacrificado por um aumento...
Eu tenho um arquivo de texto enorme (70 GB), uma linha , e quero substituir uma string (token) nele. Quero substituir o token <unk>por outro fictício ( problema de luva ). Eu tentei sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new mas o arquivo de saída...
Eu tenho um arquivo bastante grande (35Gb) e gostaria de filtrar esse arquivo in situ (ou seja, não tenho espaço em disco suficiente para outro arquivo), especificamente quero grep e ignorar alguns padrões - existe uma maneira de fazer isso sem usar outro arquivo? Digamos que eu queira filtrar...
Eu tenho dois arquivos grandes (6 GB cada). Eles não são classificados, com alimentações de linha ( \n) como separadores. Como posso diferenciá-los? Deve demorar menos de
Eu tentei com o SCP, mas diz "Tamanho do arquivo negativo". >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size Também tentei usar o SFTP, funcionou bem até que 2 GB do arquivo foram transferidos e parou: sftp> put matlab.iso Uploading matlab.iso to
Eu tenho um arquivo de texto de 25 GB que precisa de uma string substituída em apenas algumas linhas. Posso usar com sedsucesso, mas leva muito tempo para ser executado. sed -i 's|old text|new text|g' gigantic_file.sql Existe uma maneira mais rápida de fazer
Eu tenho um diretório com cerca de 100000 arquivos pequenos (cada arquivo é de 1 a 3 linhas, cada arquivo é um arquivo de texto). Em tamanho, o diretório não é muito grande (<2 GB). Esses dados residem em um servidor NFS administrado profissionalmente. O servidor executa o Linux. Eu acho que o...
Eu tenho uma ext4partição de 900 GB em um disco rígido (magnético) que não possui defeitos nem setores defeituosos. A partição está completamente vazia, exceto por um lost+founddiretório vazio . A partição foi formatada usando parâmetros padrão, exceto que eu defina o número de blocos reservados do...
Eu tenho alguns arquivos com tamanho> 1 GB cada. Preciso remover os últimos bytes dos arquivos. Como eu posso fazer isso? Prefiro editar o arquivo no local para economizar espaço em disco. Estou no
É útil usar o sinalizador -T largefile na criação de um sistema de arquivos para uma partição com arquivos grandes como vídeo e áudio no formato flac? Testei a mesma partição com esse sinalizador e sem ele, e usando tune2fs -l [partition] , verifiquei "Recursos do sistema de arquivos" que ambos...
No mesmo espírito que essa outra pergunta: linha X para linha Y em um arquivo enorme : Existe uma maneira de abrir no Emacs (e mostrar em um buffer) um determinado conjunto de linhas (por exemplo, todas as linhas entre linhas Xe Y) a partir de um grande arquivo de texto? Por exemplo, abra e...
Eu tenho um arquivo de texto de 250 MB, tudo em uma linha. Neste arquivo, quero substituir acaracteres por bcaracteres: sed -e "s/a/b/g" < one-line-250-mb.txt Falha com: sed: couldn't re-allocate memory Parece-me que esse tipo de tarefa pode ser executada em linha sem alocar muita...
Preciso visualizar uma imagem png grande (50000x40000 px) no Linux. Infelizmente, a maioria das ferramentas (eog, convert etc.) trava ou falha com a observação de pouca memória. Existe uma maneira de visualizar esta imagem (eu preferiria ver a imagem redimensionada e os
Eu tenho ~ 30k arquivos. Cada arquivo contém ~ 100k linhas. Uma linha não contém espaços. As linhas em um arquivo individual são classificadas e duplicadas gratuitamente. Meu objetivo: quero encontrar todas as linhas duplicadas em dois ou mais arquivos e também os nomes dos arquivos que continham...
Eu tenho cerca de 2 milhões (60GiB) de arquivos pequenos compactados em gzip e gostaria de criar um arquivo compactado contendo todos eles em uma versão descompactada. Infelizmente, não posso simplesmente descompactá-los todos e criar o arquivo compactado, pois tenho apenas 70GiB de espaço livre em...