Qual é a ferramenta ou o método mais rápido e fácil para converter arquivos de texto entre conjuntos de caracteres?

Especificamente, preciso converter de UTF-8 para ISO-8859-15 e vice-versa.

Tudo funciona: one-liners na sua linguagem de script favorita, ferramentas de linha de comando ou outros utilitários para SO, sites da Web etc.

Melhores soluções até agora:

No Linux / UNIX / OS X / cygwin:

• O gnu iconv sugerido por Troels Arvin é melhor usado como filtro . Parece estar universalmente disponível. Exemplo:

  $ iconv -f UTF-8 -t ISO-8859-15 in.txt > out.txt
  

  Como apontado por Ben , há um conversor online usando o iconv .

• A recodificação de Gnu ( manual ) sugerida pela Cheekysoft converterá um ou vários arquivos no local . Exemplo:

  $ recode UTF8..ISO-8859-15 in.txt
  

  Este usa aliases mais curtos:

  $ recode utf8..l9 in.txt
  

  O Recode também suporta superfícies que podem ser usadas para converter entre diferentes tipos de final de linha e codificações:

  Converta novas linhas de LF (Unix) para CR-LF (DOS):

  $ recode ../CR-LF in.txt
  

  Arquivo de codificação Base64:

  $ recode ../Base64 in.txt
  

  Você também pode combiná-los.

  Converta um arquivo UTF8 codificado em Base64 com finais de linha Unix em arquivo Latin 1 codificado em Base64 com finais de linha Dos:

  $ recode utf8/Base64..l1/CR-LF/Base64 file.txt
  

No Windows com Powershell ( Jay Bazuzi ):

• PS C:\> gc -en utf8 in.txt | Out-File -en ascii out.txt

  (No entanto, não há suporte ISO-8859-15; ele diz que os conjuntos de caracteres suportados são unicode, utf7, utf8, utf32, ascii, bigendianunicode, padrão e oem.)

Editar

Você quer dizer suporte iso-8859-1? O uso de "String" faz isso, por exemplo, vice-versa

gc -en string in.txt | Out-File -en utf8 out.txt

Nota: Os possíveis valores de enumeração são "Desconhecido, String, Unicode, Byte, BigEndianUnicode, UTF8, UTF7, Ascii".

• CsCvt - O Kalytta's Character Set Converter é outra ótima ferramenta de conversão baseada em linha de comando para Windows.

Abordagem de utilitário independente

iconv -f ISO-8859-1 -t UTF-8 in.txt > out.txt

-f ENCODING  the encoding of the input
-t ENCODING  the encoding of the output

Você não precisa especificar nenhum desses argumentos. Eles usarão como padrão o código de idioma atual, que geralmente é UTF-8.

Experimente o VIM

Se você tiver, vimpode usar isto:

Não testado para todas as codificações.

A parte legal disso é que você não precisa saber a codificação da fonte

vim +"set nobomb | set fenc=utf8 | x" filename.txt

Esteja ciente de que este comando modifica diretamente o arquivo

Parte de explicação!

1. +: Usado pelo vim para inserir diretamente o comando ao abrir um arquivo. Geralmente usado para abrir um arquivo em uma linha específica:vim +14 file.txt
2. |: Separador de vários comandos (como ;no bash)
3. set nobomb : nenhuma lista técnica utf-8
4. set fenc=utf8: Defina a nova codificação como link de documento utf-8
5. x : Salvar e fechar arquivo
6. filename.txt : caminho para o arquivo
7. ": qotes estão aqui por causa de tubos. (caso contrário, o bash os usará como pipe do bash)

No Linux, você pode usar o poderoso comando recode para tentar converter entre os diferentes conjuntos de caracteres, bem como quaisquer problemas de final de linha. recode -l mostrará todos os formatos e codificações que a ferramenta pode converter. É provável que seja uma lista MUITO longa.

iconv (1)

iconv -f FROM-ENCODING -t TO-ENCODING file.txt

Também existem ferramentas baseadas em iconv em vários idiomas.

Get-Content -Encoding UTF8 FILE-UTF8.TXT | Out-File -Encoding UTF7 FILE-UTF7.TXT

A versão mais curta, se você puder assumir que a BOM de entrada está correta:

gc FILE.TXT | Out-File -en utf7 file-utf7.txt

Experimente a função iconv Bash

Eu coloquei isso em .bashrc:

utf8()
{
    iconv -f ISO-8859-1 -t UTF-8 $1 > $1.tmp
    rm $1
    mv $1.tmp $1
}

..para poder converter arquivos assim:

utf8 MyClass.java

Experimente o Notepad ++

No Windows, pude usar o Notepad ++ para fazer a conversão de ISO-8859-1 para UTF-8 . Clique "Encoding"e depois "Convert to UTF-8".

Oneliner usando find, com detecção automática de conjunto de caracteres

A codificação de caracteres de todos os arquivos de texto correspondentes é detectada automaticamente e todos os arquivos de texto correspondentes são convertidos em utf-8codificação:

$ find . -type f -iname *.txt -exec sh -c 'iconv -f $(file -bi "$1" |sed -e "s/.*[ ]charset=//") -t utf-8 -o converted "$1" && mv converted "$1"' -- {} \;

Para executar essas etapas, um sub shell shé usado -exec, executando uma linha com o -csinalizador e passando o nome do arquivo como argumento posicional "$1"com -- {}. Nesse meio tempo, o utf-8arquivo de saída é nomeado temporariamente converted.

Pelo que file -bisignifica:

• -b, --brief Não adicione nomes de arquivos às linhas de saída (modo breve).

• -i, --mime Faz com que o comando file produza seqüências de caracteres do tipo MIME, em vez das legíveis por humanos mais tradicionais. Assim, pode dizer, por exemplo, text/plain; charset=us-asciie não ASCII text. O sedcomando corta isso para apenas us-asciiconforme exigido por iconv.

O findcomando é muito útil para essa automação de gerenciamento de arquivos. Clique aqui para mais findgalore .

PHP iconv ()

iconv("UTF-8", "ISO-8859-15", $input);

DOS / Windows: use a página de códigos

chcp 65001>NUL
type ascii.txt > unicode.txt

O comando chcppode ser usado para alterar a página de código. Página de códigos 65001 é o nome da Microsoft para UTF-8. Após definir a página de códigos, a saída gerada pelos seguintes comandos será do conjunto de páginas de códigos.

para escrever o arquivo de propriedades (Java) normalmente eu uso isso no linux (distribuições mint e ubuntu):

$ native2ascii filename.properties

Por exemplo:

$ cat test.properties 
first=Execução número um
second=Execução número dois

$ native2ascii test.properties 
first=Execu\u00e7\u00e3o n\u00famero um
second=Execu\u00e7\u00e3o n\u00famero dois

PS: Escrevi a Execução número um / dois em português para forçar caracteres especiais.

No meu caso, na primeira execução, recebi esta mensagem:

$ native2ascii teste.txt 
The program 'native2ascii' can be found in the following packages:
 * gcj-5-jdk
 * openjdk-8-jdk-headless
 * gcj-4.8-jdk
 * gcj-4.9-jdk
Try: sudo apt install <selected package>

Quando instalei a primeira opção (gcj-5-jdk), o problema estava concluído.

Espero que isso ajude alguém.

Com rubi:

ruby -e "File.write('output.txt', File.read('input.txt').encode('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: ''))"

Fonte: https://robots.thoughtbot.com/fight-back-utf-8-invalid-byte-sequences

Use este script Python: https://github.com/goerz/convert_encoding.py Funciona em qualquer plataforma. Requer Python 2.7.

Minha ferramenta favorita para isso é o Jedit (um editor de texto baseado em java), que possui dois recursos muito convenientes:

• Um que permite ao usuário recarregar um texto com uma codificação diferente (e, como tal, controlar visualmente o resultado)
• Outro que permite ao usuário escolher explicitamente a codificação (e o final da linha) antes de salvar

Simplesmente altere a codificação do arquivo carregado no IntelliJ IDEA IDE, à direita da barra de status (inferior), onde o conjunto de caracteres atual é indicado. Solicita recarregar ou converter, use Converter. Faça backup do arquivo original com antecedência.

Se os aplicativos da interface do usuário do macOS são a sua cara , o SubEthaEdit é o editor de texto para o qual eu costumo ir para a codificação-disputa - sua "visualização de conversão" permite que você veja todos os caracteres inválidos na codificação de saída e corrija / remova-os.

E é de código aberto agora, então sim para eles 😉.

Conforme descrito em Como corrijo a codificação de caracteres de um arquivo? Synalyze It! permite converter facilmente no OS X entre todas as codificações suportadas pela biblioteca ICU .

Além disso, você pode exibir alguns bytes de um arquivo traduzido para Unicode a partir de todas as codificações para ver rapidamente qual é o correto para o seu arquivo.