Problema de codificação do Java FileReader

Tentei usar o java.io.FileReader para ler alguns arquivos de texto e convertê-los em uma string, mas descobri que o resultado está codificado incorretamente e não é legível.

Aqui está o meu ambiente:

• Windows 2003, codificação do sistema operacional: CP1252

• Java 5.0

Meus arquivos são codificados em UTF-8 ou CP1252 e alguns deles (arquivos em UTF-8) podem conter caracteres chineses (não latinos).

Eu uso o seguinte código para fazer o meu trabalho:

   private static String readFileAsString(String filePath)
    throws java.io.IOException{
        StringBuffer fileData = new StringBuffer(1000);
        FileReader reader = new FileReader(filePath);
        //System.out.println(reader.getEncoding());
        BufferedReader reader = new BufferedReader(reader);
        char[] buf = new char[1024];
        int numRead=0;
        while((numRead=reader.read(buf)) != -1){
            String readData = String.valueOf(buf, 0, numRead);
            fileData.append(readData);
            buf = new char[1024];
        }
        reader.close();
        return fileData.toString();
    }

O código acima não funciona. Eu descobri que a codificação do FileReader é CP1252, mesmo que o texto seja codificado em UTF-8. Mas o JavaDoc do java.io.FileReader diz que:

Os construtores dessa classe assumem que a codificação de caracteres padrão e o tamanho padrão do buffer de bytes são adequados.

Isso significa que não sou obrigado a definir a codificação de caracteres sozinho se estiver usando o FileReader? Mas atualmente recebi dados codificados incorretamente. Qual é a maneira correta de lidar com minha situação? Obrigado.

Sim, você precisa especificar a codificação do arquivo que deseja ler.

Sim, isso significa que você precisa saber a codificação do arquivo que deseja ler.

Não, não existe uma maneira geral de adivinhar a codificação de qualquer arquivo de "texto simples".

Os construtores de um argumentoFileReader sempre usam a codificação padrão da plataforma, que geralmente é uma má ideia .

Desde que o Java 11 FileReadertambém ganhou construtores que aceitam uma codificação: new FileReader(file, charset)e new FileReader(fileName, charset).

Nas versões anteriores do java, você precisa usar .new InputStreamReader(new FileInputStream(pathToFile), <encoding>)

FileReader usa a codificação padrão da plataforma Java, que depende das configurações do sistema do computador em que está sendo executado e geralmente é a codificação mais popular entre os usuários nesse local.

Se esse "melhor palpite" não estiver correto, será necessário especificar a codificação explicitamente. Infelizmente, FileReaderisso não é permitido (grande supervisão na API). Em vez disso, você deve usar new InputStreamReader(new FileInputStream(filePath), encoding)e, idealmente, obter a codificação a partir de metadados sobre o arquivo.

Desde o Java 11, você pode usar isso:

public FileReader(String fileName, Charset charset) throws IOException;

Para o Java 7+ doc, você pode usar este:

BufferedReader reader = Files.newBufferedReader(path, StandardCharsets.UTF_8);

Aqui estão todos os documentos de charsets

Por exemplo, se o seu arquivo estiver no CP1252, use este método

Charset.forName("windows-1252");

Aqui estão outros nomes canônicos para codificações Java, tanto para documentos de E / S quanto de NIO

Se você não sabe com codificação exatamente você tem em um arquivo, você pode usar algumas libs de terceiros como esta ferramenta do Google este que funciona razoavelmente arrumado.

FileInputStream com InputStreamReader é melhor do que usar diretamente o FileReader, porque o último não permite especificar o conjunto de caracteres de codificação.

Aqui está um exemplo usando BufferedReader, FileInputStream e InputStreamReader juntos, para que você possa ler linhas de um arquivo.

List<String> words = new ArrayList<>();
List<String> meanings = new ArrayList<>();
public void readAll( ) throws IOException{
    String fileName = "College_Grade4.txt";
    String charset = "UTF-8";
    BufferedReader reader = new BufferedReader(
        new InputStreamReader(
            new FileInputStream(fileName), charset)); 

    String line; 
    while ((line = reader.readLine()) != null) { 
        line = line.trim();
        if( line.length() == 0 ) continue;
        int idx = line.indexOf("\t");
        words.add( line.substring(0, idx ));
        meanings.add( line.substring(idx+1));
    } 
    reader.close();
}

Para outros idiomas latinos, por exemplo, cirílico, você pode usar algo como isto:

FileReader fr = new FileReader("src/text.txt", StandardCharsets.UTF_8);

e verifique se seu .txtarquivo foi salvo com o formato UTF-8(mas não como padrão ANSI). Felicidades!