UnicodeDecodeError: o codec 'utf8' não pode decodificar o byte 0x9c

Eu tenho um servidor de soquete que deveria receber caracteres válidos UTF-8 dos clientes.

O problema é que alguns clientes (principalmente hackers) estão enviando todo o tipo errado de dados sobre ele.

Posso distinguir facilmente o cliente genuíno, mas estou registrando nos arquivos todos os dados enviados para poder analisá-los mais tarde.

Às vezes, recebo caracteres como esse œque causam o UnicodeDecodeErrorerro.

Eu preciso ser capaz de criar a string UTF-8 com ou sem esses caracteres.

Atualizar:

Para meu caso particular, o serviço de soquete era um MTA e, portanto, espero receber apenas comandos ASCII, como:

EHLO example.com
MAIL FROM: <john.doe@example.com>
...

Eu estava registrando tudo isso no JSON.

Então algumas pessoas por aí, sem boas intenções, decidiram vender todo tipo de lixo.

É por isso que, no meu caso específico, é perfeitamente aceitável remover os caracteres não ASCII.

http://docs.python.org/howto/unicode.html#the-unicode-type

str = unicode(str, errors='replace')

ou

str = unicode(str, errors='ignore')

Nota: Isso removerá (ignorará) os caracteres em questão retornando a sequência sem eles.

Para mim, esse é o caso ideal, pois estou usando-o como proteção contra entradas não-ASCII, que não são permitidas pelo meu aplicativo.

Como alternativa: use o método open do codecsmódulo para ler no arquivo:

import codecs
with codecs.open(file_name, 'r', encoding='utf-8',
                 errors='ignore') as fdata:

Mudar o mecanismo de C para Python fez o truque para mim.

O motor é C:

pd.read_csv(gdp_path, sep='\t', engine='c')

O codec 'utf-8' não pode decodificar o byte 0x92 na posição 18: byte inicial inválido

O mecanismo é Python:

pd.read_csv(gdp_path, sep='\t', engine='python')

Sem erros para mim.

Esse tipo de problema surge para mim agora que mudei para o Python 3. Eu não fazia ideia de que o Python 2 estava simplesmente lançando problemas com a codificação de arquivos.

Encontrei esta boa explicação sobre as diferenças e como encontrar uma solução depois que nenhuma das opções acima funcionou para mim.

http://python-notes.curiousefficiency.org/en/latest/python3/text_file_processing.html

Em resumo, para fazer com que o Python 3 se comporte da maneira mais semelhante possível ao uso do Python 2:

with open(filename, encoding="latin-1") as datafile:
    # work on datafile here

No entanto, leia o artigo, não existe uma solução única para todos os tamanhos.

>>> '\x9c'.decode('cp1252')
u'\u0153'
>>> print '\x9c'.decode('cp1252')
œ

Eu tive o mesmo problema UnicodeDecodeErrore resolvi-o com esta linha. Não sei se é o melhor caminho, mas funcionou para mim.

str = str.decode('unicode_escape').encode('utf-8')

o primeiro, usando get_encoding_type para obter o tipo de arquivo de codificação:

import os    
from chardet import detect

# get file encoding type
def get_encoding_type(file):
    with open(file, 'rb') as f:
        rawdata = f.read()
    return detect(rawdata)['encoding']

o segundo, abrindo os arquivos com o tipo:

open(current_file, 'r', encoding = get_encoding_type, errors='ignore')

Apenas no caso de alguém tem o mesmo problema. Estou usando o vim com o YouCompleteMe , falha ao iniciar o ycmd com esta mensagem de erro, o que fiz foi: export LC_CTYPE="en_US.UTF-8"o problema desapareceu.

O que você pode fazer se precisar alterar um arquivo, mas não souber a codificação do arquivo? Se você sabe que a codificação é compatível com ASCII e deseja examinar ou modificar apenas as partes ASCII, é possível abrir o arquivo com o manipulador de erros surrogateescape:

with open(fname, 'r', encoding="ascii", errors="surrogateescape") as f:
    data = f.read()

Eu resolvi esse problema apenas adicionando

df = pd.read_csv(fileName,encoding='latin1')