UnicodeDecodeError: o codec 'utf8' não pode decodificar o byte 0xa5 na posição 0: byte inicial inválido

Estou usando Python-2.6 CGIscripts, mas encontrei esse erro no log do servidor enquanto fazia isso json.dumps(),

Traceback (most recent call last):
  File "/etc/mongodb/server/cgi-bin/getstats.py", line 135, in <module>
    print json.dumps(​​__get​data())
  File "/usr/lib/python2.7/json/__init__.py", line 231, in dumps
    return _default_encoder.encode(obj)
  File "/usr/lib/python2.7/json/encoder.py", line 201, in encode
    chunks = self.iterencode(o, _one_shot=True)
  File "/usr/lib/python2.7/json/encoder.py", line 264, in iterencode
    return _iterencode(o, 0)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xa5 in position 0: invalid start byte

Aqui

​__get​data()função retorna dictionary {}.

Antes de postar esta pergunta, referi -a à questão do SO.

ATUALIZAÇÕES

A linha a seguir está afetando o codificador JSON,

now = datetime.datetime.now()
now = datetime.datetime.strftime(now, '%Y-%m-%dT%H:%M:%S.%fZ')
print json.dumps({'current_time': now}) // this is the culprit

Eu tenho uma correção temporária para isso

print json.dumps( {'old_time': now.encode('ISO-8859-1').strip() })

Mas não tenho certeza se é a maneira correta de fazê-lo.

O erro ocorre porque existe algum caractere não-ascii no dicionário e ele não pode ser codificado / decodificado. Uma maneira simples de evitar esse erro é codificar essas cadeias com a encode()função a seguir (se afor a cadeia com caracteres não ascii):

a.encode('utf-8').strip()

Eu mudei isso simplesmente definindo um pacote de codec diferente no read_csv()comando:

encoding = 'unicode_escape'

Por exemplo:

import pandas as pd
data = pd.read_csv(filename, encoding= 'unicode_escape')

Experimente o trecho de código abaixo:

with open(path, 'rb') as f:
  text = f.read()

Sua string possui um asciicaractere não codificado.

Não conseguir decodificar utf-8pode acontecer se você precisar usar outras codificações no seu código. Por exemplo:

>>> 'my weird character \x96'.decode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python27\lib\encodings\utf_8.py", line 16, in decode
    return codecs.utf_8_decode(input, errors, True)
UnicodeDecodeError: 'utf8' codec can't decode byte 0x96 in position 19: invalid start byte

Nesse caso, a codificação é o windows-1252que você deve fazer:

>>> 'my weird character \x96'.decode('windows-1252')
u'my weird character \u2013'

Agora que você possui Unicode, pode codificar com segurança utf-8.

Na leitura csv, adicionei um método de codificação:

import pandas as pd
dataset = pd.read_csv('sample_data.csv', header= 0,
                        encoding= 'unicode_escape')

Defina o codificador padrão na parte superior do seu código

import sys
reload(sys)
sys.setdefaultencoding("ISO-8859-1")

A partir de 2018-05, isso será tratado diretamente com decode, pelo menos no Python 3 .

Eu estou usando o abaixo trecho para invalid start bytee invalid continuation byteerros de tipo. Adicionando errors='ignore'corrigido para mim.

with open(out_file, 'rb') as f:
    for line in f:
        print(line.decode(errors='ignore'))

Inspirado por @aaronpenne e @Soumyaansh

f = open("file.txt", "rb")
text = f.read().decode(errors='replace')

Esta solução funcionou para mim:

import pandas as pd
data = pd.read_csv("training.csv", encoding = 'unicode_escape')

Solução Simples:

import pandas as pd
df = pd.read_csv('file_name.csv', engine='python')

A linha a seguir está afetando o codificador JSON,

now = datetime.datetime.now()
now = datetime.datetime.strftime(now, '%Y-%m-%dT%H:%M:%S.%fZ')
print json.dumps({'current_time': now}) // this is the culprit

Eu tenho uma correção temporária para isso

print json.dumps( {'old_time': now.encode('ISO-8859-1').strip() })

Marcar isso como correto como uma correção temporária (não tenho certeza).

Se os métodos acima não estiverem funcionando para você, convém alterar a codificação do próprio arquivo csv.

Usando o Excel:

1. Abrir arquivo csv usando o Excel
2. Navegue até a opção "Menu Arquivo" e clique em "Salvar como"
3. Clique em "Procurar" para selecionar um local para salvar o arquivo
4. Digite o nome do arquivo pretendido
5. Selecione a opção CSV (delimitado por vírgula) (* .csv)
6. Clique na caixa suspensa "Ferramentas" e clique em "Opções da Web"
7. Na guia "Codificação", selecione a opção Unicode (UTF-8) na lista suspensa "Salvar este documento como"
8. Salve o arquivo

Usando o bloco de notas:

1. Abrir arquivo csv usando o bloco de notas
2. Navegue até a opção "Arquivo"> ​​"Salvar como"
3. Em seguida, selecione o local para o arquivo
4. Selecione a opção Salvar como tipo como Todos os arquivos ( . )
5. Especifique o nome do arquivo com extensão .csv
6. Na lista suspensa "Codificação", selecione a opção UTF-8.
7. Clique em Salvar para salvar o arquivo

Ao fazer isso, você poderá importar arquivos csv sem encontrar o UnicodeCodeError.

Depois de tentar todas as soluções alternativas mencionadas, se ele ainda gerar o mesmo erro, tente exportar o arquivo como CSV (uma segunda vez, se você já tiver). Especialmente se você estiver usando o scikit learn, é melhor importar o conjunto de dados como um arquivo CSV.

Passei horas juntos, enquanto a solução era simples. Exporte o arquivo como um CSV para o diretório em que o Anaconda ou suas ferramentas classificadoras estão instaladas e tente.

Você pode usar qualquer codificação padrão do seu uso e entrada específicos.

utf-8 é o padrão.

iso8859-1 também é popular na Europa Ocidental.

por exemplo: bytes_obj.decode('iso8859-1')

veja: docs

Em vez de procurar maneiras de decodificar a5 (Yen ¥) ou 96 (en-dash –), diga ao MySQL que seu cliente está codificado "latin1", mas você deseja "utf8" no banco de dados.

Veja detalhes em Problemas com caracteres UTF-8; o que vejo não é o que guardei