erro UnicodeDecodeError: o codec 'utf-8' não pode decodificar o byte 0xff na posição 0: byte inicial inválido

https://github.com/affinelayer/pix2pix-tensorflow/tree/master/tools

Ocorreu um erro ao compilar "process.py" no site acima.

 python tools/process.py --input_dir data --            operation resize --outp
ut_dir data2/resize
data/0.jpg -> data2/resize/0.png

Traceback (última chamada mais recente):

File "tools/process.py", line 235, in <module>
  main()
File "tools/process.py", line 167, in main
  src = load(src_path)
File "tools/process.py", line 113, in load
  contents = open(path).read()
      File"/home/user/anaconda3/envs/tensorflow_2/lib/python3.5/codecs.py", line 321, in decode
  (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode     byte 0xff in position 0: invalid start byte

Qual é a causa do erro? A versão do Python é 3.5.2.

O Python tenta converter um byte-array ( bytesque ele supõe ser uma string codificada em utf-8) em uma string unicode ( str). Esse processo, é claro, é uma decodificação de acordo com as regras do utf-8. Quando tenta isso, encontra uma sequência de bytes que não é permitida em seqüências de caracteres codificadas em utf-8 (ou seja, este 0xff na posição 0).

Como você não forneceu nenhum código que pudéssemos analisar, só conseguimos adivinhar o resto.

A partir do rastreamento da pilha, podemos assumir que a ação acionadora foi a leitura de um arquivo ( contents = open(path).read()). Proponho recodificar isso de uma maneira como esta:

with open(path, 'rb') as f:
  contents = f.read()

Que bno especificador de modo nos open()estados em que o arquivo deve ser tratado como binário, contentspermanecerá a bytes. Nenhuma tentativa de decodificação acontecerá dessa maneira.

Use esta solução, ela removerá (ignorará) os caracteres e retornará a string sem eles. Use-o somente se for necessário removê-los e não convertê-los.

with open(path, encoding="utf8", errors='ignore') as f:

Usando errors='ignore' Você apenas perderá alguns caracteres. mas se você não se importa com eles, eles parecem caracteres extras originários de uma má formatação e programação dos clientes conectados ao meu servidor de soquete. Então é uma solução fácil e direta. referência

Teve um problema semelhante a este, acabou usando o UTF-16 para decodificar. meu código está abaixo.

with open(path_to_file,'rb') as f:
    contents = f.read()
contents = contents.rstrip("\n").decode("utf-16")
contents = contents.split("\r\n")

isso levaria o conteúdo do arquivo como uma importação, mas retornaria o código no formato UTF. dali seria decodificado e separado por linhas.

Use o formato de codificação ISO-8859-1 para resolver o problema.

Eu me deparei com esse segmento quando sofria o mesmo erro, depois de fazer algumas pesquisas, posso confirmar, este é um erro que ocorre quando você tenta decodificar um arquivo UTF-16 com UTF-8.

Com UTF-16, o primeiro caráter (2 bytes em UTF-16) é uma BOM (Byte Order Mark) , usada como dica de decodificação e não aparece como um caractere na string decodificada. Isso significa que o primeiro byte será FE ou FF e o segundo, o outro.

Pesadamente editado depois que eu descobri a resposta real

usarem apenas

base64.b64decode(a) 

ao invés de

base64.b64decode(a).decode('utf-8')

Se você estiver em um mac, verifique se há um arquivo oculto, .DS_Store. Depois de remover o arquivo, meu programa funcionou.

Verifique o caminho do arquivo a ser lido. Meu código continuou me dando erros até eu alterar o nome do caminho para apresentar o diretório de trabalho. O erro foi:

newchars, decodedbytes = self.decode(data, self.errors)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

se você estiver recebendo dados de uma porta serial, verifique se está usando a taxa de transmissão correta (e as outras configurações): decodificando usando ( utf-8 ), mas a configuração errada gerará o mesmo erro

UnicodeDecodeError: o codec 'utf-8' não pode decodificar o byte 0xff na posição 0: byte inicial inválido

para verificar sua configuração de porta serial no Linux: stty -F /dev/ttyUSBX -a

Significa simplesmente que alguém escolheu a codificação errada para ler o arquivo.

No Mac, use file -I file.txtpara encontrar a codificação correta. No Linux, use file -i file.txt.

Eu tenho o mesmo problema ao processar um arquivo gerado no Linux. Acontece que estava relacionado a arquivos contendo pontos de interrogação.

Eu tive um problema parecido.

Resolvido por:

import io

with io.open(filename, 'r', encoding='utf-8') as fn:
  lines = fn.readlines()

No entanto, eu tive outro problema. Alguns arquivos html (no meu caso) não eram utf-8, então recebi um erro semelhante. Quando excluí esses arquivos html, tudo funcionava sem problemas.

Portanto, exceto ao corrigir o código, verifique também os arquivos dos quais você está lendo, talvez haja uma incompatibilidade de fato.

Se possível, abra o arquivo em um editor de texto e tente alterar a codificação para UTF-8. Caso contrário, faça-o programaticamente no nível do SO.

Eu tenho um problema similar. Eu tento executar um exemplo em tensorflow / models / aim_detection e recebi a mesma mensagem. Tente mudar Python3 para Python2