Permitir que o objeto JSON aceite bytes ou permita que as cadeias de saída sejam abertas

Com o Python 3, estou solicitando um documento json a partir de uma URL.

response = urllib.request.urlopen(request)

O responseobjeto é um objeto parecido com um arquivo com reade readlinemétodos. Normalmente, um objeto JSON pode ser criado com um arquivo aberto no modo de texto.

obj = json.load(fp)

O que eu gostaria de fazer é:

obj = json.load(response)

No entanto, isso não funciona, pois o urlopen retorna um objeto de arquivo no modo binário.

Uma solução alternativa é, obviamente:

str_response = response.read().decode('utf-8')
obj = json.loads(str_response)

mas isso parece ruim ...

Existe uma maneira melhor de transformar um objeto de arquivo de bytes em um objeto de arquivo de string? Ou estou faltando algum parâmetro para uma codificação urlopenou json.loadpara ela?

HTTP envia bytes. Se o recurso em questão for texto, a codificação de caracteres é normalmente especificada, pelo cabeçalho HTTP do tipo de conteúdo ou por outro mecanismo (um RFC, HTML meta http-equiv, ...).

urllib devemos saber como codificar os bytes para uma string, mas é muito ingênuo - é uma biblioteca terrivelmente fraca e não-Pythonic.

Dive Into Python 3 fornece uma visão geral sobre a situação.

Sua "solução alternativa" está correta - embora pareça errado, é a maneira correta de fazê-lo.

Maravilhosa biblioteca padrão do Python para o resgate…

import codecs

reader = codecs.getreader("utf-8")
obj = json.load(reader(response))

Funciona com py2 e py3.

Documentos: Python 2 , Python3

Cheguei à opinião de que a pergunta é a melhor resposta :)

import json
from urllib.request import urlopen

response = urlopen("site.com/api/foo/bar").read().decode('utf8')
obj = json.loads(response)

Para qualquer outra pessoa que tente resolver isso usando a requestsbiblioteca:

import json
import requests

r = requests.get('http://localhost/index.json')
r.raise_for_status()
# works for Python2 and Python3
json.loads(r.content.decode('utf-8'))

Este funciona para mim, usei a biblioteca 'request' com o json()check-out do documento em pedidos para humanos

import requests

url = 'here goes your url'

obj = requests.get(url).json() 

Eu tive problemas semelhantes usando o Python 3.4.3 e 3.5.2 e o Django 1.11.3. No entanto, quando atualizei para o Python 3.6.1, os problemas desapareceram.

Você pode ler mais sobre isso aqui: https://docs.python.org/3/whatsnew/3.6.html#json

Se você não está vinculado a uma versão específica do Python, considere atualizar para a 3.6 ou posterior.

Se você estiver enfrentando esse problema ao usar a microframework do balão, poderá fazer o seguinte:

data = json.loads(response.get_data(as_text=True))

Na documentação : "Se as_text estiver definido como True, o valor retornado será uma string unicode decodificada"

Sua solução alternativa realmente me salvou. Eu estava tendo muitos problemas ao processar a solicitação usando a estrutura Falcon. Isso funcionou para mim. req sendo o formulário de requisição curl pr httpie

json.loads(req.stream.read().decode('utf-8'))

Isso transmitirá os dados de bytes para o json.

import io

obj = json.load(io.TextIOWrapper(response))

io.TextIOWrapper é preferível ao leitor de módulo do codec. https://www.python.org/dev/peps/pep-0400/

Acabei de encontrar este método simples para criar conteúdo HttpResponse como um json

import json

request = RequestFactory() # ignore this, this just like your request object

response = MyView.as_view()(request) # got response as HttpResponse object

response.render() # call this so we could call response.content after

json_response = json.loads(response.content.decode('utf-8'))

print(json_response) # {"your_json_key": "your json value"}

Espero que ajude você

No Python 3.6, você pode usar json.loads()para desserializar um bytesobjeto diretamente (a codificação deve ser UTF-8, UTF-16 ou UTF-32). Portanto, usando apenas módulos da biblioteca padrão, você pode:

import json
from urllib import request

response = request.urlopen(url).read()
data = json.loads(response)

Eu usei abaixo programa para usar de json.loads()

import urllib.request
import json
endpoint = 'https://maps.googleapis.com/maps/api/directions/json?'
api_key = 'AIzaSyABbKiwfzv9vLBR_kCuhO7w13Kseu68lr0'
origin = input('where are you ?').replace(' ','+')
destination = input('where do u want to go').replace(' ','+')
nav_request = 'origin={}&destination={}&key={}'.format(origin,destination,api_key)
request = endpoint + nav_request
response = urllib.request.urlopen(request).read().decode('utf-8')
directions = json.loads(response)
print(directions)