Quais são as diferenças entre o urllib, urllib2, urllib3 e o módulo de solicitações?

Em Python, quais são as diferenças entre os urllib, urllib2, urllib3e requestsmódulos? Por que existem três? Eles parecem fazer a mesma coisa ...

Eu sei que já foi dito, mas eu recomendo o requestspacote Python.

Se você já usou outras linguagens além do python, provavelmente está pensando urllibe urllib2é fácil de usar, sem muito código e altamente capaz, é assim que eu pensava. Mas o requestspacote é tão incrivelmente útil e curto que todos deveriam usá-lo.

Primeiro, ele suporta uma API totalmente tranquila e é tão fácil quanto:

import requests

resp = requests.get('http://www.mywebsite.com/user')
resp = requests.post('http://www.mywebsite.com/user')
resp = requests.put('http://www.mywebsite.com/user/put')
resp = requests.delete('http://www.mywebsite.com/user/delete')

Independentemente de se GET / POST, você nunca precisa codificar parâmetros novamente, basta usar um dicionário como argumento e é bom:

userdata = {"firstname": "John", "lastname": "Doe", "password": "jdoe123"}
resp = requests.post('http://www.mywebsite.com/user', data=userdata)

Além disso, ele ainda possui um decodificador JSON interno (novamente, eu sei que json.loads()não há muito mais para escrever, mas isso com certeza é conveniente):

resp.json()

Ou, se seus dados de resposta forem apenas texto, use:

resp.text

Esta é apenas a ponta do iceberg. Esta é a lista de recursos do site de solicitações:

• Domínios e URLs internacionais
• Pool de manutenção e conexão
• Sessões com persistência de cookie
• Verificação SSL no estilo do navegador
• Autenticação Básica / Digest
• Cookies elegantes de chave / valor
• Descompressão automática
• Corpos de resposta Unicode
• Uploads de arquivos com várias partes
• Tempo limite de conexão
• Suporte .netrc
• Item da lista
• Python 2.6—3.4
• Discussão segura.

O urllib2 fornece algumas funcionalidades extras, ou seja, a urlopen()função pode permitir que você especifique cabeçalhos (normalmente você precisaria usar o updplib no passado, o que é muito mais detalhado.) Mais importante ainda, o urllib2 fornece a Requestclasse, o que permite mais abordagem declarativa para fazer uma solicitação:

r = Request(url='http://www.mysite.com')
r.add_header('User-Agent', 'awesome fetcher')
r.add_data(urllib.urlencode({'foo': 'bar'})
response = urlopen(r)

Observe que urlencode()está apenas no urllib, não no urllib2.

Também existem manipuladores para implementar o suporte a URL mais avançado no urllib2. A resposta curta é que, a menos que você esteja trabalhando com código legado, provavelmente desejará usar o abridor de URL do urllib2, mas ainda precisará importar para o urllib algumas das funções do utilitário.

Resposta bônus Com o Google App Engine, você pode usar qualquer um dettttplib, urllib ou urllib2, mas todos são apenas invólucros para a API de busca de URL do Google. Ou seja, você ainda está sujeito às mesmas limitações, como portas, protocolos e a duração da resposta permitida. Você pode usar o núcleo das bibliotecas como seria de esperar para recuperar URLs HTTP.

urllib e urllib2 são dois módulos Python que solicitam URLs relacionados a itens, mas oferecem funcionalidades diferentes.

1) urllib2 pode aceitar um objeto Request para definir os cabeçalhos para uma solicitação de URL, urllib aceita apenas uma URL.

2) urllib fornece o método urlencode que é usado para a geração de strings de consulta GET, urllib2 não possui essa função. Esse é um dos motivos pelos quais o urllib é frequentemente usado junto com o urllib2.

Requests - Requests 'é uma biblioteca HTTP simples e fácil de usar, escrita em Python.

1) O Python Requests codifica os parâmetros automaticamente, para que você os transmita como argumentos simples, ao contrário do caso do urllib, onde você precisa usar o método urllib.encode () para codificar os parâmetros antes de passá-los.

2) Decodificou automaticamente a resposta em Unicode.

3) As solicitações também têm um tratamento de erro muito mais conveniente. Se sua autenticação falhar, o urllib2 gerará um urllib2.URLError, enquanto as solicitações retornarão um objeto de resposta normal, conforme o esperado. Tudo o que você precisa para ver se a solicitação foi bem-sucedida por resposta booleana.ok

Uma diferença considerável é sobre a portabilidade do Python2 para o Python3. O urllib2 não existe para python3 e seus métodos portados para urllib. Portanto, você está usando muito isso e deseja migrar para o Python3 no futuro, considere usar o urllib. No entanto, a ferramenta 2to3 fará automaticamente a maior parte do trabalho para você.

Apenas para adicionar às respostas existentes, não vejo ninguém mencionando que solicitações de python não são uma biblioteca nativa. Se você concorda em adicionar dependências, as solicitações são aceitáveis. No entanto, se você estiver tentando evitar adicionar dependências, o urllib é uma biblioteca python nativa que já está disponível para você.

Gosto da urllib.urlencodefunção e ela não parece existir urllib2.

>>> urllib.urlencode({'abc':'d f', 'def': '-!2'})
'abc=d+f&def=-%212'

Para obter o conteúdo de um URL:

try: # Try importing requests first.
    import requests
except ImportError: 
    try: # Try importing Python3 urllib
        import urllib.request
    except AttributeError: # Now importing Python2 urllib
        import urllib


def get_content(url):
    try:  # Using requests.
        return requests.get(url).content # Returns requests.models.Response.
    except NameError:  
        try: # Using Python3 urllib.
            with urllib.request.urlopen(index_url) as response:
                return response.read() # Returns http.client.HTTPResponse.
        except AttributeError: # Using Python3 urllib.
            return urllib.urlopen(url).read() # Returns an instance.

É difícil escrever o código Python2 e Python3 e requestdependências para as respostas porque elas urlopen()funcionam e requests.get()retornam tipos diferentes:

• Python2 urllib.request.urlopen()retorna umhttp.client.HTTPResponse
• Python3 urllib.urlopen(url)retorna uminstance
• A solicitação request.get(url)retorna umrequests.models.Response

Você geralmente deve usar o urllib2, pois isso facilita um pouco as coisas ao aceitar objetos Request e também gera uma exceção URLException em erros de protocolo. No entanto, com o Google App Engine, você também não pode usar. Você precisa usar a API de busca de URL fornecida pelo Google em seu ambiente Python em área restrita.

Um ponto-chave que acho que falta nas respostas acima é que urllib retorna um objeto do tipo <class http.client.HTTPResponse>enquanto requestsretorna <class 'requests.models.Response'>.

Devido a isso, o método read () pode ser usado com urllibmas não com requests.

PS: requestsjá é rico em tantos métodos que dificilmente precisa de mais um read();