Como você envia uma solicitação HEAD HTTP no Python 2?

O que estou tentando fazer aqui é obter os cabeçalhos de um determinado URL para determinar o tipo de MIME. Eu quero ser capaz de ver se http://somedomain/foo/retornarei um documento HTML ou uma imagem JPEG, por exemplo. Portanto, preciso descobrir como enviar uma solicitação HEAD para poder ler o tipo MIME sem ter que baixar o conteúdo. Alguém conhece uma maneira fácil de fazer isso?

editar : Esta resposta funciona, mas hoje em dia você deve apenas usar a biblioteca de solicitações conforme mencionado nas outras respostas abaixo.

Use httplib .

>>> import httplib
>>> conn = httplib.HTTPConnection("www.google.com")
>>> conn.request("HEAD", "/index.html")
>>> res = conn.getresponse()
>>> print res.status, res.reason
200 OK
>>> print res.getheaders()
[('content-length', '0'), ('expires', '-1'), ('server', 'gws'), ('cache-control', 'private, max-age=0'), ('date', 'Sat, 20 Sep 2008 06:43:36 GMT'), ('content-type', 'text/html; charset=ISO-8859-1')]

Também existe um getheader(name)para obter um cabeçalho específico.

urllib2 pode ser usado para executar uma solicitação HEAD. Isso é um pouco melhor do que usar o httplib, já que o urllib2 analisa a URL para você em vez de exigir que você divida a URL em nome de host e caminho.

>>> import urllib2
>>> class HeadRequest(urllib2.Request):
...     def get_method(self):
...         return "HEAD"
... 
>>> response = urllib2.urlopen(HeadRequest("http://google.com/index.html"))

Os cabeçalhos estão disponíveis via response.info () como antes. Curiosamente, você pode encontrar o URL para o qual foi redirecionado:

>>> print response.geturl()
http://www.google.com.au/index.html

RequestsForma obrigatória :

import requests

resp = requests.head("http://www.google.com")
print resp.status_code, resp.text, resp.headers

Eu acredito que a biblioteca Requests deve ser mencionada também.

Somente:

import urllib2
request = urllib2.Request('http://localhost:8080')
request.get_method = lambda : 'HEAD'

response = urllib2.urlopen(request)
response.info().gettype()

Edit: Acabei de perceber que existe httplib2: D

import httplib2
h = httplib2.Http()
resp = h.request("http://www.google.com", 'HEAD')
assert resp[0]['status'] == 200
assert resp[0]['content-type'] == 'text/html'
...

Texto do link

Para ser completo, tenha uma resposta Python3 equivalente à resposta aceita usando httplib .

É basicamente o mesmo código, só que a biblioteca não é mais chamada de httplib, mas de http.client

from http.client import HTTPConnection

conn = HTTPConnection('www.google.com')
conn.request('HEAD', '/index.html')
res = conn.getresponse()

print(res.status, res.reason)

import httplib
import urlparse

def unshorten_url(url):
    parsed = urlparse.urlparse(url)
    h = httplib.HTTPConnection(parsed.netloc)
    h.request('HEAD', parsed.path)
    response = h.getresponse()
    if response.status/100 == 3 and response.getheader('Location'):
        return response.getheader('Location')
    else:
        return url

Como um aparte, ao usar o httplib (pelo menos em 2.5.2), tentar ler a resposta de uma solicitação HEAD irá bloquear (em readline) e subsequentemente falhar. Se você não emitir ler na resposta, você não conseguirá enviar outra solicitação na conexão, você precisará abrir uma nova. Ou aceite um longo atraso entre os pedidos.

Eu descobri que o httplib é um pouco mais rápido que o urllib2. Cronometrei dois programas - um usando httplib e outro usando urllib2 - enviando solicitações HEAD para 10.000 URLs. O httplib foi mais rápido por vários minutos. As estatísticas totais de httplib foram: real 6m21.334s usuário 0m2.124s sys 0m16.372s

E as estatísticas totais do urllib2 foram: real 9m1.380s usuário 0m16.666s sys 0m28.565s

Alguém mais tem opinião sobre isso?

E ainda outra abordagem (semelhante à resposta de Pawel):

import urllib2
import types

request = urllib2.Request('http://localhost:8080')
request.get_method = types.MethodType(lambda self: 'HEAD', request, request.__class__)

Apenas para evitar métodos ilimitados no nível da instância.

Provavelmente mais fácil: use urllib ou urllib2.

>>> import urllib
>>> f = urllib.urlopen('http://google.com')
>>> f.info().gettype()
'text/html'

f.info () é um objeto semelhante a um dicionário, então você pode fazer f.info () ['content-type'], etc.

http://docs.python.org/library/urllib.html
http://docs.python.org/library/urllib2.html
http://docs.python.org/library/httplib.html

Os documentos observam que httplib normalmente não é usado diretamente.