No Python, como uso o urllib para ver se um site é 404 ou 200?

Respostas:

176

O método getcode () (adicionado em python2.6) retorna o código de status HTTP que foi enviado com a resposta ou None se o URL não for um URL HTTP.

>>> a=urllib.urlopen('http://www.google.com/asdfsf')
>>> a.getcode()
404
>>> a=urllib.urlopen('http://www.google.com/')
>>> a.getcode()
200
Nadia Alramli
fonte
Para usar no python 3, basta usar from urllib.request import urlopen.
Nathanael Farley 15/05
4
No python 3.4, se houver um 404, urllib.request.urlopenretornará a urllib.error.HTTPError.
Mcb # 10/17
Não funciona no python 2.7. Se o HTTP retornar 400, uma exceção será lançada
Nadav B
86

Você também pode usar o urllib2 :

import urllib2

req = urllib2.Request('http://www.python.org/fish.html')
try:
    resp = urllib2.urlopen(req)
except urllib2.HTTPError as e:
    if e.code == 404:
        # do something...
    else:
        # ...
except urllib2.URLError as e:
    # Not an HTTP-specific error (e.g. connection refused)
    # ...
else:
    # 200
    body = resp.read()

Observe que HTTPErroré uma subclasse URLErrorque armazena o código de status HTTP.

Joe Holloway
fonte
O segundo é elseum erro?
Samy Bencherif
@NadavB O objeto de exceção 'e' será parecido com um objeto de resposta. Ou seja, é parecido com um arquivo e você pode 'ler' a carga útil dele.
Joe Holloway
37

Para Python 3:

import urllib.request, urllib.error

url = 'http://www.google.com/asdfsf'
try:
    conn = urllib.request.urlopen(url)
except urllib.error.HTTPError as e:
    # Return code error (e.g. 404, 501, ...)
    # ...
    print('HTTPError: {}'.format(e.code))
except urllib.error.URLError as e:
    # Not an HTTP-specific error (e.g. connection refused)
    # ...
    print('URLError: {}'.format(e.reason))
else:
    # 200
    # ...
    print('good')
XavierCLL
fonte
Para URLError print(e.reason) pode ser usado.
Gitnik
Que tal http.client.HTTPException?
precisa saber é o seguinte
6 
import urllib2

try:
    fileHandle = urllib2.urlopen('http://www.python.org/fish.html')
    data = fileHandle.read()
    fileHandle.close()
except urllib2.URLError, e:
    print 'you got an error with the code', e
Mrme
fonte
5
A TIMEX está interessada em pegar o código de solicitação http (200, 404, 500, etc.) e não um erro genérico gerado pelo urllib2.
Joshua Burns,