Enviando "User-agent" usando a biblioteca Requests em Python

Desejo enviar um valor "User-agent"ao solicitar uma página da Web usando solicitações de Python. Não sei se é bom enviar isso como parte do cabeçalho, como no código abaixo:

debug = {'verbose': sys.stderr}
user_agent = {'User-agent': 'Mozilla/5.0'}
response  = requests.get(url, headers = user_agent, config=debug)

As informações de depuração não estão mostrando os cabeçalhos sendo enviados durante a solicitação.

É aceitável enviar essas informações no cabeçalho? Caso contrário, como posso enviá-lo?

A user-agentdeve ser especificado como um campo no cabeçalho.

Aqui está uma lista de campos de cabeçalho HTTP e você provavelmente estaria interessado em campos específicos de solicitação , que incluem User-Agent.

Se você estiver usando solicitações v2.13 e mais recentes

A maneira mais simples de fazer o que você quer é criar um dicionário e especificar seus cabeçalhos diretamente, assim:

import requests

url = 'SOME URL'

headers = {
    'User-Agent': 'My User Agent 1.0',
    'From': '[email protected]'  # This is another valid field
}

response = requests.get(url, headers=headers)

Se você estiver usando solicitações v2.12.xe mais antigas

Versões mais antigas de requestscabeçalhos padrão com excesso de peso, faça o seguinte para preservar os cabeçalhos padrão e adicione seus próprios a eles.

import requests

url = 'SOME URL'

# Get a copy of the default headers that requests would use
headers = requests.utils.default_headers()

# Update the headers with your custom ones
# You don't have to worry about case-sensitivity with
# the dictionary keys, because default_headers uses a custom
# CaseInsensitiveDict implementation within requests' source code.
headers.update(
    {
        'User-Agent': 'My User Agent 1.0',
    }
)

response = requests.get(url, headers=headers)

É mais conveniente usar uma sessão , assim você não precisa se lembrar de definir cabeçalhos sempre:

session = requests.Session()
session.headers.update({'User-Agent': 'Custom user agent'})

session.get('https://httpbin.org/headers')

Por padrão, a sessão também gerencia cookies para você. Caso você queira desativar isso, consulte esta pergunta .