É possível executar o driver da web Selenium (Firefox) sem uma GUI?

Estamos considerando atualizar nosso servidor de produção do Ubuntu- desktop 10.04 para o Ubuntu- server 12.04.

Temos vários serviços em execução em nosso sistema operacional de desktop atual, como Selenium Web Driver. Minha pergunta é: o Selenium Web Driver pode ser executado a partir de um sistema baseado em CLI?

Meu pensamento imediato é que não pode, porque depende do Firefox, mas gostaria que alguém provasse que estou errado!

O que você está procurando é um navegador sem cabeça.

Sim, é possível executar o Selenium no Firefox sem controle. Aqui está uma postagem que você pode seguir.

Aqui está o resumo das etapas para configurar o Xvfb

#install Xvfb
sudo apt-get install xvfb

#set display number to :99
Xvfb :99 -ac &
export DISPLAY=:99    

#you are now having an X display by Xvfb

O Chrome agora tem um modo sem cabeça:

op = webdriver.ChromeOptions()
op.add_argument('headless')
driver = webdriver.Chrome(options=op)

Sim. Você pode usar HTMLUnitDriverpara FirefoxDriverao iniciar o webdriver. Esta é a configuração do navegador sem cabeça. Os detalhes podem ser encontrados aqui .

Se você deseja suporte para navegador sem interface, então há outra abordagem que você pode adotar.

https://github.com/detro/ghostdriver

Foi anunciado durante a Conferência Selenium e ainda está em desenvolvimento. Ele usa o PhantomJS como navegador e é muito melhor que o HTMLUnitDriver, ainda não há screenshots, mas ainda está em desenvolvimento ativo.

Um opcional é usar pyvirtualdisplayassim:

from pyvirtualdisplay import Display

display = Display(visible=0, size=[800, 600])
display.start()

#do selenium job here

display.close()

Uma versão mais curta é:

with Display() as display:
    # selenium job here

Geralmente é um encapsulado de python xvfbe, de alguma forma, mais conveniente.

A propósito, embora PhantomJSseja um navegador sem interface e nenhuma janela será aberta se você usá-lo, parece que PhantomJSainda precisa de um ambiente gui para funcionar.

Recebi o código de erro -6 quando uso em PhantomJS()vez de Firefox()no modo sem cabeça (console conectado à massa). Porém está tudo ok no ambiente de trabalho.

ATUALIZAÇÃO: Você não precisa mais do XVFB para rodar o Firefox sem cabeça. Firefox v55 + no Linux e Firefox v56 + no Windows / Mac agora oferece suporte à execução sem comando.

Eu adicionei alguma documentação de como usar aqui:

https://developer.mozilla.org/en-US/Firefox/Headless_mode#Selenium_in_Java

Outra opção é o GhostDriver, que agora é oficialmente compatível com WebDriver: ganho de desempenho real do Ghostdriver

Esteja ciente de que o webclient HtmlUnitDriver é de thread único e o Ghostdriver possui apenas 40% das funcionalidades para ser um WebDriver.

No entanto, o Ghostdriver foi executado corretamente para os testes e tenho problemas para conectá-lo ao hub WebDriver.

Sim, você pode executar scripts de teste sem um navegador, mas você deve executá-los no modo headless.

talvez você precise definir a dimensão do tamanho da janela. Assim como:

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('--window-size=1920x1080');

browser = webdriver.Chrome(options=options,executable_path = './chromedriver')

se também não estiver funcionando, tente aumentar a dimensão do tamanho da janela.

Instale e execute o Firefox em contêiner:

docker pull selenium/standalone-firefox
docker run --rm -d -p 4444:4444 --shm-size=2g selenium/standalone-firefox

Conecte usando webdriver.Remote:

driver = webdriver.Remote('http://localhost:4444/wd/hub', DesiredCapabilities.FIREFOX)
driver.set_window_size(1280, 1024)
driver.get('https://www.google.com')