Estou procurando uma web spider para o Ubuntu como esta Webripper - Calluna Software . Você pode baixar um site inteiro como você pode
wget -r -m example.com
mas o recurso que estou procurando é que você pode inserir um termo de pesquisa como "Linux", que pesquisa na Web e faz o download deles. Existem programas no Ubuntu assim?
Você pode usar os Alertas do Google para criar um tipo de página de pesquisa entregue em um feed e, em seguida, usar um leitor de RSS ou o Thunderbird para lê-los.
Eu uso o Thunderbird para RSS. Não sei se existem leitores de RSS que possam exportar o feed para um simples html.
Dê uma chance ao httrack (CLI) ou ao webhttrack (interface da web), está no repositório do universo. Não tenho certeza sobre o recurso de termo de pesquisa que você descreve, mas oferece várias opções facilmente configuráveis.
http://packages.ubuntu.com/de/oneiric/webhttrack
Copiadora de sites HTTrack - Navegador offline de software livre (GNU GPL)
Você pode experimentar o http ripper .
Aqui estão alguns recursos publicados no site:
Free Software (GPL 3) Generic (works with almost every website) Runs on GNU/Linux and Windows Nearly undetectable / blockable by servers Built with python and pygtk
Captura de tela
Assista a um tutorial, do desenvolvedor do httpripper:
Link para Download:
Funcionou para mim no Ubuntu 11.10 x64
Existem módulos adequados no CPAN do Perl. Você só precisa de um pouco de script perl.
Em particular, dê uma olhada no módulo WWW: Mechanize no módulo WWW: Mechanize .