Boa ferramenta para rastrear meu site e me ajudar a encontrar links mortos e arquivos desvinculados [fechado]

21

Eu tenho um site legado bastante grande, com literalmente milhares de PDFs que às vezes são contabilizados em um banco de dados, mas geralmente são apenas links na página e são armazenados na maioria dos diretórios do site.

Eu escrevi um rastreador php para seguir todos os links do meu site e depois comparo isso com um despejo da estrutura de diretórios, mas há algo mais fácil?

site-maintenance web-crawlers dead-links MrChrister
fonte
Consulte também webmasters.stackexchange.com/questions/13310/…, que também pergunta sobre verificação ortográfica.
precisa

Respostas:

15

Eu usei o Link Sleuth do Xenu . Funciona muito bem, mas não faça DOS!

plntxt
fonte
1
Marque a opção 'Arquivos órfãos' nas opções e ele solicitará um login ftp no seu site.
pelms
Isso lida com sites em que você também precisa fazer login para acessar a página?
Donny V.
@ Jim Como posso ver em que página está o link quebrado?
24412 Rob
Após a conclusão do rastreamento, há um relatório que informa as informações. Dependendo do tamanho do site e do número de links quebrados, pode ser difícil analisar. Normalmente, ajusto as opções de relatório antes do rastreamento e abro o relatório como um arquivo de texto (já que é .htm) e excluo o que não é pertinente para torná-lo mais gerenciável. Espero que isto ajude.
plntxt
6

Se você estiver usando o Windows 7, a melhor ferramenta é o SEO Toolkit 1.0 do IIS7. É gratuito e você pode baixá-lo gratuitamente.

A ferramenta examinará qualquer site e informará onde estão todos os links mortos, quais páginas demoram para carregar, quais páginas têm títulos ausentes, títulos duplicados, o mesmo para palavras-chave e descrições e quais páginas quebraram o HTML.

Ben Hoffman
fonte
1
Eu usei isso pessoalmente, e é excelente para varredura e, claro, SEO, mas o check-in FTP no Xenu apenas esclarece isso.
10893 MrChrister
1

Eu sou um grande fã do linklint para verificar sites estáticos grandes, se você tiver uma linha de comando unix (usei no linux, MacOS e FreeBSD). Consulte o site para obter instruções de instalação. Depois de instalado, crio um arquivo chamado check.lle faço:

linklint @check.ll

Aqui está a aparência do meu arquivo check.ll

# linklint
-doc .
-delay 0
-http
-htmlonly
-limit 4000
-net
-host www.example.com
-timeout 10

Isso rastreia www.example.come gera arquivos HTML com relatórios com referência cruzada para o que está quebrado, ausente etc.

artlung
fonte
1

Existem vários produtos da Microsys , especialmente o A1 Sitemap Generator e o A1 Website Analyzer que rastrearão seu site e informarão tudo o que você possa imaginar sobre ele.

Isso inclui links quebrados, mas também uma exibição em tabela de todas as suas páginas, para que você possa comparar itens como tags idênticas <title> e meta description, links nofollow, meta noindex em páginas da web e muitas doenças que precisam apenas de olhos atentos e uma mão rápida para consertar.

Evgeny
fonte
1

O Link Examiner também é um freeware muito bom para a sua necessidade.

Sombrio
fonte