Como encontrar todos os links / páginas em um site

É possível encontrar todas as páginas e links em QUALQUER site? Gostaria de inserir um URL e produzir uma árvore de diretórios com todos os links desse site?

Eu olhei para HTTrack, mas ele baixa todo o site e eu simplesmente preciso da árvore de diretórios.

Confira o verificador de links - ele rastreará o site (obedecendo robots.txt) e gerará um relatório. A partir daí, você pode criar um script de solução para criar a árvore de diretórios.

Se você tiver o console do desenvolvedor (JavaScript) em seu navegador, poderá digitar este código em:

urls = document.querySelectorAll('a'); for (url in urls) console.log(urls[url].href);

Abreviado:

n=$$('a');for(u in n)console.log(n[u].href)

Outra alternativa pode ser

Array.from(document.querySelectorAll("a")).map(x => x.href)

Com o $$(seu é ainda mais curto

Array.from($$("a")).map(x => x.href)

Se esta for uma questão de programação, eu sugiro que você escreva sua própria expressão regular para analisar todos os conteúdos recuperados. As tags de destino são IMG e A para HTML padrão. Para JAVA,

final String openingTags = "(<a [^>]*href=['\"]?|<img[^> ]* src=['\"]?)";

isso, junto com as classes Pattern e Matcher, deve detectar o início das tags. Adicione a tag LINK se você também quiser CSS.

No entanto, não é tão fácil quanto você pode ter pensado inicialmente. Muitas páginas da web não são bem formadas. Extrair todos os links de forma programática que o ser humano pode "reconhecer" é realmente difícil se você precisa levar em conta todas as expressões irregulares.

Boa sorte!

function getalllinks($url) {
    $links = array();
    if ($fp = fopen($url, 'r')) {
        $content = '';
        while ($line = fread($fp, 1024)) {
            $content. = $line;
        }
    }
    $textLen = strlen($content);
    if ($textLen > 10) {
        $startPos = 0;
        $valid = true;
        while ($valid) {
            $spos = strpos($content, '<a ', $startPos);
            if ($spos < $startPos) $valid = false;
            $spos = strpos($content, 'href', $spos);
            $spos = strpos($content, '"', $spos) + 1;
            $epos = strpos($content, '"', $spos);
            $startPos = $epos;
            $link = substr($content, $spos, $epos - $spos);
            if (strpos($link, 'http://') !== false) $links[] = $link;
        }
    }
    return $links;
}

tente este código ....