Obter o título de todos os URLs em uma lista

Eu tenho uma lista enorme de URLs e quero obter o título de todos eles.

É possível? (sem realmente ter que visitar todos e cada um deles manualmente)

Estou usando o Windows 8

Bem ... normalmente eu faria isso com o Linux, mas aqui está um pequeno batchfile que você pode usar no Windows: ( sites.txt conteria seus URLs)

sites.bat

@echo off
if exist titles.txt (del titles.txt)
for /f "tokens=*" %%a in (sites.txt) do (
  echo Checking %%a
  echo|set /p=%%a ;>> titles.txt
  wget --quiet -O - "%%a" 2> nul | sed -n -e "s!.*<title>\(.*\)</title>.*!\1!p" >> titles.txt
)
type titles.txt

Resultado será em titles.txt (com URL ; na frente para facilitar a importação em uma planilha)

Você precisa wget e sed para Windows.

Você pode encontra-los aqui:

wget para o Windows
sed para Windows

Nota: isso usa um simples sed Comando para extrair o título. Isso poderia dar errado quando um title tag também existe no corpo (ou não tem título). Se for esse o caso, você pode encontrar verificações mais complexas Aqui .