Eu gostaria de ter uma lista de arquivos que deveriam existir em todos os sites. A idéia é agradar a maioria dos navegadores e bots e diminuir o número de 404 mensagens nos logs.
Até agora, tenho os seguintes arquivos:
/favicon.ico/robots.txt/sitemap.xml/apple-touch-icon-72x72-precomposed.png/apple-touch-icon-72x72.png/apple-touch-icon-precomposed.png/apple-touch-icon.png
Existem outros arquivos que são solicitados com frequência e devem estar em todos os sites?
robots.txt
404
logging
favicon
Raffael Luthiger
fonte
fonte
Respostas:
Até onde eu sei, nenhum robô ou aplicativo solicita o sitemap.xml sem que seja solicitado que ele esteja lá. A maioria dos sites provavelmente não o possui e, dos sites que o fazem, muitos usam o gzip e muitos chamam o arquivo de outra coisa ou colocam os sitemaps em uma subpasta.
Aqui estão todos os que eu conheço:
Dá às suas páginas um ícone em guias, favoritos etc.
Útil se você precisar bloquear qualquer página dos mecanismos de pesquisa, mas pode ficar em branco para permitir o acesso a tudo. Também pode conter a localização do seu mapa do site.
O método mais fácil de verificação (economiza ter metatags inúteis no seu código HTML). Há
google[hash].htmleBingSiteAuth.xml. Também tenho um para o Yahoo na minha raiz, mas isso provavelmente não é mais necessário.Esse arquivo é solicitado pelo Adobe Flash sempre que o Flash precisar se conectar ao seu site. Você provavelmente nunca verá esse arquivo nos seus logs em um site pequeno, mas eu tinha vários pedidos em um site. Você pode apenas criar um arquivo em branco, pois o padrão é bloquear o acesso a sites externos.
Obviamente, não é solicitado pelos navegadores / bots, mas é vital para a maioria dos sites.
Por fim, em relação aos ícones que o iPhone insiste em solicitar: existem vários tamanhos que podem ser solicitados. Meu iPhone 3G (iOS 5) solicita a versão 57x57 e vejo 72x72 e 114x114 (mais comuns) nos meus logs de erros. Portanto, se você deseja eliminar todos os 404s dos seus logs, é incompreensível que você precise fornecer tudo isso:
/apple-touch-icon-57x57-precomposed.png/apple-touch-icon-57x57.png/apple-touch-icon-72x72-precomposed.png/apple-touch-icon-72x72.png/apple-touch-icon-114x114-precomposed.png/apple-touch-icon-114x114.png/apple-touch-icon-precomposed.png/apple-touch-icon.pngfonte
.htaccessé específico para o Apache e, mesmo para aqueles que usam o Apache, é uma má escolha de desempenho se alguém tiver acesso às definições do VirtualHost.clientaccesspolicy.xml.Eu acho que você provavelmente tem.
Mesmo o ícone do Apple Touch não é totalmente necessário, pois se você optar por não tê-lo (e não vincular a ele), o iOS usará apenas uma miniatura da página (pessoalmente, eu as adiciono).
Eu diria que você realmente precisa do favicon.ico e do robots.txt , o sitemap.xml também é opcional.
fonte
Outro que eu notei é o browserconfig.xml, que é uma bastardização solicitada pelo IE. Sangue ensanguentado enchendo os troncos.
fonte
As versões mais recentes da apple solicitam esses arquivos (nesta ordem)
fonte