Configuração adequada sitemap.xml

11

Eu tenho um site dinâmico que possui muitos (bem, menos de 50) usuários. Cada usuário pode criar quantas páginas quiser. Sei que há um limite para quantas páginas você pode listar no sitemap.xml e, por enquanto, estou abaixo desse limite, mas gostaria de saber qual a melhor maneira de permitir que os mecanismos de pesquisa saibam (tudo?) as páginas dos meus usuários ainda estando abaixo desse limite, mesmo que eu tenha mais do que o limite.

Mike
fonte

Respostas:

11

Limites do Sitemap:

Os arquivos do sitemap têm um limite de 50.000 URLs e 10 megabytes por sitemap. Os sitemaps podem ser compactados usando gzip, reduzindo o consumo de largura de banda. Vários arquivos de sitemap são suportados, com um arquivo de índice de Sitemap servindo como ponto de entrada para um total de 1000 Sitemaps.

Observe que você pode especificar vários sitemaps no seu arquivo robots.txt :

Se você se deparar com essa limitação, talvez divida seus usuários de alguma forma. Digamos que cada um de seus usuários não tenha mais de 10.000 URLs por peça, você pode dividi-lo em arquivos e adicioná-lo ao seu robots.txtarquivo:

Sitemap: http://www.example.com/sitemaps/users-001-005.xml
Sitemap: http://www.example.com/sitemaps/users-006-010.xml
Sitemap: http://www.example.com/sitemaps/users-011-015.xml
Sitemap: http://www.example.com/sitemaps/users-016-020.xml
Sitemap: http://www.example.com/sitemaps/users-021-025.xml
Sitemap: http://www.example.com/sitemaps/users-026-030.xml
Sitemap: http://www.example.com/sitemaps/users-031-035.xml
Sitemap: http://www.example.com/sitemaps/users-036-040.xml
Sitemap: http://www.example.com/sitemaps/users-041-045.xml
Sitemap: http://www.example.com/sitemaps/users-046-050.xml

Agora, você ainda precisa estar atento ao limite de 10 MB para cada sitemap individual, mas essa é uma abordagem para lidar com o problema de "muitos" URLs.

Veja os arquivos da CNN e do Google robots.txt para ver vários sitemaps em ação.

artlung
fonte
2
Nota: o limite de 10 MB é por mapa do site, não total
Thomas Bonini
1
Pode valer a pena vincular e dar um exemplo do arquivo Índice do Sitemap: sitemaps.org/protocol.php#index Isso também é usado por muitos sites e tem os benefícios da pesquisa detalhada nas ferramentas do Google para webmasters. Jovem exemplos: nanaimo.ca/sitemap.xml barnonedrinks.com/sitemap.xml
JasonBirch
Alguém já viu um sitemap de 10 MB? Yeowzerz!
Tim Post
Eu não vi a 10 MB mapa do site, mas aqui está um com 50.000 URLs: gstatic.com/dictionary/static/sitemaps/...
artlung
(encontrado em poucos minutos, navegando alguns sitemaps para a CNN e google e algumas outras / sites de arquivos grandes de notícias)
artlung