Como a Wikipedia gera seu Sitemap?

O tópico me interessa por causa do tamanho da Wikipedia. Pode ser fácil criar alguns crons para atualizar os mapas de site periodicamente em um site pequeno, mas e quanto a um grande? Assim: Como a Wikipedia gera seu