Como posso tornar meu Wiki do Github rastreável pelos mecanismos de pesquisa? O robots.txt parece proibi-lo

Ao usar o verificador de links W3C , descobri que meu Wiki do Github não pode ser rastreado:

https://github.com/aegif/CmisSync/wiki/Getting-started-with-CmisSync-development
Status: (N / A) Proibido pelo robots.txt

Isso é lamentável, pois eu gostaria que as pessoas encontrassem facilmente este Wiki nos mecanismos de pesquisa.

PERGUNTA: Como posso tornar meu Wiki do Github rastreável pelos mecanismos de pesquisa?
Ou estou enganado e o robots.txt do Github está realmente bom?

O robots.txt do GitHub proíbe explicitamente o rastreamento das páginas da wiki, por exemplo, na seção Googlebot:

User-agent: Googlebot
Allow: /*/*/tree/master
Allow: /*/*/blob/master
...
Disallow: /*/*/wiki/*/*

Como esse é o arquivo de robôs em todo o site, não há como contorná-lo.

É uma opção interessante, já que o GitHub descreve os wikis como um local para "compartilhar conteúdo longo sobre o seu projeto". Como, por padrão, as wikis públicas são editáveis ​​por qualquer usuário, talvez seja uma proteção pesada contra spammers.

Os wikis do GitHub são pesquisáveis ​​por mecanismos que o suportam. Veja as duas primeiras linhas de https://github.com/robots.txt :

# If you would like to crawl GitHub contact us at [email protected].
# We also provide an extensive API: https://developer.github.com/

Provavelmente é para analisar vários formatos wiki, etc.

Por exemplo, pesquise no Google por "openrefine broker protocol" e o primeiro hit é uma página no wiki do projeto Github.