Como desaprovo um diretório inteiro com o robots.txt?

19

Atualmente, tenho dois sites em que estou trabalhando: um carrinho de compras e outro comprador. Ambos estão com o mesmo nome de domínio. Por exemplo,

http://example.com/first_url 
http://example.com/second_url

Ambos os URLs têm toneladas de páginas abaixo deles 

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

Como desaprovo o URL principal /first_urle /second_urltambém todos os subpáginas e subdiretórios? Eu estava pensando algo assim, mas não sei se isso funciona ou não e se era a sintaxe correta

Disallow: /first_url/*/
Disallow: /second_url/*/
seo robots.txt Stephen Ostermiller
fonte
1
Eu acho que a sua sintaxe está certa, mas não tenho certeza sobre o extra / #

Respostas:

-1

Você pode usar isso como seu padrão robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

A estrela permitirá que tudo sob essa categoria seja desaprovado. Você pode até proibir uma coisa específica nessa categoria, digitando esse URL específico.

SAF
fonte
4
Isso não é diferente da resposta aceita, exceto a falta da barra inicial. As regras de proibição no robots.txt devem começar com uma barra. É assim que todos os exemplos estão na documentação
Stephen Ostermiller