Podemos usar regex no arquivo robots.txt para bloquear URLs?
Eu tenho alguns URLs gerados dinamicamente. Posso usar regex para bloquear esses URLs em um arquivo
23