Eu tenho alguns URLs gerados dinamicamente.
Posso usar regex para bloquear esses URLs em um arquivo robots.txt?
robots.txt
regular-expression
Sudheera Njs
fonte
fonte
Respostas:
Expressões regulares não são válidas no robots.txt, mas o Google, o Bing e alguns outros robôs reconhecem alguma correspondência de padrões.
Digamos que se você deseja bloquear todos os URLs que possuem
example
algum lugar no URL, você pode usar uma entrada curinga *Você também pode usar o cifrão $ para especificar que os URLs devem terminar dessa maneira. Portanto, se você deseja bloquear todos os URLs que terminam com
example
, mas não os URLs que possuemexample
outro local no URL, você pode usar:Informações mais detalhadas sobre o Google podem ser encontradas aqui: Especificações do Robots.txt , Bing aqui: Como criar um arquivo Robots.txt e há um guia interativo no Moz aqui
fonte