Os user-agents podem ser listados juntos, seguidos por suas regras comuns em um robots.txt ?
User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/
web-crawlers
robots.txt
user-agent
davidcondrey
fonte
fonte
user-agent: *seguido pela proibição? A lista de agentes do usuário "permitidos" é maior que a lista que você deseja proibir?Respostas:
Sim. Supondo que os nomes dos seus agentes estejam especificados corretamente, parece que isso deve funcionar. Aqui está um recurso, se você quiser ler mais. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt
fonte