O Yahoo Search é o mesmo que o Bing Search agora?

Tivemos alguns problemas sérios com a (incrivelmente) aranha mal escrita do Yahoo no passado e, como resultado, os bloqueamos. Marco Arment, do Tumblr, também compartilhou suas frustrações conosco em 31/8/2009, o que foi um fator para bloqueá-las.

[O Yahoo's Spider] vem nos inundando com 70-200 solicitações / segundo desde cerca de 5:30 da manhã EST. Eu nunca vi nada assim, mesmo dos rastreadores "experimentais" desonestos que nos abusaram no passado. A proibição do Robots.txt não é suficiente: estou tendo que bloqueá-los por IP no nível do balanceador de carga. Como eles abusaram do Stack Overflow no passado, achei que você poderia querer saber.

Parece que a pesquisa na web do Yahoo é "Powered by Bing!" agora. Isso é bom, porque nunca tivemos um problema com a aranha do Bing (também conhecida como MSNBOT).

Então, a pesquisa do Yahoo é a mesma que a pesquisa do Bing agora, ou deveríamos estar olhando para potencialmente desbloqueá-los se, de alguma forma, contra todas as probabilidades, pararem de chupar tanto?

Eu não via razão para desbloquear o bot de busca do Yahoo. Existem duas maneiras de o Yahoo estar usando o Bing Engine. Eles poderiam integrá-lo aos seus e liberar um rastreador híbrido na rede ou simplesmente enviar as consultas para o Bing Engine e divulgar os resultados obtidos.

Do documento ao qual Joel está vinculado, há outro documento aqui . Nele, o Yahoo afirma: "Em meados de julho, começamos a testar a entrega de resultados orgânicos do Bing ao Yahoo!" Para mim, isso significa que o Yahoo não está totalmente integrado ao Bing Engine. Eles estão simplesmente chamando a API do Bing Engine. Isso também faria mais sentido do ponto de vista do trabalho necessário, pois o Yahoo Engine está desaparecendo a longo prazo.

Isso significa que não veremos mais o Yahoo Bot rastreando a web quando 100% dos resultados forem lançados no Bing Engine. Portanto, não há motivo para desbloqueá-lo.

Parece que eles começaram a lançar os resultados de pesquisa do Bing no Yahoo! para cerca de 25% das pesquisas, com o objetivo de mudar completamente em agosto / setembro. Eu apostaria que o Yahoo spider não está mais rodando e, se estiver, não é muito relevante.

Eu levantei uma consulta de pesquisa com o Yahoo na segunda-feira - o reconhecimento incluía a seguinte nota sobre a transição para o Bing, que você pode achar relevante:

Yahoo! A pesquisa está animada para alcançar uma nova etapa no Yahoo! e Microsoft Search Alliance; a integração dos resultados algorítmicos da Microsoft está quase completa no mercado dos EUA e do Canadá. Yahoo! Atualmente, a pesquisa está testando a nova integração e você pode perceber uma experiência diferente durante suas pesquisas. Nesse teste, algumas listagens básicas de pesquisa usarão os resultados da Web, imagem e vídeo da Microsoft. Todas as melhorias que você espera do Yahoo! A pesquisa é preservada e continuaremos a inovar novas melhorias na experiência de pesquisa.

Como esse é apenas um estágio de teste, nem todas as pesquisas produzirão resultados diferentes, e as alterações podem não ser óbvias. Os resultados podem diferir para a mesma palavra-chave de uma pesquisa para a próxima. Como os algoritmos de classificação e indexação são diferentes, os resultados da pesquisa podem aparecer em uma ordem diferente. Os resultados da pesquisa que não apareceram antes podem ser incluídos e talvez você não os veja antes. Agradecemos sua paciência enquanto testamos minuciosamente os novos resultados.

Obrigado novamente por entrar em contato com o Yahoo! Procurar.

Para sua informação, na segunda-feira, 23 de agosto (ou dentro de alguns dias), o Yahoo começará oficialmente a exibir resultados de pesquisa do BING.