O Yahoo Search é o mesmo que o Bing Search agora?

25

Tivemos alguns problemas sérios com a (incrivelmente) aranha mal escrita do Yahoo no passado e, como resultado, os bloqueamos. Marco Arment, do Tumblr, também compartilhou suas frustrações conosco em 31/8/2009, o que foi um fator para bloqueá-las.

[O Yahoo's Spider] vem nos inundando com 70-200 solicitações / segundo desde cerca de 5:30 da manhã EST. Eu nunca vi nada assim, mesmo dos rastreadores "experimentais" desonestos que nos abusaram no passado. A proibição do Robots.txt não é suficiente: estou tendo que bloqueá-los por IP no nível do balanceador de carga. Como eles abusaram do Stack Overflow no passado, achei que você poderia querer saber.

Parece que a pesquisa na web do Yahoo é "Powered by Bing!" agora. Isso é bom, porque nunca tivemos um problema com a aranha do Bing (também conhecida como MSNBOT).

Então, a pesquisa do Yahoo é a mesma que a pesquisa do Bing agora, ou deveríamos estar olhando para potencialmente desbloqueá-los se, de alguma forma, contra todas as probabilidades, pararem de chupar tanto?

Jeff Atwood
fonte
2
Literalmente e figurativamente.
Tim Post

Respostas:

10

Eu não via razão para desbloquear o bot de busca do Yahoo. Existem duas maneiras de o Yahoo estar usando o Bing Engine. Eles poderiam integrá-lo aos seus e liberar um rastreador híbrido na rede ou simplesmente enviar as consultas para o Bing Engine e divulgar os resultados obtidos.

Do documento ao qual Joel está vinculado, há outro documento aqui . Nele, o Yahoo afirma: "Em meados de julho, começamos a testar a entrega de resultados orgânicos do Bing ao Yahoo!" Para mim, isso significa que o Yahoo não está totalmente integrado ao Bing Engine. Eles estão simplesmente chamando a API do Bing Engine. Isso também faria mais sentido do ponto de vista do trabalho necessário, pois o Yahoo Engine está desaparecendo a longo prazo.

Isso significa que não veremos mais o Yahoo Bot rastreando a web quando 100% dos resultados forem lançados no Bing Engine. Portanto, não há motivo para desbloqueá-lo.

Ben Hoffman
fonte
3
Ding dong .. o bot está morto. Esfregue os olhos. Levante-se da cama. Ding dong que bot velho e perverso é deaaaad!
Tim Post
7

Parece que eles começaram a lançar os resultados de pesquisa do Bing no Yahoo! para cerca de 25% das pesquisas, com o objetivo de mudar completamente em agosto / setembro. Eu apostaria que o Yahoo spider não está mais rodando e, se estiver, não é muito relevante.

Joel Spolsky
fonte
2
Curiosamente, o Yahoo no Japão começará a usar os resultados de pesquisa do Google: bbc.co.uk/news/business-10773532
DisgruntledGoat
@DisgruntledGoat: [Desculpe-me Joel por responder sua resposta] "O Yahoo no Japão" é basicamente uma empresa diferente do Yahoo na América, é administrado pelo SoftBank. É por isso que o Geocities ainda está vivo no Japão. Além disso, o "Yahoo Leilões" no Japão é o equivalente ao Ebay, etc. Como observa esse artigo, o Yahoo é dominante em pesquisas no Japão (acredite ou não).
@ Kinopiko - O Yahoo Japan é relevante, mas dificilmente dominante. Eles controlam 20% da quota de mercado de acordo com isso, gs.statcounter.com/#search_engine-JP-daily-20080701-20100717
Ben Hoffman
11
@RandomBen: Dúvidas severas sobre a origem dos dados desse gráfico. Se você tiver algum tráfego para palavras-chave de pesquisa no idioma japonês no seu site ou se tiver uma tradução para o japonês, consulte o mecanismo de pesquisa que envia mais tráfego para você, Google ou Yahoo.co.jp.
@ Kinopiko: Muito interessante. Vou fazer mais algumas pesquisas. Os números desse site para os EUA parecem corretos, mas me preocupa que isso ocorra para o Japão. Me faz pensar se outros países estão incorretos.
Ben Hoffman
4

Eu levantei uma consulta de pesquisa com o Yahoo na segunda-feira - o reconhecimento incluía a seguinte nota sobre a transição para o Bing, que você pode achar relevante:

Yahoo! A pesquisa está animada para alcançar uma nova etapa no Yahoo! e Microsoft Search Alliance; a integração dos resultados algorítmicos da Microsoft está quase completa no mercado dos EUA e do Canadá. Yahoo! Atualmente, a pesquisa está testando a nova integração e você pode perceber uma experiência diferente durante suas pesquisas. Nesse teste, algumas listagens básicas de pesquisa usarão os resultados da Web, imagem e vídeo da Microsoft. Todas as melhorias que você espera do Yahoo! A pesquisa é preservada e continuaremos a inovar novas melhorias na experiência de pesquisa.

Como esse é apenas um estágio de teste, nem todas as pesquisas produzirão resultados diferentes, e as alterações podem não ser óbvias. Os resultados podem diferir para a mesma palavra-chave de uma pesquisa para a próxima. Como os algoritmos de classificação e indexação são diferentes, os resultados da pesquisa podem aparecer em uma ordem diferente. Os resultados da pesquisa que não apareceram antes podem ser incluídos e talvez você não os veja antes. Agradecemos sua paciência enquanto testamos minuciosamente os novos resultados.

Obrigado novamente por entrar em contato com o Yahoo! Procurar.

Gareth Williams
fonte