Quais são as alternativas agora que a API de pesquisa na web do Google foi descontinuada? [fechadas]

322

A API de pesquisa na web do Google foi descontinuada e substituída pela API de pesquisa personalizada (consulte http://code.google.com/apis/websearch/ ).

Eu queria pesquisar na web inteira, mas parece que, com a nova API, somente sites personalizados podem ser pesquisados.

Existe uma maneira de pesquisar toda a web programaticamente? Consegui consultar a API antiga usando JSON de um programa Java.

google-api deprecated google-search google-custom-search Dan
fonte
3
OK. Eu fiz muita pesquisa sobre este e parece que a única solução é o Yahoo Boss
Dan
A API de pesquisa personalizada não é o que a maioria das pessoas procura: - / Dê uma olhada no searchapi.io !
Stan Smulders
Fiz POCs em várias APIs de pesquisa, que oferecem muitos recursos e são fáceis de implementar em uma fração de minutos. Swiftype ( swiftype.com ), Cludo ( cludo.com/en ), Algolia ( algolia.com/doc ) são as APIs que eu implementei e testei também. Eu também poderia fornecer respostas detalhadas, mas esta pergunta está encerrada.
Ashish Kumar
2
A melhor solução é usar um serviço de terceiros como SerpApi
Hartator
masswerk.at/googleBBS
neverMind9 /

Respostas:

32

Você pode simplesmente enviá-los através de um navegador e, em seguida, analisar o html, é o que eu sempre fiz, mesmo para coisas como o Youtube.

Zimm3r
fonte
64
Foi-me dito que os termos de serviço do Google proíbem o spidering ...
Steven A. Lowe
52
Pelos Termos de Serviço: "Você concorda especificamente em não acessar (ou tentar acessar) nenhum dos Serviços por qualquer meio automatizado (incluindo o uso de scripts ou rastreadores da Web) ..."
sexta
18
"Violar os termos de serviço com um provedor de serviços" nunca é um bom conselho. Analisar páginas da Web é algo que interrompe de um dia para o outro sem aviso prévio, esse é um péssimo conselho - essa é a razão pela qual a votação foi mais baixa e mais votada.
WhyNotHugo
143
Sim, ele quebra os termos de serviço, mas pessoalmente eu não me preocuparia com isso. O Google pode lidar com um pouco de raspagem, afinal eles fizeram uma fortuna raspando sites de outras pessoas.
jimbo2087
106
Vamos lá pessoal. Não seja tão ingênuo. O Google não pode forçar esses ToS na sua garganta. Para violar um ToS, você deve primeiro concordar com ele (por escrito ou clicando em um botão como 'Sim, aceito os termos'). Pense no seguinte: coloquei um ToS em minha página da Web que todas as pessoas que visitam essa página devem me dar US $ 10000. Posso aplicar este ToS aos meus visitantes? Será que o que eu posso pode me imediatamente.
Migrate2Lazarus ver meu perfil 25/11
482

Sim, a Pesquisa personalizada do Google agora substituiu a antiga API de pesquisa, mas você ainda pode usar a Pesquisa personalizada do Google para pesquisar em toda a Web , embora as etapas não sejam óbvias na configuração da Pesquisa personalizada.

Para criar um mecanismo de pesquisa personalizada do Google que pesquisa toda a web:

  1. Na página inicial da Pesquisa personalizada do Google ( http://www.google.com/cse/ ), clique em Criar um mecanismo de pesquisa personalizado.
  2. Digite um nome e uma descrição para o seu mecanismo de pesquisa.
  3. Em Definir seu mecanismo de pesquisa, na caixa Sites a serem pesquisados, digite pelo menos um URL válido (por enquanto, basta inserir www.anyurl.com para passar dessa tela. Mais sobre isso mais tarde).
  4. Selecione a edição CSE desejada e aceite os Termos de Serviço e clique em Avançar. Selecione a opção de layout desejada e clique em Avançar.
  5. Clique em qualquer um dos links na seção Próximas etapas para navegar para o painel de controle.
  6. No menu à esquerda, em Painel de controle, clique em Noções básicas.
  7. Na seção Preferências de Pesquisa, selecione Pesquisar na Web inteira, mas enfatize os sites incluídos.
  8. Clique em Salvar alterações.
  9. No menu à esquerda, em Painel de controle, clique em Sites.
  10. Exclua o site digitado durante o processo de configuração inicial.

Agora, seu mecanismo de pesquisa personalizado pesquisará toda a web.

Preços

  • A Pesquisa personalizada do Google oferece 100 consultas por dia gratuitamente.
  • Depois disso, você paga US $ 5 por 1.000 consultas.
  • Há um máximo de 10.000 consultas por dia.

Fonte: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

  • A qualidade da pesquisa é muito menor que a pesquisa normal do Google (sem sinônimos, "inteligência" etc.)
  • Parece que o Google está planejando desligar esse serviço completamente.
Bangkokian
fonte
26
Obrigado por isso. Esperamos que este seja um procedimento válido e não uma brecha aguardando para ser conectada pelo Google!
Mazatec
9
Obrigado! Esta é possivelmente a única resposta na Internet que abordou minha pergunta. É espantoso o motivo pelo qual o Google encerraria o suporte direto à API para o serviço principal.
spamguy
7
mas como usá-lo com json?
Nawara # 19/13
61
AVISO: nós fizemos o desenvolvimento usando a versão gratuita, mas o upgrade para a versão paga (para fazer mais de 100 pesquisas), o Google obriga a desligar a "pesquisar toda a web, mas com ênfase nos sites incluídos"
Bryan Larsen
5
"Em 1º de abril de 2017, o Google interromperá as vendas do Google Site Search. Todas as novas compras e renovações devem ocorrer antes desta data. O produto será completamente encerrado em 1º de abril de 2018."
Gajus #
55

A Pesquisa personalizada do Google (conforme preconizado nas respostas mais bem classificadas) funciona bem, mas é muito cara em comparação com seus concorrentes (abaixo) ou em comparação com outras APIs do Google. Ele tem um pequeno nível gratuito (100 consultas / dia) e um preço muito alto de US $ 5 por 1.000 consultas.

Eles oferecem a opção de atualizar para a Pesquisa no site, que tem preços um pouco melhores, mas isso significa procurar um site (o seu), por isso é realmente algo bem diferente - não uma atualização.

As principais alternativas parecem ser:

API do Bing Search
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44,
que possui um nível gratuito de 5000q / mês e preços a partir de 5 consultas por centavo e sem limite rígido.

ATUALIZAÇÃO: no final de 2016, esta API foi desativada em favor de sua contrapartida do Azure "API de Pesquisa do Bing dos Serviços Cognitivos":
https://azure.microsoft.com/en-us/services/cognitive-services/search/

Veja aqui um gráfico de preços, que começa em US $ 3 / m para 1.000 transações. A menos que eu esteja perdendo algo, é muito caro.


UPDATE da API de pesquisa do Yahoo BOSS : foi descontinuado em 31 de março de 2016. http://developer.yahoo.com/boss/search/
Com preços a partir de cerca de 12 consultas / centavo para pesquisas na Web inteiras.

E alguns dos quais eu nunca ouvi falar antes:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[descontinuado - conforme indicado abaixo]

Há um pouco de discussão sobre alguns deles neste post do SO .
[foi fechado por estar fora de tópico e agora se foi]

Tom
fonte
2
A API de pesquisa do Bing versão 5 agora permite até 1.000 transações por mês em todas as APIs de pesquisa do Bing (Web, imagens, vídeo, pesquisa de notícias) - microsoft.com/cognitive-services/en-us/pricing . Eu coloquei algumas amostras - mvark.blogspot.in/2016/06/...
mvark
wholeeweb.com interrompeu o serviço como visto aqui wholeeweb.com/services
Wessam El Mahdy
em 15 de dezembro de 2016 A API do Bing Web Search será movida nos Serviços Cognitivos do Azure Marketplace ( azure.microsoft.com/en-us/services/cognitive-services/search ), que exigem uma verificação de telefone + cartão de crédito para uma assinatura (mesmo um grátis).
gilad Mayani
Na API do Bing: "O DataMarket e o Data Services estão sendo aposentados e deixarão de aceitar novos pedidos após 31/12/2016. As assinaturas existentes serão aposentadas e canceladas a partir de 31/03/2017. Entre em contato com seu provedor de serviços para obter opções, se você deseja continuar o serviço ".
Dmitri Záitsev
Obrigado por apontar a alteração - atualizei a resposta em conformidade.
Tom
27

Aqui está uma opção na parte inferior do Painel de controle de pesquisa personalizada: "Sites a pesquisar" , você pode escolher "Pesquisar toda a web, mas enfatizar os sites incluídos"

Painel de controle de pesquisa personalizada - Sites a serem pesquisados

Yishu Fang
fonte
1
ainda funciona para você?
Dejell
Sim, ainda funciona.
5
O Google obriga a desativar essa opção quando você atualiza para a pesquisa paga. E grátis tem um limite de 100 pesquisas.
Bryan Larsen
1
@Yishu, Por que a página https://support.google.com/customsearch/answer/141877?hl=pt-BR declara " Você não pode configurar o Google Site Search para pesquisar em toda a Web "?
Pacerier 18/09/2015
@ Pacerier, não faço ideia. Talvez a política tenha mudado?
Yishu Fang
14

Faroo tem uma API de Pesquisa na Web gratuita

Jack
fonte
Seus resultados são limitados, mas um bom ponto de partida.
afro360
@ Jack, Não ouvi isso antes. De onde eles obtêm os resultados da pesquisa?
Pacerier 18/09/2015
7
O possível rompimento de transação para Faroo é que sua chave de API está restrita ao endereço IP especificado durante o registro.
Exceção não capturada
6
Esses caras ainda estão operacionais? Solicitei chaves de API e não ouvi nada.
Paul Whelan
5

Acabei de encontrar isso no Common Crawl.

http://www.commoncrawl.org/

Pode ser a resposta que estamos procurando !!

Dan
fonte
3
Possui um índice limitado, atualizado uma vez por ano. E, finalmente, é muito caro, pois você precisa se conectar ao Amazon S3.
Guillaume Lebourgeois
@GuillaumeLebourgeois, Expensive? Eu não acho que seja verdade. É uma organização sem fins lucrativos. Todo o 102 TB de dados é gratuito para download.
Pacerier 23/08/16
O custo é para se conectar à AWS, onde você pode acessar isso. Se você é um estudante, é elegível para o nível gratuito, mas ainda pode haver custos de transferência, etc. e se você não estiver no nível gratuito, haverá custos de funcionamento.
Tripleee 16/05/19
Parece que o rastreamento comum é atualizado mensalmente agora
Jack Tuck
4

Há uma observação no topo dos documentos :

Observação: a API do Google Web Search foi oficialmente descontinuada em 1 de novembro de 2010. Ela continuará funcionando de acordo com nossa política de descontinuação , mas o número de solicitações que você pode fazer por dia será limitado. Portanto, recomendamos que você mude para a nova API de pesquisa personalizada .

A política de descontinuação diz que eles continuarão executando a API por 3 anos. Portanto, se você já possui um aplicativo que usa a API antiga, não precisa se apressar para mudar as coisas ainda. Se você estiver escrevendo um novo aplicativo, use a API de pesquisa personalizada . Veja minha resposta aqui para saber como fazer isso em Python, mas a idéia é a mesma para qualquer linguagem.

moinudin
fonte
8
E não é gratuito .... "US $ 5 por 1000 consultas" ... muito, não é grátis!
UpTheCreek
1
Esta resposta agora está obsoleta, pois os três anos terminaram e o 29/09/2014 já passou.
Nanofarad
CustomeSearchAPI não é em todos os sites - é para os sites de usuários
Dejell
1

Você pode criar o mecanismo de pesquisa personalizado "em qualquer lugar" diretamente da página inicial da Pesquisa personalizada do Google ( http://www.google.com/cse/ ). Você deve apenas clicar em 'avançado', ao adicionar um novo mecanismo. Lá você pode fornecer o tipo de site Schema.org. ' Coisa ' é o tipo mais genérico, que cobre toda a web.

testlnord
fonte
Eu não entendi. Funciona para você?
Dejell