Escolhendo um servidor de pesquisa de texto completo independente: Sphinx ou SOLR? [fechadas]

Estou procurando um servidor de pesquisa de texto completo independente com as seguintes propriedades:

• Deve operar como um servidor independente que possa atender a solicitações de pesquisa de vários clientes
• Deve ser capaz de fazer a "indexação em massa" indexando o resultado de uma consulta SQL: diga "SELECT id, text_to_index FROM documents;"
• Deve ser um software livre e deve ser executado no Linux com o MySQL como banco de dados
• Deve ser rápido (exclui a pesquisa interna de texto completo do MySQL)

As alternativas que encontrei com essas propriedades são:

• Solr (baseado em Lucene)
• ElasticSearch (também baseado em Lucene)
• Esfinge

Minhas perguntas:

• Como eles se comparam?
• Perdi alguma alternativa?
• Eu sei que cada caso de uso é diferente, mas existem certos casos em que eu definitivamente não gostaria de usar um determinado pacote?

Uso o Solr com sucesso há quase 2 anos e nunca usei o Sphinx, por isso sou obviamente tendencioso. No entanto, tentarei manter o objetivo citando os documentos ou outras pessoas. Também levarei remendos para a minha resposta :-)

Semelhanças:

• O Solr e o Sphinx atendem a todos os seus requisitos. Eles são rápidos e projetados para indexar e pesquisar grandes quantidades de dados com eficiência.
• Ambos têm uma longa lista de sites de alto tráfego usando-os ( Solr , Sphinx )
• Ambos oferecem suporte comercial. ( Solr , Esfinge )
• Ambos oferecem ligações à API do cliente para várias plataformas / idiomas ( Sphinx , Solr )
• Ambos podem ser distribuídos para aumentar a velocidade e a capacidade ( Sphinx , Solr )

Aqui estão algumas diferenças:

• Solr, sendo um projeto Apache, é obviamente licenciado pelo Apache2. Esfinge é GPLv2 . Isso significa que, se você precisar incorporar ou estender (não apenas "usar") o Sphinx em um aplicativo comercial, terá que comprar uma licença comercial ( justificativa )
• O Solr é facilmente incorporável em aplicativos Java.
• O Solr é construído sobre o Lucene, que é uma tecnologia comprovada com mais de 8 anos de idade, com uma enorme base de usuários (essa é apenas uma pequena parte). Sempre que o Lucene obtém um novo recurso ou aceleração, o Solr também recebe. Muitos dos desenvolvedores que se comprometem com Solr também são comprometedores do Lucene.
• O Sphinx se integra mais fortemente aos RDBMSs, especialmente ao MySQL.
• O Solr pode ser integrado ao Hadoop para criar aplicativos distribuídos
• O Solr pode ser integrado ao Nutch para criar rapidamente um mecanismo de pesquisa na Web completo com rastreador .
• Solr lata índice formatos proprietários como o Microsoft Word, PDF, etc . Esfinge não pode .
• Solr vem com um corretor ortográfico pronto para uso .
• O Solr vem com o suporte de faceta pronto para uso . A lapidação no Sphinx exige mais trabalho .
• O Sphinx não permite atualizações parciais de índice para dados de campo .
• No Sphinx, todos os IDs de documentos devem ser números inteiros diferentes de zero, não assinados . O Solr nem sequer exige uma chave exclusiva para muitas operações , e as chaves exclusivas podem ser números inteiros ou seqüências de caracteres.
• O Solr suporta o recolhimento de campo (atualmente apenas como um patch adicional) para evitar a duplicação de resultados semelhantes. Sphinx parece não fornecer nenhum recurso como este.
• Enquanto o Sphinx foi projetado para recuperar apenas IDs de documentos , no Solr você pode obter documentos inteiros diretamente com praticamente qualquer tipo de dados, tornando-o mais independente de qualquer armazenamento de dados externo e economizando a viagem de ida e volta extra.
• O Solr, exceto quando usado incorporado, é executado em um contêiner da Web Java , como Tomcat ou Jetty, que requer configuração e ajuste específico adicional (ou você pode usar o Jetty incluído e apenas iniciá-lo java -jar start.jar). Sphinx não tem configuração adicional.

Perguntas relacionadas:

• Pesquisa de texto completo com Rails
• Comparação de mecanismo de pesquisa de texto completo - Lucene, Sphinx, Postgresql, MySQL?

A menos que você precise estender a funcionalidade de pesquisa de maneira proprietária, o Sphinx é sua melhor aposta.

Vantagens da esfinge:

1. O desenvolvimento e a configuração são mais rápidos
2. Agregação muito melhor (e mais rápida). Este foi o recurso matador para nós.
3. Não é XML. Isso é o que acabou descartando Solr para nós. Tivemos que retornar conjuntos de resultados bastante grandes (pense em centenas de resultados) e depois agregá-los, já que faltava a agregação do Solr. A quantidade de tempo para serializar de e para XML simplesmente matou o desempenho. Porém, para pequenos conjuntos de resultados, estava perfeitamente bem.
4. Melhor documentação que eu já vi em um aplicativo de código aberto

Solr vantagens:

1. Pode ser extendido.
2. É possível acessá-lo diretamente de um aplicativo Web, ou seja, é possível que pesquisas semelhantes ao preenchimento automático atinjam o servidor Solr diretamente via AJAX.

Nota: Existem muitos usuários com a mesma pergunta em mente.

Então, para responder ao ponto:

Qual e por quê?

• Use o Solr se você pretende usá-lo em seu aplicativo Web (mecanismo de pesquisa de sites de exemplo). Definitivamente, será ótimo, graças à sua API. Você definitivamente precisará desse poder para um aplicativo da web.

• Use o Sphinx se você quiser pesquisar toneladas de documentos / arquivos rapidamente. Ele indexa muito rápido também. Eu recomendaria não usá-lo em um aplicativo que envolva JSON ou analise XML para obter os resultados da pesquisa. Use-o para pesquisas diretas em dB. Funciona muito bem no MySQL.

Alternativas

Embora estes sejam os gigantes, há muito mais. Além disso, existem aqueles que os utilizam para alimentar suas estruturas personalizadas. Então, eu diria que você realmente não perdeu nada. Embora exista uma pesquisa elástica que tenha uma boa base de usuários.

Estou usando o Sphinx há quase um ano, e tem sido incrível. Posso indexar 1,5 milhão de documentos em cerca de um minuto no meu MacBook e ainda mais rápido no servidor. Também estou usando o Sphinx para limitar pesquisas a locais dentro de latitudes e longitudes específicas, e é muito rápido. Além disso, a forma como os resultados são classificados é muito ajustável. Fácil de instalar e configurar, se você ler um tutorial ou dois. Quase com status 1.0, mas seus Candidatos a Liberação têm sido sólidos.

Lucene / Solr parece ser mais destacado e com mais anos de negócios e uma comunidade de usuários muito mais forte. imho se você pode superar os problemas de configuração inicial, como alguns parecem ter enfrentado (não nós), então eu diria que Lucene / Solr é sua melhor aposta.