Perguntas com a marcação «lucene»

Como o aprendizado de máquina é incorporado ao design do mecanismo de pesquisa?

Atualmente, estou construindo um pequeno mecanismo de pesquisa interno baseado no Apache Lucene. Seu objetivo é simples - com base em algumas palavras-chave, ele sugerirá alguns artigos escritos internamente em nossa empresa. Estou usando uma pontuação TF-IDF bastante padrão como métrica básica e...

Boa técnica para tokenização de texto de pesquisa

Estamos procurando uma maneira de tokenizar algum texto da mesma maneira ou semelhante à que um mecanismo de pesquisa faria. A razão pela qual estamos fazendo isso é para que possamos executar algumas análises estatísticas nos tokens. A linguagem que estamos usando é python, portanto, preferiria...