Estou interessado nos prós e contras de várias ferramentas espaciais de ETL (extrair, transformar, carregar). Se você usou os itens listados aqui (ou adicione os seus), busco suas opiniões e experiências. Em particular, eu gostaria de ver comparações de usabilidade de:
- Software Seguro FME (proprietário)
- Extensão de interoperabilidade de dados do ArcGIS (proprietário, subconjunto de recursos do FME)
- Extensão Talend Spatial (anteriormente Spatial Data Integrator) (código aberto)
- GeoKettle (código aberto)
- ogr2ogr (não sei se é realmente ETL, mas mais um conjunto de ferramentas de tradução de arquivos)
- Qualquer lote adicional listado
Não há necessidade de revisar TODOS os softwares mencionados. Se você tiver experiência com um, isso será muito benéfico para tomar uma decisão sobre qual direção seguir.
Exemplo: Estou procurando criar uma função de conversão de esquema que permita selecionar a camada de entrada, criar uma conversão e gerar um novo esquema predefinido. De maneira ideal, depois de criar o script de tradução, gostaria de ter um formulário interativo onde possa "mapear" os campos da minha camada de entrada para a camada de saída (ou seja, a camada de saída terá um campo chamado "Endereço", como é chamado na camada de entrada?)
Alguns foram mencionados nas perguntas e respostas em Quais ferramentas estão disponíveis para carregar dados GIS em um banco de dados?
E aqui estão alguns artigos relacionados que eu encontrei.
fonte
A maioria das operações simples pode ser realizada por esses utilitários de código aberto
Obtenha o FWtools http://fwtools.maptools.org/ e experimente.
fonte
Fiz uma comparação de várias ferramentas há cerca de um ano, que também contém a maioria das opções mencionadas neste tópico.
Como resposta mais direta, uso muito o FME devido à sua versatilidade. No entanto, quando trabalho com estruturas de dados complexas, como CityGML, INSPIRE GML ou modelos de banco de dados maiores, uso o HALE , um aplicativo de código aberto desenvolvido para ETL e particularmente para harmonização.
Atualmente (a partir da versão 2.9.0), ele se compara ao FME (2014 SP1) da seguinte maneira:
Observe que estou na equipe da HALE há alguns anos.
fonte
Se você olhar o link duplicado do blah238s, encontrará mais informações. Eu diria que o Talend Open Studio e o Pentaho GeoKettle são as soluções de código aberto mais importantes que se pode escolher. Desses dois destinos, o Talend é mais do que apenas ETL e GeoKettle, um pouco mais fácil de usar, até onde eu li.
Meu município está prestes a testar o GeoKettle para escrever um dialeto GML elaborado pela associação sueca de autoridades e regiões locais (SALAR) e precisamos desse formato para fornecer dados geográficos a diferentes interesses comerciais.
Acredito que o GeoKettle tenha suporte para OGR / GDAL da versão 2.0.
fonte
FME é provavelmente o melhor produto para usar neste espaço. Depois disso, é GDAL / OGR. Outro produto de código aberto nesse espaço é o geokettle - http://www.spatialytics.org/projects/geokettle/, embora eu nunca o tenha usado com raiva (tendo a sorte de ter os outros dois produtos mencionados).
Se nenhuma dessas opções genéricas funcionar, você provavelmente desejará usar uma ferramenta de conversão específica.
fonte
Usei Geokettle religiosamente para uma pequena curva de aprendizado de projeto pequeno, a menos que você estivesse acostumado a uma interface do Eclipse ... Realmente poderoso, pois compilado com o GDAL1.10 suporta todos os tipos geográficos ... O que eu gostei foi o suporte a dados armazenados e dados por meio de serviços ... usei-o para recriar e sincronizar conjuntos de dados do servidor ArcGIS em uma instância local do postgis via ESRI json para GeoJSON ... O fluxo de trabalho pode criar condições e validação configurá-lo para consultar # of objectid e com base nessa compilação de um csv predefinido para iterar uma solicitação de postagem para 500 recursos por vez, dependendo da primeira consulta, foi capaz de consolidar todas as solicitações em um arquivo geojson, execute ogr2ogr para carregar no postgis e até mesmo postgis com script para executar o vácuo e indexar com ele ... Não é afiliado apenas um fã
Você pode executá-lo e mapear um fluxo de trabalho na GUI da área de trabalho e usar as ferramentas do servidor pentahos para configurá-lo no Hadoop e executá-lo como um script ou tarefa cron.
fonte
O QGIS (pelo menos desde a versão atual 2.6) agora também possui um construtor de modelos integrado. Através desta caixa de ferramentas, você pode acessar centenas de algoritmos (GDAL, GRASS, SAGA, ferramentas vetoriais, etc.). Você também pode adicionar seu próprio script.
Devo admitir que não o usei extensivamente, mas se estivesse procurando por um construtor de modelos, consideraria digno de investigação.
fonte
[AVISO: promoção gratuita de um produto em que estou envolvido]
Estamos trabalhando em uma ferramenta para fazer ETL. Tem sabor semelhante ao FME, mas foi projetado para tarefas mais simples e requer menos experiência para usar. Alguns detalhes podem ser encontrados em https://www.geoactive.it, basta procurar informações sobre o Data Dragon. Este aplicativo usa GDAL / OGR no back-end e estamos enviando quaisquer adições que fizermos de volta ao GDAL / OGR.
O uso comercial exige que ele seja comprado, mas temos licenças acadêmicas disponíveis gratuitamente. Se você quiser usá-lo para estudar, envie uma mensagem para mim e forneceremos mais alguns detalhes.
Esta é a fase inicial de lançamento, então ainda existem alguns pequenos bugs, então seja gentil conosco.
fonte