Organizando projetos GIS? [fechadas]

27

Estou lutando há bastante tempo para manter meus arquivos de projeto organizados.

Quais são as suas dicas para manter seus conjuntos de dados, imagens, shapefiles etc. organizados?

relima
fonte
2
Veja as respostas para esta [pergunta] [1] também. [1]: gis.stackexchange.com/questions/2976/…
jonatr 25/12/11

Respostas:

36

Nota: Este discurso será atualizado conforme eu for

Eu não sou um computador ou ArcGIS pro, por qualquer meio, mas aqui está o que eu faço:

Arquivos base / DBS

  • Esses são arquivos que são "brutos" por natureza e constituem a base de todas as minhas análises
  • Esses arquivos, bancos de dados e dados estão hospedados fora da minha projectspasta e no servidor da Internet, computador local e caixa de depósito. Eu sempre tenho acesso a eles, e eles são muito organizados, dis e agregados. Você gastará muito tempo organizando isso.
  • Coloquei todos eles em bancos de dados, seja no Arc ou no PostGIS.
  • Para cada tabela, adiciono 3 campos na própria tabela ou nos metadados: DATE_OBTAINED, DATA_DATE, SOURCE_NOTES
  • Os arquivos base também podem ser consultas de várias outras tabelas. Por exemplo, uma tabela poderia agregar toda a contagem de tráfego obtida em uma grande consulta / tabela.
  • Também coloquei aqui todos os outros dados que encontro vasculhando a internet.
  • NUNCA FAZ QUALQUER ANÁLISE DIRETA EM QUALQUER DOS ARQUIVOS NOS ARQUIVOS BASE

Arquivos de Projeto

  • Todos os meus arquivos de projeto estão em uma my_projectspasta. Ele contém tudo relacionado a esse projeto como se, se eu copiar e colar essa pasta em outro lugar, ele conterá tudo.
  • Normalmente, tenho a seguinte estrutura:
    • meu projeto/
      • admin /
      • comunicação/
      • dados não tratados/
      • analisados_dados /
      • dados de saída/
      • from_client /
      • FINAL/
      • código/
      • some_document_date_time.doc
      • LEIA-ME
  • Lentamente, tenho me mudado para um GIT local. (você pode até hospedá-lo localmente ou em seu próprio servidor). A razão de eu não colocá-lo no GitHub é que o github tem um limite de 1,2 GB que é inútil para a análise GIS
  • Para meus projetos, geralmente replico todas as tabelas GIS necessárias para minha análise em um novo db: project_whatever.
  • 9 vezes fora de 10, eu trabalho apenas em arquivos SHP e eu salvar todos os meu GIS (imagens, excel, coordenadas, etc.) ao meu projects/my_project/raw_data, projects/my_projects/analyzed_datae projects/my_projects/output_data.
  • Quando um projeto é concluído, coloquei a cópia final enviada em my_projects/FINAL/date_submitted
  • Para o meu MXD, costumo salvar em um novo MXD a cada 2 ou 3 horas, my_proj_dec_22_11__13_20.mxdpor exemplo
  • Para documentos do Word, ilustrações e principalmente documentos de edição, eles estão na pasta my_projects, como RFP_TENDER_Dec_22_11__11_15.doce draft_ver5_Dec_31_11__12_30.doc. Mais uma vez, todos os meus produtos finais estão na pasta FINAL
  • Para R, código Python e algum C #, fica um pouco complicado, pois eu o hospedo fora do projeto, mas com uma cópia de trabalho na my_projects/codepasta. Eu faço isso porque a maior parte do código python é reutilizável. Se você colocar todo o seu código python além dos projetos, você os esquecerá. Além disso, todo o meu código python continua no github.
  • Para mim, os arquivos do projeto incluem qualquer tipo de arquivo, incluindo controle de tempo, comunicações (eu salvo todos os meus e-mails como arquivos .msg), registro todas as nossas comunicações verbais em um arquivo do word e coloco todos esses arquivos my_project / communication
  • Com o ArcGIS, use Models, LYR e "salve a seleção como uma nova camada shp". Essas ferramentas facilitarão o armazenamento de arquivos em formatos menores, a reutilização e, com os modelos, o uso de algo em outro local.

Saída final

  • Cada projeto, quando finalizado, é compactado e colocado no meu disco rígido externo.
  • Todos os produtos finais são convertidos em arquivos de tabelas e em PDF de todos os outros formatos.
  • Todo projeto que faço é impresso para um backup em cópia impressa

A linha inferior

  • Cada pessoa usa vários e diferentes softwares e ferramentas. Muitas pessoas que eu conheço se organizam usando o basecamp , o Harvest ou qualquer outra variedade de ferramentas. Também as pessoas têm diferentes hábitos de trabalho e tendências de TOC. Estou bastante obcecado em organizar as coisas, talvez um pouco mais do que outras. Portanto, desenvolva o sistema que lhe causa menos estresse, garantindo a consistência na aplicação e atualização.
  • Faça backup e replique tudo
  • Não trabalhe diretamente em seus dados brutos / básicos
  • Para seus projetos, sempre use um arquivo de réplica, pois os dados mudam com o tempo e você não deseja se esforçar para encontrar o base_layer_2006.shp.
  • cada pasta my_projects deve ter um arquivo de texto README que você o edita enquanto executa os projetos para fornecer algumas informações básicas que você sabe que esquecerá mais tarde quando visitar o projeto dois anos depois
dassouki
fonte
Muito bom. Suponho que você não esteja tão preocupado em criar duplicatas de todos os seus conjuntos de dados (brutos, analisados) e no espaço que isso ocupa.
dchaboya
2
@dchaboya o custo do espaço em disco é relativamente baixo quando comparado ao nível de estresse que economizo. Também não acredito em excluir nada.
dassouki
Apenas curioso por que a limitação do github é significativa. Você está usando o git para tudo, sem código também? Estou começando a usar o controle de versão para os mesmos fins e tentando aprender boas práticas.
DJQ
@dassouki, por que você cria novas versões dos arquivos mxd quando usa o git? Você também pode controlar a versão desses arquivos mxd.
Paul Hiemstra
@PaulHiemstra Principalmente porque é mais fácil abrir várias versões ao mesmo tempo.
dassouki
8

Você não declarou que trabalha apenas com o software Desktop GIS; portanto, compartilharei algumas das minhas experiências com a mentalidade orientada à programação. Deixe-me começar dizendo que concordo com o que diz @dassouki. Eu acho que o mais importante não é como você se organiza, mas que você faz isso.

Mas para continuar no meu fluxo de trabalho. O que eu gosto em usar uma linguagem de programação (R ​​no meu caso) é que o script que eu escrevo documenta todas as etapas que eu tomo. Isso contrasta com o uso do ArcGIS, onde acho que é mais difícil ver como um usuário passou dos dados brutos de entrada para o que você pode ver em um arquivo mxd. É claro que você pode manter um registro de todas as etapas da GUI, mas acho que uma linguagem de programação se presta muito melhor para salvar o fluxo de trabalho exato que você executou. Isso pode ser particularmente importante quando um cliente / supervisor pergunta como você fez alguma coisa ou o que exatamente fez para produzir um determinado produto.

Portanto, na prática, tenho várias pastas importantes na minha unidade (observe que sou um cientista):

  • Experimentos, aqui eu guardo todos os experimentos que realizo, por exemplo, tentar uma certa análise em um determinado corpo de dados. Cada experimento tem seu próprio diretório. Também guardo tabelas resultantes e outras aqui. Todos os meus scripts R estão neste diretório.
  • Conjuntos de dados, todos os meus conjuntos de dados brutos são armazenados separadamente do
  • ferramentas, tenho um diretório separado onde armazeno o código que generalizei para reutilização em outro projeto.
  • Documentos, meu trabalho gira em torno de escrever artigos científicos. Para cada trabalho, tenho um diretório separado onde armazeno meus arquivos de látex. Esses arquivos leem as ilustrações e tabelas do diretório de experimentos. Um artigo pode conter várias ilustrações.
  • software, em um diretório separado eu armazeno software, principalmente pacotes R que eu escrevi e algum código fortran que eu compilo para executar modelos.

Algumas idéias principais que eu uso:

  • Material dinâmico de formulário estático (relativamente) separado: por exemplo, salvando scripts generalizados em algum lugar diferente daquele em que você salva projetos de curto prazo. Ou separe seus dados brutos de suas análises neles.
  • Use o software de gerenciamento de versão onde puder. Eu gosto de mercurial e git.
  • AUTOMATIZE SEUS BACKUPS !!!! Você nunca pensa neles quando os faz manualmente, e então o disco rígido falha. No Linux, esse tipo de automação é fácil. Não tenho certeza de como isso ocorre no Windows / Mac.

Em geral, eu gosto de usar uma linguagem de programação, porque em um script você pode ir dos dados brutos para as imagens / tabelas resultantes. R é um bom candidato, pois pode ler e gravar dados GIS facilmente e possui uma tonelada de análises a bordo, tanto GIS quanto estatísticas.

Paul Hiemstra
fonte
1
+1 sobre como automatizar backups. É por isso que eu vinculo minhas pastas ao dropbox
dassouki
3
O dropbox tem o tipo de armazenamento que você precisa? E como você se sente ao colocar seu trabalho precioso nas mãos de uma empresa externa?
Paul Hiemstra
3

Gostaria apenas de acrescentar à resposta acima - duas coisas.

  1. Eu gosto de ter pastas no diretório de importação de dados brutos - pastas para cada vez que um conjunto de dados é recebido - ou seja, from_clientname-2011dec23. Dessa forma, posso rastrear quando recebi cada dado usado no projeto.

  2. Também gosto de ter um documento do projeto dobrável em qualquer lugar - posso criar um documento do word ou um arquivo TXT simples aqui para poder escrever o que fiz no projeto, a data e quem o solicitou. Dessa forma, eu posso voltar e me cobrir é alguém pergunta por que eu fiz alguma coisa. Isso pode parecer tedioso para solicitações pequenas, mas pode salvar você no final.

dklassen
fonte
1
Certamente este é um material do Project Management 101. Embora uma boa parte do tempo que você gaste em um projeto possa ser dedicada a manter tudo organizado e bem documentado, no final, isso pode potencialmente economizar tempo e impedir a redução de sua expectativa de vida.
dchaboya