Maneiras de acelerar scripts Python em execução como ferramentas do ArcGIS [closed]

Esta é uma pergunta bastante geral. Só estou pensando em quais dicas e truques os programadores de GIS usaram para acelerar os scripts arqueados que você importa na caixa de ferramentas e executa.

Eu trabalho quase todos os dias escrevendo pequenos scripts para ajudar usuários não GIS no meu escritório a processar dados GIS. Descobri que o processamento do ArcGIS 10.0 em geral é mais lento que o 9.3.1 e às vezes fica ainda mais lento ao executar um script python.

Vou listar um exemplo específico de um script que leva mais de 24 horas para ser executado. É um loop que tabula a área de uma varredura em um buffer para cada forma no buffer. O buffer tem cerca de 7000 formas. Não acredito que deva durar tanto tempo. UMA

while x <= layerRecords:

    arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
    arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
    TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

    arcpy.AddMessage ("          - Row: " + str(x) + " completed")
    x = x + 1
    z = z + 1

Antes que alguém diga, eu executei a área tabular em todo o buffer, mas produz erros se executado em mais de um registro. É uma ferramenta defeituosa, mas eu tenho que usá-la.

De qualquer forma, se alguém tiver alguma idéia de como otimizar ou acelerar esse script, seria muito apreciado. Caso contrário, você tem algum truque de aceleração para python, quando usado no ArcGIS?

Algumas sugestões potenciais para ajudar a acelerar seu processo são:

1. Selecionar Camada por atributo pode estar em um script somente em Python, sem abrir o ArcGIS Desktop. Você precisa converter sua referência "buff" de uma referência baseada em arquivo em uma referência "camada ArcGIS", na qual o ArcGIS pode processar consultas de seleção. Use arcpy.MakeFeatureLayer_management ("buff", "buff_lyr") acima do loop "while" e altere suas referências abaixo do loop while para usar "buff_lyr".

2. Processe o máximo possível de suas operações de GP usando o espaço de trabalho in_memory possível ... Use arcpy.CopyFeatures_management (shapefile, "in_memory \ memFeatureClass") para mover sua fonte para a memória. Isso só funciona bem se você tiver RAM suficiente para ler todas as classes de recursos necessárias na memória. Cuidado, no entanto, que existem algumas operações de GP que não podem ser executadas usando o espaço de trabalho in_memory (por exemplo: a ferramenta Projeto).

No artigo de ajuda on-line do ArcGIS 9.3 " Dados intermediários e espaço de trabalho inicial " (observe, esse idioma foi removido da ajuda 10.0 e 10.1):

NOTA: Somente tabelas e classes de recursos (pontos, linhas, polígonos) podem ser gravadas no espaço de trabalho in_memory. O espaço de trabalho in_memory não suporta elementos de banco de dados geográficos estendidos, como subtipos, domínios, representações, topologias, redes geométricas e conjuntos de dados de rede. Somente recursos e tabelas simples podem ser gravados.

No artigo de ajuda on-line do ArcGIS 10.1 " Usando a área de trabalho na memória ":

As seguintes considerações devem ser feitas ao decidir gravar a saída no espaço de trabalho na memória:

• Os dados gravados no espaço de trabalho na memória são temporários e serão excluídos quando o aplicativo for fechado.
• Tabelas, classes de recursos e rasters podem ser gravadas no espaço de trabalho na memória.
• O espaço de trabalho na memória não suporta elementos de geodatabase estendidos, como subtipos, domínios, representações, topologias, redes geométricas e conjuntos de dados de rede.
• Conjuntos de dados ou pastas de recursos não podem ser criados no espaço de trabalho na memória.

Técnicas gerais de otimização de python podem economizar uma quantidade substancial de tempo.

Uma técnica realmente boa para saber onde estão os atrasos no seu script é usar o módulo cProfile embutido:

from cProfile import run
run("code") # replace code with your code or function

Testar usando uma pequena amostra de dados permitirá identificar quais chamadas de função estão demorando mais tempo.

Ponteiros gerais para código python mais rápido:

• Geralmente, as compreensões de lista são mais rápidas que o loop
• Os geradores produzem um item de cada vez, em vez de produzir a lista inteira de uma só vez
• Use xrange em vez do intervalo no python 2 (não é necessário no 3)
• Sets pode sair listas pré-forma quando se trata de determinar se um item está presente no conjunto, mas são geralmente mais lento do que listas quando se trata de iteração sobre seu conteúdo Fonte
• Chamadas de função pode ser caro para o desempenho Fonte
• Mais dicas e detalhes, consulte aqui Dicas de desempenho do Python e aqui 10 Dicas e problemas de otimização do Python

Com relação ao seu script, não posso comentar sobre os aspectos do ArcPy, pois não tenho o Arc instalado neste computador, mas você pode tentar usar um loop for em vez de um while while para ver se isso melhora alguma coisa. Também x = x + 1 pode ser escrito como x + = 1:

for record in layerRecords:
arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

arcpy.AddMessage ("          - Row: " + str(x) + " completed")
x+=1
y+=1

Verifique se você está gravando na unidade interna do computador. Alcançar a rede quando não é necessário pode realmente atrasar o processamento. Pode ser ainda mais rápido copiar os dados como a primeira etapa do processo para manter as leituras e gravações subsequentes o mais rápido possível

Executar o script completamente fora do ArcMap pode ser muito mais rápido. Se um mapa não for necessário durante o processamento, não use o ArcMap.

Isso pode não responder à sua pergunta sobre a execução de ferramentas ArcPy no ArcMap, mas quando eu preciso fazer algum processamento de carne com ferramentas de geoprocessamento e Python, eu tendem a executá-lo fora do sistema GIS usando o IDE PyScripter . Eu descobri que corre mais rápido. Também empreguei um RAMDISK para pequenos conjuntos de dados de saída temporária (um pouco como o espaço de trabalho in_memory )

Bem, elas são minhas principais dicas! :)

Tente comentar arcpy.SetProgressorLabel e veja quanto você acelera. Descobri que qualquer saída de tela, voltando ao DOS, diminui drasticamente o tempo de processamento. Se você realmente precisa ver essa saída, tente mostrá-la a cada enésimo laço.

Certifique-se de remover as import xxxxlinhas que não estão sendo usadas.

(ou seja, se você ainda não estiver usando nenhuma função matemática import Math, isso levará algum tempo a partir do carregamento do script)

Embora isso não tenha um grande impacto em scripts únicos executados (como o seu), afetará todos os scripts executados com frequência e repetição.