Encontrando registros duplicados em campo usando o ArcGIS for Desktop?

Estou procurando registros duplicados em arquivos dbf com base no atributo chamado 'ID'. Eu tenho vários arquivos dbf de 500.000 registros a 1,5 milhão e sei que há uma série de duplicatas.

Eu gostaria de adicionar um campo 'Duplicar' que diga Sim ou Não (ou 1 ou 0 está correto) quando o atributo ID estiver presente em outro lugar. O uso do seguinte script python na Calculadora de campo retorna 1 para uma entrada duplicada e 0 para uma entrada exclusiva;

uniqueList = []
def isDuplicate(inValue):
  if inValue in uniqueList:
    return 1
  else:
    uniqueList.append(inValue)
    return 0
isDuplicate(!FIELD_NAME!)

No entanto, o 1º registro, por exemplo, de 5 IDs duplicados também será retornado como 0 (os 4 subsequentes são considerados duplicados). Eu precisaria que todos os 5 fossem marcados como duplicados, pois o ID existe em outro lugar.

O uso do código a seguir fornecerá uma contagem incremental de quantas vezes esse ID ocorre com 1, significando a 1ª ocasião e assim por diante;

UniqueDict = {}
def isDuplicateIndex(inValue):
    UniqueDict.setdefault(inValue,0)
    UniqueDict[inValue] += 1
    return UniqueDict[inValue]

isDuplicateIndex( !YOUR_FIELD! )

Eu só quero um 1 (ou Sim) se o ID desse registro existir em outro lugar! (ArcGIS versão 10.1)

Eu já vi outras respostas, como o script Python, para identificar registros duplicados (acompanhamento), mas não funciona muito bem.

Uma solução alternativa é usar a ferramenta " estatísticas de resumo " existente no ArcGIS, e você ingressará na tabela resultante com base no seu campo de ID. As duplicatas terão um "COUNT" maior que 1, portanto, é simples calculá-lo com sua calculadora de campo.

Outra solução alternativa ( funciona apenas com ambientes SDE ) é usar a funcionalidade SQL existente no ArcGIS para mostrar os registros duplicados

Obter registros duplicados na tabela (selecione por atributo)

[FIELD_NAME] In (SELECT [FIELD_NAME] FROM [TABLE_NAME] GROUP BY [FIELD_NAME] HAVING Count(*)>1 )

Exemplo:

ID In (SELECT ID FROM GISDATA.MY_TABLE GROUP BY ID HAVING Count(*)>1 )

O script a seguir cria um novo campo com o número de ocorrências de cada valor de um campo especificado. Portanto, por exemplo, se você tiver "Paris" 6 vezes nesse campo, cada linha com "Paris" receberá 6.

import arcpy

arcpy.env.workspace=r"D:\test.gdb"
infeature="sample_feature"
field_in="sample_field"
field_out="COUNT_"+field_in

#create the field for the count values
arcpy.AddField_management(infeature,field_out,"SHORT")

#creating the list with all the values in the field, including duplicates
lista=[]
cursor1=arcpy.SearchCursor(infeature)
for row in cursor1:
    i=row.getValue(field_in)    
    lista.append(i)
del cursor1, row

#updating the count field with the number on occurrences of field_in values
#in the previously created list
cursor2=arcpy.UpdateCursor(infeature)
for row in cursor2:
    i=row.getValue(field_in)
    occ=lista.count(i)   
    row.setValue(field_out,occ)
    cursor2.updateRow(row)
del cursor2, row
print ("Done.")

Ele pode ser facilmente modificado para que você possa ter "Sim" ou 1 se contar> 1, mas acho que ter o número de contagem real é mais útil.

Editar mais tarde: Ou você pode usar isso na calculadora de campo. Código do script pré-lógico:

infeature="sample_feature" #change with the name of your feature
lista=[]
field="sample_field" #change with your field with duplicates
cursor1=arcpy.SearchCursor(infeature)
for row in cursor1:
    i=row.getValue(field)    
    lista.append(i)
del cursor1, row

def duplicates(field_in):        
    occ=lista.count(field_in)
    return occ

campo duplicado =

duplicates(!sample_field!)