Como você cria dict aninhado em Python?

149

Tenho 2 arquivos CSV: 'Data' e 'Mapping':

  • Arquivo 'Mapping' tem 4 colunas: Device_Name, GDN, Device_Type, e Device_OS. Todas as quatro colunas são preenchidas.
  • O arquivo 'Data' possui essas mesmas colunas, com a Device_Namecoluna preenchida e as outras três colunas em branco.
  • Eu quero meu código Python para abrir os arquivos e para cada Device_Nameno arquivo de dados, mapear sua GDN, Device_Typee Device_OSvalor do arquivo de mapeamento.

Eu sei como usar o dict quando apenas duas colunas estão presentes (é necessário que 1 seja mapeado), mas não sei como fazer isso quando três colunas precisam ser mapeadas.

A seguir está o código usando o qual tentei realizar o mapeamento de Device_Type:

x = dict([])
with open("Pricing Mapping_2013-04-22.csv", "rb") as in_file1:
    file_map = csv.reader(in_file1, delimiter=',')
    for row in file_map:
       typemap = [row[0],row[2]]
       x.append(typemap)

with open("Pricing_Updated_Cleaned.csv", "rb") as in_file2, open("Data Scraper_GDN.csv", "wb") as out_file:
    writer = csv.writer(out_file, delimiter=',')
    for row in csv.reader(in_file2, delimiter=','):
         try:
              row[27] = x[row[11]]
         except KeyError:
              row[27] = ""
         writer.writerow(row)

Retorna Attribute Error.

Depois de pesquisar, acho que preciso criar um ditado aninhado, mas não faço ideia de como fazer isso.

atams
fonte
Device_Namecoluna é a chave nos dois arquivos. Nesta chave, quero mapear os valores Device_OS, GDN e Device_Type do arquivo de mapeamento para o arquivo de dados.
atams
Você quer ser capaz de fazer algo assim row[27] = x[row[11]]["Device_OS"]?
Janne Karila
Veja também: procure chave em dested
dreftymac 30/10
Isso não precisa de um ditado aninhado, necessariamente. Você pode usar pandas, read_csv, criar Device_Nameo índice e, em seguida, você pode diretamente joinos dois quadros de dados em seu índice Device_Name.
SMCI

Respostas:

307

Um ditado aninhado é um dicionário dentro de um dicionário. Uma coisa muito simples.

>>> d = {}
>>> d['dict1'] = {}
>>> d['dict1']['innerkey'] = 'value'
>>> d
{'dict1': {'innerkey': 'value'}}

Você também pode usar um defaultdictdo collectionspacote para facilitar a criação de dicionários aninhados.

>>> import collections
>>> d = collections.defaultdict(dict)
>>> d['dict1']['innerkey'] = 'value'
>>> d  # currently a defaultdict type
defaultdict(<type 'dict'>, {'dict1': {'innerkey': 'value'}})
>>> dict(d)  # but is exactly like a normal dictionary.
{'dict1': {'innerkey': 'value'}}

Você pode preencher o que quiser.

Eu recomendaria no seu código algo como o seguinte:

d = {}  # can use defaultdict(dict) instead

for row in file_map:
    # derive row key from something 
    # when using defaultdict, we can skip the next step creating a dictionary on row_key
    d[row_key] = {} 
    for idx, col in enumerate(row):
        d[row_key][idx] = col

De acordo com o seu comentário :

pode estar acima do código está confundindo a pergunta. Meu problema em poucas palavras: Eu tenho 2 arquivos a.csv b.csv, a.csv tem 4 colunas ijkl, b.csv também tem essas colunas. i é uma espécie de colunas-chave para esses csvs '. A coluna jkl está vazia em a.csv, mas é preenchida em b.csv. Eu quero mapear valores de colunas jk l usando 'i' como coluna-chave do arquivo b.csv para a.csv

Minha sugestão seria algo assim (sem usar o defaultdict):

a_file = "path/to/a.csv"
b_file = "path/to/b.csv"

# read from file a.csv
with open(a_file) as f:
    # skip headers
    f.next()
    # get first colum as keys
    keys = (line.split(',')[0] for line in f) 

# create empty dictionary:
d = {}

# read from file b.csv
with open(b_file) as f:
    # gather headers except first key header
    headers = f.next().split(',')[1:]
    # iterate lines
    for line in f:
        # gather the colums
        cols = line.strip().split(',')
        # check to make sure this key should be mapped.
        if cols[0] not in keys:
            continue
        # add key to dict
        d[cols[0]] = dict(
            # inner keys are the header names, values are columns
            (headers[idx], v) for idx, v in enumerate(cols[1:]))

Observe, porém, que para analisar arquivos csv existe um módulo csv .

Inbar Rose
fonte
pode estar acima do código está confundindo a pergunta. Meu problema em poucas palavras: eu tenho 2 arquivos a.csv b.csv, a.csvtem 4 colunas i j k l, b.csvtambém tem essas colunas. ié o tipo de colunas-chave para esses csvs '. j k la coluna está vazia a.csvmas preenchida b.csv. Quero mapear valores de j k lcolunas usando 'i' como coluna-chave de b.csv para um arquivo.csv.
atams
64

UPDATE : Para um comprimento arbitrário de um dicionário aninhado, vá para esta resposta .

Use a função defaultdict das coleções.

Alto desempenho: "se a chave não for ditada" é muito cara quando o conjunto de dados é grande.

Baixa manutenção: torne o código mais legível e pode ser facilmente estendido.

from collections import defaultdict

target_dict = defaultdict(dict)
target_dict[key1][key2] = val
Junchen
fonte
3
from collections import defaultdict target_dict = defaultdict(dict) target_dict['1']['2']me dátarget_dict['1']['2'] KeyError: '2'
haccks 28/10
1
você precisa atribuir valor antes de obtê-lo.
Junchen
24

Para níveis arbitrários de aninhamento:

In [2]: def nested_dict():
   ...:     return collections.defaultdict(nested_dict)
   ...:

In [3]: a = nested_dict()

In [4]: a
Out[4]: defaultdict(<function __main__.nested_dict>, {})

In [5]: a['a']['b']['c'] = 1

In [6]: a
Out[6]:
defaultdict(<function __main__.nested_dict>,
            {'a': defaultdict(<function __main__.nested_dict>,
                         {'b': defaultdict(<function __main__.nested_dict>,
                                      {'c': 1})})})
andrew
fonte
2
O que a resposta acima faz com uma função de duas linhas, você também pode fazer com um lambda de uma linha, como nesta resposta .
Acumenus 3/06
3

É importante lembrar ao usar defaultdict e módulos dict aninhados semelhantes, como nested_dictprocurar uma chave inexistente pode inadvertidamente criar uma nova entrada de chave no dict e causar muitos estragos.

Aqui está um exemplo Python3 com o nested_dictmódulo:

import nested_dict as nd
nest = nd.nested_dict()
nest['outer1']['inner1'] = 'v11'
nest['outer1']['inner2'] = 'v12'
print('original nested dict: \n', nest)
try:
    nest['outer1']['wrong_key1']
except KeyError as e:
    print('exception missing key', e)
print('nested dict after lookup with missing key.  no exception raised:\n', nest)

# Instead, convert back to normal dict...
nest_d = nest.to_dict(nest)
try:
    print('converted to normal dict. Trying to lookup Wrong_key2')
    nest_d['outer1']['wrong_key2']
except KeyError as e:
    print('exception missing key', e)
else:
    print(' no exception raised:\n')

# ...or use dict.keys to check if key in nested dict
print('checking with dict.keys')
print(list(nest['outer1'].keys()))
if 'wrong_key3' in list(nest.keys()):

    print('found wrong_key3')
else:
    print(' did not find wrong_key3')

A saída é:

original nested dict:   {"outer1": {"inner2": "v12", "inner1": "v11"}}

nested dict after lookup with missing key.  no exception raised:  
{"outer1": {"wrong_key1": {}, "inner2": "v12", "inner1": "v11"}} 

converted to normal dict. 
Trying to lookup Wrong_key2 

exception missing key 'wrong_key2' 

checking with dict.keys 

['wrong_key1', 'inner2', 'inner1']  
did not find wrong_key3
Skysail
fonte