Criar DataFrame do Pandas a partir de uma string

276

Para testar algumas funcionalidades, eu gostaria de criar um a DataFramepartir de uma string. Digamos que meus dados de teste se pareçam com:

TESTDATA="""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
"""

Qual é a maneira mais simples de ler esses dados em um Pandas DataFrame?

Emil H
fonte

Respostas:

498

Uma maneira simples de fazer isso é usar StringIO.StringIO(python2) ou io.StringIO(python3) e passar isso para a pandas.read_csvfunção. Por exemplo:

import sys
if sys.version_info[0] < 3: 
    from StringIO import StringIO
else:
    from io import StringIO

import pandas as pd

TESTDATA = StringIO("""col1;col2;col3
    1;4.4;99
    2;4.5;200
    3;4.7;65
    4;3.2;140
    """)

df = pd.read_csv(TESTDATA, sep=";")
Emil H
fonte
7
Se você precisar de um código compatível com o Python 2 e 3, você também pode usar opcionalmente from pandas.compat import StringIO, observando que é da mesma classe que a que acompanha o Python.
Acumenus
3
FYI - pd.read_table()é uma função equivalente, apenas ligeiramente melhor nomenclatura: df = pd.read_table(TESTDATA, sep=";").
Wkzhu
5
@AntonvBR Observou que alguém poderia usar pandas.compat.StringIO. Dessa forma, não precisamos importar StringIOseparadamente. No entanto, o pandas.compatpacote é considerado privado de acordo com pandas.pydata.org/pandas-docs/stable/api.html?highlight=compat , deixando a resposta como está por enquanto.
Emil H
Hora de resolver qual importação: Devemos usar o pandas.compat.StringIO ou o Python 2/3 StringIO?
smci 11/05/19
Se você criar TESTDATA com df.to_csv(TESTDATA), useTESTDATA.seek(0)
user3226167 24/10/19
18

Método Split

data = input_string
df = pd.DataFrame([x.split(';') for x in data.split('\n')])
print(df)
shaurya uppal
fonte
2
Se você deseja que a primeira linha seja usada para nomes de colunas, altere a 2ª linha para:df = pd.DataFrame([x.split(';') for x in data.split('\n')[1:]], columns=[x for x in data.split('\n')[0].split(';')])
Mabyn
1
Isso está errado, pois nos arquivos CSV o caractere de nova linha (\ n) pode fazer parte de um campo.
Antonio Ercole De Luca
Isso não é muito robusto e a maioria das pessoas seria melhor com a resposta aceita. Há uma lista muito parcial de coisas que podem dar errado com isso em thomasburette.com/blog/2014/05/25/…
DanB
10

Uma solução rápida e fácil para o trabalho interativo é copiar e colar o texto carregando os dados da área de transferência.

Selecione o conteúdo da string com o mouse:

Copiar dados para colar em um dataframe do Pandas

No shell do Python, use read_clipboard()

>>> pd.read_clipboard()
  col1;col2;col3
0       1;4.4;99
1      2;4.5;200
2       3;4.7;65
3      4;3.2;140

Use o separador apropriado:

>>> pd.read_clipboard(sep=';')
   col1  col2  col3
0     1   4.4    99
1     2   4.5   200
2     3   4.7    65
3     4   3.2   140

>>> df = pd.read_clipboard(sep=';') # save to dataframe
user2314737
fonte
2
Não é bom para a reprodutibilidade, mas, de outra forma, é uma solução muito legal!
Mabyn 18/10/19
5

Um CSV tradicional de largura variável é ilegível para armazenar dados como uma variável de sequência. Especialmente para uso em um .pyarquivo, considere dados separados por tubo de largura fixa. Vários IDEs e editores podem ter um plugin para formatar texto separado por canal em uma tabela organizada.

Usando read_csv

Armazene o seguinte em um módulo utilitário, por exemplo util/pandas.py. Um exemplo está incluído na documentação da função.

import io
import re

import pandas as pd


def read_psv(str_input: str, **kwargs) -> pd.DataFrame:
    """Read a Pandas object from a pipe-separated table contained within a string.

    Input example:
        | int_score | ext_score | eligible |
        |           | 701       | True     |
        | 221.3     | 0         | False    |
        |           | 576       | True     |
        | 300       | 600       | True     |

    The leading and trailing pipes are optional, but if one is present,
    so must be the other.

    `kwargs` are passed to `read_csv`. They must not include `sep`.

    In PyCharm, the "Pipe Table Formatter" plugin has a "Format" feature that can 
    be used to neatly format a table.

    Ref: https://stackoverflow.com/a/46471952/
    """

    substitutions = [
        ('^ *', ''),  # Remove leading spaces
        (' *$', ''),  # Remove trailing spaces
        (r' *\| *', '|'),  # Remove spaces between columns
    ]
    if all(line.lstrip().startswith('|') and line.rstrip().endswith('|') for line in str_input.strip().split('\n')):
        substitutions.extend([
            (r'^\|', ''),  # Remove redundant leading delimiter
            (r'\|$', ''),  # Remove redundant trailing delimiter
        ])
    for pattern, replacement in substitutions:
        str_input = re.sub(pattern, replacement, str_input, flags=re.MULTILINE)
    return pd.read_csv(io.StringIO(str_input), sep='|', **kwargs)

Alternativas não relacionadas ao trabalho

O código abaixo não funciona corretamente porque adiciona uma coluna vazia nos lados esquerdo e direito.

df = pd.read_csv(io.StringIO(df_str), sep=r'\s*\|\s*', engine='python')

Quanto a read_fwf, na verdade, ele não usa muitos dos kwargs opcionais que read_csvaceitam e usam. Como tal, ele não deve ser usado para dados separados por canal.

Acumenus
fonte
1
Eu descobri (por tentativa e erro) que read_fwfleva mais read_csvargumentos do que o documentado, mas é verdade que alguns não têm efeito .
gerrit 20/01
-4

A maneira mais simples é salvá-lo no arquivo temporário e depois lê-lo:

import pandas as pd

CSV_FILE_NAME = 'temp_file.csv'  # Consider creating temp file, look URL below
with open(CSV_FILE_NAME, 'w') as outfile:
    outfile.write(TESTDATA)
df = pd.read_csv(CSV_FILE_NAME, sep=';')

Maneira correta de criar arquivo temporário: Como posso criar um arquivo tmp no Python?

QtRoS
fonte
e se não houver permissão para criar arquivo?
BingLi224
Na minha opinião, não é mais o caso mais simples. Observe que "mais simples" é declarado explicitamente na pergunta.
QtRoS 03/03