Acessar dados no subdiretório do pacote

Estou escrevendo um pacote python com módulos que precisam abrir arquivos de dados em um ./data/subdiretório. No momento, tenho os caminhos dos arquivos codificados em minhas classes e funções. Gostaria de escrever um código mais robusto que possa acessar o subdiretório, independentemente de onde ele esteja instalado no sistema do usuário.

Eu tentei uma variedade de métodos, mas até agora não tive sorte. Parece que a maioria dos comandos "diretório atual" retornam o diretório do interpretador python do sistema, e não o diretório do módulo.

Parece que deve ser um problema comum e trivial. No entanto, eu não consigo entender. Parte do problema é que meus arquivos de dados não são .pyarquivos, então não posso usar funções de importação e coisas do gênero.

Alguma sugestão?

No momento, meu diretório de pacotes se parece com:

/
__init__.py
module1.py
module2.py
data/   
   data.txt

Estou tentando acessar data.txta partir module*.py!

Você pode usar __file__para obter o caminho para o pacote, assim:

import os
this_dir, this_filename = os.path.split(__file__)
DATA_PATH = os.path.join(this_dir, "data", "data.txt")
print open(DATA_PATH).read()

A maneira padrão de fazer isso é com os pacotes setuptools e pkg_resources.

Você pode organizar seu pacote de acordo com a seguinte hierarquia e configurar o arquivo de instalação do pacote para apontar seus recursos de dados, conforme este link:

http://docs.python.org/distutils/setupscript.html#installing-package-data

Você pode então encontrar novamente e usar esses arquivos usando pkg_resources, conforme este link:

http://peak.telecommunity.com/DevCenter/PkgResources#basic-resource-access

import pkg_resources

DATA_PATH = pkg_resources.resource_filename('<package name>', 'data/')
DB_FILE = pkg_resources.resource_filename('<package name>', 'data/sqlite.db')

Para fornecer uma solução funcionando hoje. Definitivamente, use esta API para não reinventar todas essas rodas.

É necessário um nome de arquivo verdadeiro do sistema de arquivos. Ovos compactados serão extraídos para um diretório de cache:

from pkg_resources import resource_filename, Requirement

path_to_vik_logo = resource_filename(Requirement.parse("enb.portals"), "enb/portals/reports/VIK_logo.png")

Retornar um objeto parecido com um arquivo legível para o recurso especificado; pode ser um arquivo real, um StringIO ou algum objeto semelhante. O fluxo está no "modo binário", no sentido de que quaisquer bytes existentes no recurso serão lidos como estão.

from pkg_resources import resource_stream, Requirement

vik_logo_as_stream = resource_stream(Requirement.parse("enb.portals"), "enb/portals/reports/VIK_logo.png")

Descoberta de pacotes e acesso a recursos usando pkg_resources

• https://setuptools.readthedocs.io/en/latest/pkg_resources.html#resource-extraction
• https://setuptools.readthedocs.io/en/latest/pkg_resources.html#basic-resource-access

Muitas vezes, não faz sentido responder que detalha o código que não funciona como está, mas acredito que isso seja uma exceção. Python 3.7 adicionado importlib.resourcesque deve substituir pkg_resources. Funcionaria para acessar arquivos dentro de pacotes que não possuem barras nos nomes, ou seja,

foo/
    __init__.py
    module1.py
    module2.py
    data/   
       data.txt
    data2.txt

ou seja, você pode acessar o data2.txtpacote interno foocom, por exemplo

importlib.resources.open_binary('foo', 'data2.txt')

mas falharia com uma exceção para

>>> importlib.resources.open_binary('foo', 'data/data.txt')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python3.7/importlib/resources.py", line 87, in open_binary
    resource = _normalize_path(resource)
  File "/usr/lib/python3.7/importlib/resources.py", line 61, in _normalize_path
    raise ValueError('{!r} must be only a file name'.format(path))
ValueError: 'data/data2.txt' must be only a file name

Isso não pode ser fixo, exceto colocando __init__.pyem datae, em seguida, usá-lo como um pacote:

importlib.resources.open_binary('foo.data', 'data.txt')

A razão para esse comportamento é "é por design" ; mas o design pode mudar ...

Você precisa de um nome para todo o seu módulo; sua árvore de diretórios não fornece esses detalhes; para mim, isso funcionou:

import pkg_resources
print(    
    pkg_resources.resource_filename(__name__, 'data/data.txt')
)

Notavelmente, o setuptools não parece resolver arquivos com base em uma correspondência de nome com os arquivos de dados compactados, então você precisa incluir o data/prefixo praticamente, não importa o quê. Você pode usar os.path.join('data', 'data.txt)se precisar de separadores de diretório alternativos. Geralmente, não encontro problemas de compatibilidade com os separadores de diretório de estilo unix codificados.

Eu acho que procurei uma resposta.

Eu faço um módulo data_path.py, que importo em meus outros módulos contendo:

data_path = os.path.join(os.path.dirname(__file__),'data')

E então eu abro todos os meus arquivos com

open(os.path.join(data_path,'filename'), <param>)