É possível usar o pip para instalar um pacote de um repositório privado do GitHub?

Estou tentando instalar um pacote Python a partir de um repositório GitHub privado. Para um repositório público, posso emitir o seguinte comando que funciona bem:

pip install git+git://github.com/django/django.git

No entanto, se eu tentar isso para um repositório privado:

pip install git+git://github.com/echweb/echweb-utils.git

Eu recebo a seguinte saída:

Downloading/unpacking git+git://github.com/echweb/echweb-utils.git
Cloning Git repository git://github.com/echweb/echweb-utils.git to /var/folders/cB/cB85g9P7HM4jcPn7nrvWRU+++TI/-Tmp-/pip-VRsIoo-build
Complete output from command /usr/local/bin/git clone git://github.com/echweb/echweb-utils.git /var/folders/cB/cB85g9P7HM4jcPn7nrvWRU+++TI/-Tmp-/pip-VRsIoo-build:
fatal: The remote end hung up unexpectedly

Cloning into /var/folders/cB/cB85g9P7HM4jcPn7nrvWRU+++TI/-Tmp-/pip-VRsIoo-build...

----------------------------------------
Command /usr/local/bin/git clone git://github.com/echweb/echweb-utils.git /var/folders/cB/cB85g9P7HM4jcPn7nrvWRU+++TI/-Tmp-/pip-VRsIoo-build failed with error code 128

Acho que é porque estou tentando acessar um repositório privado sem fornecer nenhuma autenticação. Portanto, tentei usar o Git + sshesperando que o pip usasse minha chave pública SSH para autenticar:

pip install git+ssh://github.com/echweb/echweb-utils.git

Isso fornece a seguinte saída:

Downloading/unpacking git+ssh://github.com/echweb/echweb-utils.git
Cloning Git repository ssh://github.com/echweb/echweb-utils.git to /var/folders/cB/cB85g9P7HM4jcPn7nrvWRU+++TI/-Tmp-/pip-DQB8s4-build
Complete output from command /usr/local/bin/git clone ssh://github.com/echweb/echweb-utils.git /var/folders/cB/cB85g9P7HM4jcPn7nrvWRU+++TI/-Tmp-/pip-DQB8s4-build:
Cloning into /var/folders/cB/cB85g9P7HM4jcPn7nrvWRU+++TI/-Tmp-/pip-DQB8s4-build...

Permission denied (publickey).

fatal: The remote end hung up unexpectedly

----------------------------------------
Command /usr/local/bin/git clone ssh://github.com/echweb/echweb-utils.git /var/folders/cB/cB85g9P7HM4jcPn7nrvWRU+++TI/-Tmp-/pip-DQB8s4-build failed with error code 128

O que estou tentando alcançar é possível? Se sim, como posso fazer isso?

Você pode usar o git+sshesquema de URI, mas deve definir um nome de usuário:

pip install git+ssh://git@github.com/echweb/echweb-utils.git

Você vê a git@parte no URI?

PS: Leia também sobre as chaves de implantação .

PPS: Na minha instalação, o esquema de URI "git + ssh" funciona apenas com os requisitos "editáveis":

pip install -e URI#egg=EggName

Lembre - se : Altere o :caractere que é git remote -vimpresso em um /caractere antes de usar o endereço do controle remoto no pipcomando:

$ git remote -v
origin  git@github.com:echweb/echweb-utils.git (fetch)
                      ^ change this to a '/' character

Se você esquecer, você receberá este erro:

ssh: Could not resolve hostname github.com:echweb:
         nodename nor servname provided, or not known

Como uma técnica adicional, se você tiver o repositório privado clonado localmente, poderá:

pip install git+file://c:/repo/directory

De maneira mais moderna, você pode fazer isso (e -eisso significa que você não precisa confirmar as alterações antes que elas reflitam):

pip install -e C:\repo\directory

Você pode fazer isso diretamente com a URL HTTPS desta forma:

pip install git+https://github.com/username/repo.git

Isso também funciona apenas acrescentando essa linha no requirements.txt em um projeto Django , por exemplo.

Também funciona com o Bitbucket :

pip install git+ssh://git@bitbucket.org/username/projectname.git

Pip usará suas chaves SSH neste caso.

A sintaxe para o arquivo de requisitos é fornecida aqui:

https://pip.pypa.io/en/latest/reference/pip_install.html#requirements-file-format

Então, por exemplo, use:

-e git+http://github.com/rwillmer/django-behave#egg=django-behave

se você quiser que a fonte permaneça após a instalação.

Ou apenas

git+http://github.com/rwillmer/django-behave#egg=django-behave

se você apenas deseja que ele seja instalado.

Achei muito mais fácil usar tokens do que chaves SSH. Como não encontrei muita documentação boa sobre isso, encontrei essa solução principalmente por tentativa e erro. Além disso, a instalação do pip e setuptools possui algumas diferenças sutis; mas dessa maneira deve funcionar para ambos.

O GitHub (atualmente, a partir de agosto de 2016) não oferece uma maneira fácil de obter o zip / tarball de repositórios privados. Então, você precisa apontar setuptools para dizer ao setuptools que você está apontando para um repositório Git:

from setuptools import setup
import os
# Get the deploy key from https://help.github.com/articles/git-automation-with-oauth-tokens/
github_token = os.environ['GITHUB_TOKEN']

setup(
    # ...
    install_requires='package',
    dependency_links = [
    'git+https://{github_token}@github.com/user/{package}.git/@{version}#egg={package}-0'
        .format(github_token=github_token, package=package, version=master)
        ]

Algumas notas aqui:

• Para repositórios particulares, você precisa se autenticar no GitHub; a maneira mais simples que encontrei é criar um token OAuth , soltá-lo em seu ambiente e incluí-lo no URL
• Você precisa incluir algum número de versão (aqui está 0) no final do link, mesmo se não houver nenhum pacote no PyPI . Este deve ser um número real, não uma palavra.
• Você precisa git+usar o prefácio para dizer ao setuptools que é para clonar o repositório, em vez de apontar para um zip / tarball
• version pode ser uma ramificação, uma tag ou um hash de confirmação
• Você precisa fornecer --process-dependency-linksse estiver instalando a partir do pip

Eu descobri uma maneira de instalar automaticamente o pip de um repositório privado do GitLab que não requer prompt de senha. Essa abordagem usa o GitLab "Deploy Keys" e um arquivo de configuração SSH, para que você possa implantar usando outras chaves além das suas chaves SSH pessoais (no meu caso, para uso por um 'bot). Talvez alguém que seja gentil pode verificar usando o GitHub.

Crie uma nova chave SSH:

ssh-keygen -t rsa -C "GitLab_Robot_Deploy_Key"

O arquivo deve aparecer como ~/.ssh/GitLab_Robot_Deploy_Keye ~/.ssh/GitLab_Robot_Deploy_Key.pub.

Copie e cole o conteúdo do ~/.ssh/GitLab_Robot_Deploy_Key.pubarquivo na caixa de diálogo "Deploy Keys" do GitLab.

Teste a nova chave de implantação

O comando a seguir diz ao SSH para usar sua nova chave de implantação para configurar a conexão. Com sucesso, você deverá receber a mensagem: "Bem-vindo ao GitLab, UserName!"

ssh -T -i ~/.ssh/GitLab_Robot_Deploy_Key [email protected]

Crie o arquivo de configuração SSH

Em seguida, use um editor para criar um ~/.ssh/configarquivo. Adicione o seguinte conteúdo. O valor 'Host' pode ser o que você quiser (lembre-se, porque você o usará mais tarde). O HostName é o URL da sua instância do GitLab. O IdentifyFile é o caminho para o arquivo de chave SSH que você criou na primeira etapa.

Host GitLab
  HostName gitlab.mycorp.com
  IdentityFile ~/.ssh/GitLab_Robot_Deploy_Key

Aponte SSH para o arquivo de configuração

oxyum nos deu a receita para usar pip com SSH:

pip install git+ssh://[email protected]/my_name/my_repo.git

Só precisamos modificá-lo um pouco para que o SSH use nossa nova chave de implantação. Fazemos isso apontando SSH para a entrada Host no arquivo de configuração SSH. Apenas substitua 'gitlab.mycorp.com' no comando pelo nome do host que usamos no arquivo de configuração SSH:

pip install git+ssh://git@GitLab/my_name/my_repo.git

O pacote agora deve ser instalado sem nenhum prompt de senha.

Referência A
Referência B

Quando estava instalando no GitHub, pude usar:

pip install git+ssh://git@github.com/<username>/<projectname>.git#egg=<eggname>

Mas, como eu tive que executar o pip as sudo, as chaves SSH não estavam mais funcionando com o GitHub e o "git clone" falhou em "Permission denied (publickey)". Usar git+httpsme permitiu executar o comando como sudo e o GitHub me pediu meu usuário / senha.

sudo pip install git+https://github.com/<username>/<projectname>.git#egg=<eggname>

Você também pode instalar uma dependência de repositório particular via git + https: //github.com / ... URL, fornecendo credenciais de login (login e senha ou implantar token) para se curvar com o .netrcarquivo:

echo "machine github.com login ei-grad password mypasswordshouldbehere" > ~/.netrc
pip install "git+https://github.com/ei-grad/my_private_repo.git#egg=my_private_repo"

Se você deseja instalar dependências a partir de um arquivo de requisitos em um servidor de IC ou similar, pode fazer o seguinte:

git config --global credential.helper 'cache'
echo "protocol=https
host=example.com
username=${GIT_USER}
password=${GIT_PASS}
" | git credential approve
pip install -r requirements.txt

No meu caso, eu usei GIT_USER=gitlab-ci-tokene GIT_PASS=${CI_JOB_TOKEN}.

Este método tem uma clara vantagem. Você tem um único arquivo de requisitos que contém todas as suas dependências.

Se você não quiser usar o SSH, poderá adicionar o nome de usuário e a senha no URL HTTPS.

O código abaixo pressupõe que você tenha um arquivo chamado "pass" no diretório ativo que contém sua senha.

export PASS=$(cat pass)
pip install git+https://<username>:$PASS@github.com/echweb/echweb-utils.git

a solução da oxyum está correta para esta resposta. Eu só quero ressaltar que você precisa ter cuidado se estiver instalando usando sudoas chaves, pois elas também devem ser armazenadas para root (por exemplo /root/.ssh).

Então você pode digitar

sudo pip install git+ssh://git@github.com/echweb/echweb-utils.git

Se você possui sua própria biblioteca / pacote no GitHub, GitLab, etc., é necessário adicionar uma tag para confirmar com uma versão concreta da biblioteca, por exemplo, v2.0, e então você pode instalar o seu pacote:

pip install git+ssh://link/name/repo.git@v2.0

Isso funciona para mim. Outras soluções não funcionaram para mim.

Aqui está um método rápido que funcionou para mim. Simplesmente bifurque o repositório e instale-o a partir da sua própria conta GitHub com

pip install git+https://github.com/yourName/repoName

Basta copiar o controle remoto do git clonecomando original (ou de git remote -v). Você obterá algo como isto:

• Bitbucket: git+ssh://[email protected]:your_account/my_pro.git

• GitHub: git+ssh://[email protected]:your_account/my_pro.git

Em seguida, você precisa substituir :por /próximo ao nome de domínio.

Então instale usando:

pip install git+ssh://git@bitbucket.org/your_account/my_pro.git

Você pode tentar

pip install [email protected]/my_name/my_repo.git

sem ssh:.... Isso funciona para mim.