Upload de pasta de imagens do meu sistema para o Google Colab

Quero treinar um modelo de aprendizado profundo em um conjunto de dados contendo cerca de 3000 imagens. Como o conjunto de dados é enorme, quero usar o Google colab, pois é compatível com GPU. Como faço para carregar esta pasta de imagem completa no meu notebook e usá-la?

Método 1 :

1. compactar o arquivo
2. Faça o upload do arquivo compactado, existe um botão Upload na seção Arquivos.
3. Descompacte-o usando o comando em colab:! Descompacte level_1_test.zip

Método 2:

1. faça o upload do arquivo zip para a conta do Google Drive.
2. A única diferença está na etapa 2, no lugar da opção de upload da GUI, você pode executar o google code_snippets para fazer o upload, baixar o seu arquivo zip do google drive para a conta Colab.
3. Descompacte-o usando o comando em colab:! Descompacte level_1_test.zip

A melhor aposta seria fazer o upload das imagens como um arquivo zip para o seu Google drive e acessá-lo através do Google Colab (GC)

1. Feche a pasta da imagem
2. Faça o upload do arquivo zip para o seu Google drive

3. Vá para o GC para autorizar e montar seu Google drive

   from google.colab import drive
   drive.mount('/content/drive')
   

4. Siga o link e cole o código no seu notebook GC

5. Descompacte o arquivo do GC

   !unzip -uq "/content/drive/My Drive/PATH_TO_ZIP" -d "/content/drive/My Drive/PATH_TO_OUTPUT"
   

6. Os arquivos agora estão prontos para uso

Você não precisa carregá-los se tiver um link para download ... (seria mais rápido se você puder carregá-los de todas as formas possíveis). Portanto, é melhor carregá-los primeiro e depois baixá-los em seu notebook toda vez que você o executa)

Se você tiver um link para download, apenas este

! wget <Link>

Caso contrário, faça o upload para a sua unidade e, em seguida, basta usar o seguinte

from google.colab import files

uploaded = files.upload()

##files.upload returns a dictionary of the files which were uploaded. The 
##dictionary is keyed by the file name, the value is the data which was 
##uploaded.

for fn in uploaded.keys():
  print('User uploaded file "{name}" with length {length} bytes'.format(
      name=fn, length=len(uploaded[fn]))

Eu recomendo que você envie um arquivo zip contendo suas imagens para a sua unidade e faça o download do conteúdo da unidade para a Colab. Então você será capaz de extraí-los. O código para upload está aqui .

Você pode fazer o upload de coisas para o Google Drive e fazer o download a partir daí na Colab. Eu escrevi alguns utilitários para isso - veja este caderno .

Quanto ao upload de arquivos para o Google Drive, a sugestão do Media é útil: faça upload da pasta de imagens compactadas.