Esta pergunta foi feita anteriormente no estouro de pilha, mas as pessoas boas recomendaram que eu tentasse a comunidade por aqui.

Estou pesquisando sobre arquivos esparsos em relação a vários sistemas de arquivos e estou tentando encontrar algo concreto que indique que os arquivos esparsos são suportados pelo Network File Systems (NFS) ou pelo Server Message Block (SMB).

Entendo que o SMB é amplamente usado no Windows e que, de acordo com esta entrada , um servidor SMB pode oferecer suporte a arquivos esparsos, mesmo que o sistema de arquivos subjacente não. No entanto, se eu estiver certo, o sistema de arquivos que não suporta arquivos esparsos preencheria os 'buracos' com zeros e isso pode levar a um problema de desempenho.

Com relação ao NFS, não consegui descobrir nada sobre o uso do NFS que suporta arquivos esparsos.

Portanto, minhas perguntas são,

Os arquivos esparsos são suportados no NFS e SMB?

NFS: possui suporte parcial para arquivos esparsos. Basicamente, ele suporta a criação de um arquivo esparso, mas, ao ler, o arquivo é expandido para incluir zeros. Isso significa que, embora você possa criar um arquivo esparso via NFS, ao ler o mesmo arquivo, os dados da rede em trânsito incluirão quaisquer zeros encontrados no arquivo original. Um teste simples mostra esse comportamento:

cd /mnt/nfs
truncate test.img -s 1G
ls -lh test.img

-rw-r - r--. 1 root root 1.0G 26 de outubro 11:29 test.img

du -hs test.img

0 test.img

Como você pode ver, o arquivo test.img tem um tamanho de 0 bytes no disco. No entanto, lendo-o usando dd if=test.img of=/dev/null bs=1M iflag=directshows

1024 + 0 registros em
1024 + 0 registros
1073741824 bytes (1,1 GB) copiados, 10.2269 s, 105 MB / s

É claro que, ao transferir o arquivo esparso, ele é expandido para incluir todos os zeros.

O NFSv4.2 será expandido incluindo tratamento especial para transferência de arquivos esparsos pela rede. Em outras palavras, com o NFSv4.2, o acima ddserá concluído quase que instantaneamente.

SMB: possui o mesmo comportamento do NFS , pelo menos nos meus ambientes de teste, usando um servidor Samba v3.6.x com CIFS v1 e um cliente Linux usando mount.cifs. Talvez no Windows ele se comporte de maneira diferente ...

NFS

Sim, o NFS 4.2 suporta totalmente arquivos esparsos (consulte este documento canônico e esta apresentação ).

Antes do NFS 4.2, o modelo de cliente / servidor do NFS suportava arquivos esparsos no sentido de que a API suportava todas as operações de arquivo POSIX. Isso significava que a gravação de arquivos esparsos em um servidor que suportava arquivos esparsos no sistema de arquivos de backup resultou na criação de um arquivo esparso (em vez de armazenar muitos zeros). Mas a leitura do arquivo resultaria na transmissão de muitos zeros para o elemento esparso. Ou seja, a resposta é 'parcialmente'.

O NFS 4.2 adiciona a capacidade do cliente de 'ver' falhas nos arquivos e, portanto, o servidor não precisa transmitir todos esses zeros. A partir do ID:

1.4.3.  Sparse Files

Sparse files are ones which have unallocated or uninitialized data
blocks as holes in the file.  Such holes are typically transferred as
0s during I/O. READ_PLUS (see Section 15.10) allows a server to send
back to the client metadata describing the hole and DEALLOCATE (see
Section 15.4) allows the client to punch holes into a file.  In
addition, SEEK (see Section 15.11) is provided to scan for the next
hole or data from a given location.

Apesar de a especificação suportar arquivos esparsos, seria possível para um implementador lento evitar a implementação de suporte para arquivos esparsos no cliente ou no servidor.

SMB

Eu sei menos sobre SMB, mas acredito que ele também suporta arquivos esparsos, se o bit de capacidade FS relevante estiver definido. Veja aqui para mais informações.