Quais são as "boas" velocidades para iSCSI e NFS com mais de 1 GB de Ethernet?

9

Eu tenho uma caixa do OpenSolaris compartilhando dois sistemas de arquivos ZFS. Uma é uma conexão NFS a uma caixa do CentOS executando o servidor VMware (as imagens de disco são armazenadas no ZFS). A outra é uma conexão iSCSI com um servidor Windows 2008 com formatação NTFS no ZFS. Ambas as conexões são diretas no gig-E (sem comutadores).

Estou correndo munin para monitorar as caixas, mas não tenho certeza de que tipo de números eu deveria estar esperando. Alguém pode me dar alguns números de linha de base para comparar ou fazer sugestões sobre por onde começar a ajustar?

Aqui estão as estatísticas do NFS que estou vendo, postarei o iSCSI assim que corrigir o munin na caixa solaris: P

interface

cliente nfs

vmware-server nfs iscsi zfs Sysadminicus
fonte
Quais unidades você está procurando? KBPS? IO / s?
WerkkreW 27/05/09
Nem sei por onde começar a procurar. Eu atualizei o post com as estatísticas que tenho de munin. Deixe-me saber se há lugares melhores para procurar.
Sysadminicus

Respostas:

12

Empurramos um Sun X4100 escrevendo sobre GigE e iSCSI vinculados para um Sun X4500 a 280MB / s.

Muito pode ser feito para ajustar a pilha TCP no Solaris para ajudar, esta é a minha configuração de ajuste de estoque. (tire uma coleção de white papers da Sun):

$ cat /etc/rc3.d/S99ndd
#!/bin/bash

NDD=/usr/sbin/ndd

$NDD -set /dev/tcp tcp_xmit_hiwat 1048576
$NDD -set /dev/tcp tcp_recv_hiwat 8388608
$NDD -set /dev/tcp tcp_max_buf 8388608
$NDD -set /dev/udp udp_xmit_hiwat 1048576
$NDD -set /dev/udp udp_recv_hiwat 8388608
$NDD -set /dev/udp udp_max_buf 8388608
$NDD -set /dev/tcp tcp_conn_req_max_q 65536
$NDD -set /dev/tcp tcp_conn_req_max_q0 65536
$NDD -set /dev/tcp tcp_fin_wait_2_flush_interval 67500

Além disso, vale a pena examinar a sua máquina OpenSolaris, alterando o intervalo fsflush, o ajuste de interrupção "mágico" e desativando os soft rings. Anexe o seguinte ao / etc / system (é necessário reiniciar):

* "fsflush" tuning
set tune_t_fsflushr = 5
set autoup = 300
* Disable the Automatic Interrupt Adjustment
set dld:dld_opt = 2
* Disable "soft rings"
set ip:ip_squeue_fanout = 0
set ip:ip_soft_rings_cnt = 0

Vale ressaltar, eu faço isso no Solaris 10 - não no OpenSolaris - mas acho que os ajustáveis ​​devem funcionar para você da mesma forma.

Sou um grande fã do Filebench por brincar com opções de ajuste e fazer testes de produtividade.

A versão (recentemente renomeada) do OpenSolaris 2009.06 parece ser muito empolgante no mundo do iSCSI e ZFS.

Espero que isso ajude alguns!

jharley
fonte
3

Recebo cerca de 90 MB / s em meus arrays EMC AX150i sobre iSCSI na Ethernet de 1 GB.

Brent Ozar
fonte
1

Para apenas um único dd ou bonnie ++ (velocidade bruta, gravação linear), você deve ficar bem próximo da velocidade do fio.

Mas seu gargalo será a matriz de disco, assim que você começar a carregar aleatoriamente a carga de IO de várias VMs, muito mais do que o transporte.

Além disso, se você não tiver um cache de gravação com bateria e uma quantidade significativa de RAM, seu desempenho será prejudicado assim que você começar a fazer muitas gravações com qualquer outro IO em andamento.

jwiz
fonte
0

Consegui enviar dados por iSCSI para cerca de 200 Mbit / s em links de 1 GB. Mas eu tinha um RAID 6 de 14 discos hospedado por um EMC CX4-240, sem muito mais o cache da época.

O maior gargalo provavelmente será a quantidade de cache do controlador e a velocidade dos discos (para quando o cache ficar cheio).

Mrdenny
fonte
1
Falhamos no estágio de planejamento colocando todos os 12 discos no mesmo controlador. Imagino que dividi-los em outro controlador seria uma vitória fácil para nós.
Sysadminicus
Pode, tudo depende de onde está o gargalo. Nosso RAID 6 é um único controlador, pois está tudo dentro de uma única prateleira. Mas está em uma peça de hardware bastante sofisticada. Onde está o gargalo? Você pode simplesmente precisar colocar mais cache no controlador e / ou atribuir uma porcentagem maior de cache como cache de gravação.
28609 mrdenny
Eu tenho uma configuração semelhante (embora com o AX4-5). Não uso o iSCSI, mas recebi transferências extremamente rápidas usando protocolos não criptografados entre duas máquinas na SAN. Eu gostaria de conhecer um bom documento (s) de otimização da SAN.
Matt Simmons
0

Recebo cerca de 80 MB / S no meu servidor Windows por ISCSI na Ethernet 1G. Destino: KernSafe iStorage Server http://www.kernsafe.com/Product.aspx?id=5 Iniciador: Iniciador da Microsoft www.microsoft.com/downloads/details.aspx?familyid=12cb3c1a-15d6-4585-b385-befd1319f825&displaylang= en

Disco rígido: ATA 7200


fonte
0

Para aqueles de nós mais próximos do objetivo semi-profissional (em vez de profissional), recebo constantes e consistentes 150 MB de leitura e 120 MB de gravação do servidor W2012, com um nicho duplo de 1 gb, agrupado via switch gerenciado draytek para blackarmorsnas via cobre RJ45, transferência única de arquivo de 20 GB. Nenhuma outra operação simultânea durante o teste. Para conseguir isso, estou usando jumbo-frames 9k, fluxo rx e tx, ou seja, todas as otimizações normais do driver, mas nenhum ajuste além de ligar as coisas e elevar o jumbo-frame ao máximo.

user174818
fonte