Forçar a renegociação da velocidade do link PCI Express? o cartão x2 reverte para a largura x1

Em um esforço para contornar as barreiras de compatibilidade e custo ao uso de unidades SSD com servidores HP ProLiant Gen8 mais recentes, estou trabalhando para validar SSDs baseados em PCIe na plataforma. Eu tenho experimentado um produto interessante da Other World Computing chamado Accelsior E2 .

Este é um design básico; uma placa PCIe com um controlador SATA RAID Marvell de 6 Gbps e dois "blades" SSD conectados à placa. Eles podem ser passados para o SO para RAID de software ( ZFS , por exemplo) ou alavancados como uma faixa RAID0 de hardware ou par espelhado RAID1. Bacana. É realmente apenas compactar um controlador e discos em um formato realmente pequeno.

O problema:

Olhe para esse conector PCIe. Essa é uma interface PCie x2 . Os tamanhos físicos de slots / faixas PCIe são tipicamente x1, x4, x8 e x16 , com as conexões elétricas geralmente sendo x1, x4, x8 e x16. Isso é bom. Eu usei cartões x1 em servidores antes.

Comecei a testar o desempenho desta placa em um sistema inicializado e descobri que as velocidades de leitura / gravação eram limitadas a ~ 410 MB / s, independentemente da configuração do servidor / slot / BIOS. Os servidores em uso foram os sistemas HP ProLiant G6, G7 e Gen8 (Nehalem, Westmere e Sandy Bridge) com slots PCIe x4 e x8. Observar o BIOS da placa mostrou que o dispositivo negociava: PCIe 2.0 5.0Gbps x1- Portanto, ele usa apenas uma pista PCIe em vez de duas, portanto, apenas metade da largura de banda anunciada está disponível.

Existe alguma maneira de forçar um dispositivo PCIe a funcionar em uma velocidade diferente?

Minha pesquisa mostra que o PCIe x2 tem uma largura de faixa ímpar ... O padrão PCI Express aparentemente não requer compatibilidade com as larguras de faixa x2 , portanto, meu palpite é que os controladores nos meus servidores estão voltando para x1 ... Eu tenho algum recurso?

lspci -vvvSaída abreviada . Observe a diferença entre as linhas LnkStae LnkCap.

05:00.0 SATA controller: Marvell Technology Group Ltd. Device 9230 (rev 10) (prog-if 01 [AHCI 1.0])
        Subsystem: Marvell Technology Group Ltd. Device 9230
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr+ Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
                DevSta: CorrErr+ UncorrErr- FatalErr- UnsuppReq+ AuxPwr- TransPend-
                LnkCap: Port #0, Speed 5GT/s, Width x2, ASPM L0s L1, Latency L0 <512ns, L1 <64us
                        ClockPM- Surprise- LLActRep- BwNot-
                LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- Retrain- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
        Kernel driver in use: ahci
        Kernel modules: ahci

hardware hp hp-proliant ssd pci-express ewwhite
fonte

Estou assumindo que você está colocando o cartão em um slot x4, certo? De qualquer forma, não tenho certeza de como a HP manipulará a placa x2. Em um slot x4, ele deve poder usar as duas faixas, mas, como você mencionou, não há garantia de que ele seja usado. Tudo o que foi dito, não tenho certeza de quanto aumento de desempenho você pode ver, já que o SATA de 6 gbs ainda é geralmente visto como limitado a um máximo de 4,8 gb / s com a sobrecarga de codificação com uma única pista PCIe com uma taxa de transferência máximo de 5gbs.

Rex

@Rex "slots PCIe x4 e x8" foram testados. A placa possui dois SSDs SATA de 6 Gbps discretos a bordo, portanto, há um aumento de velocidade disponível uma vez / se o PCIe x2 for negociado.

ewwhite

Ah .. perdeu os slots x4 / x8 da questão, mas você diz "Placa PCIe com um controlador Marvell de 6Gbps SATA RAID" implicando um único controlador :) Se houver dois controladores distintos, cada SSD está conectado a seu próprio controlador? Então, como ele pode executar o RAID de hardware nos dois controladores diferentes?

Rex

@Rex Existem dois SSDs conectados a um controlador. Um controlador RAID de 6 Gbps tem largura de banda de 6 Gbps por pista SAS / SATA.

ewwhite

A especificação PCIe não exige que os slots suportem nada, exceto 1x. Quando um cartão é inserido, o host o consulta para obter suporte à faixa e seja qual for a potência mais alta de dois que ambos suportam (portanto, 1x, 2x, 4x, 8x, 16x ou 32x). Além disso, cada faixa em um nó de extremidade (host ou cartão) pode suportar a negociação inicial, mas normalmente apenas a primeira faixa suporta (quando faixas adicionais suportam a negociação, o slot pode ser bifurcado, conectando mais de uma placa através do uso de um divisor ) Conforme observado abaixo, os servidores em questão não oferecem suporte ao modo de pista 2x.

Chris S

Tenho em mãos um servidor IBM com uma placa Broadcom 4 × 1GbE ... negociado de 2,0x4 para 2,0x2:

0b:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5709 Gigabit Ethernet (rev 20) 
Subsystem: IBM Device 03a9 
Capabilities: [ac] Express (v2) Endpoint, MSI 00
LnkCap: Port #0, Speed 5GT/s, Width x4, ASPM L0s L1, Latency L0 <2us, L1 <2us 
LnkSta: Speed 5GT/s, Width x2, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-

Tinha um conector x4 que eu estou supondo que só é plenamente utilizado quando colocado em um slot PCIe v1, por isso parece que ele está negociando para baixo para x2 quando usado em um slot PCIe v2 (desde 5GT / s bidirecional é suficiente para 4 × 1GbE )

O mesmo pode estar acontecendo com seu cartão?

(Caso contrário, minha resposta é: use IBM em vez de HP: P)

MikeyB
fonte

No IBM !!! Nunca;)

ewwhite

Forçar a renegociação da velocidade do link PCI Express? o cartão x2 reverte para a largura x1

Respostas: