Opções de Backplane NVMe Dell PowerEdge

A Dell oferece vários backplanes de armazenamento em seus servidores PowerEdge 16G. Ao configurar o R760, existem quase 50 opções de chassis de unidade. Embora parte disso seja suporte legado (PERC 11, por exemplo), o ponto é que a decisão do chassis é importante. Isso nem sequer leva em consideração o suporte futuro para SSDs NVMe E3.S, que é a única maneira de obter SSDs Gen5 em servidores PowerEdge. Analisamos o E3.S no Dell PowerEdge R660 se você quiser saber mais sobre os benefícios dos formatos Gen5 e EDSFF.

De volta à tarefa em questão. Para esta análise, queremos entender as implicações da seleção da opção Direct Drives da Dell em comparação com a opção de placa HWRAID PERC 12. Como mencionado, o foco explícito aqui é apenas na consideração de SSDs NVMe U.2/U.3 Gen4. Por enquanto, estamos ignorando as opções de chassis para SATA/SAS e HDDs de 3,5 polegadas. Essas configurações são muito mais diretas.

No R760, a Dell oferece algumas opções de chassis para obter unidades NVMe Gen4 a bordo. A opção Direct Drives pode ser configurada para suporte de 8 ou 16 unidades. Para as configurações HWRAID, a Dell oferece a placa PERC 12 HWRAID da mesma forma, com uma placa RAID para cada lote de 8 SSDs. Essa decisão é importante, pois é fundamental para permitir que um R760 totalmente populado com 16 SSDs NVMe obtenha o melhor desempenho possível.

Visão Geral da Dell PERC 12

O Dell PowerEdge RAID Controller (PERC) 12 é baseado no silício Broadcom SAS4116W. Apesar do SAS no nome do produto, o controlador é um dispositivo tri-mode RAID-on-Chip (ROC). O mesmo controlador RAID é usado na linha Broadcom MegaRAID. Recentemente, analisamos o MegaRAID 9670W, destacando suas principais capacidades. Com o Dell PERC 12, no entanto, diferenças de design essenciais entram em jogo dependendo do servidor Dell e da família de armazenamento em que você está interessado.

Em relação ao PowerEdge, a maioria das configurações utilizará a placa PERC 12 "H965i Front". Em nossa análise do sistema R760 com HWRAID, temos duas dessas placas H965i Front no sistema, uma para cada conjunto de 8x SSDs Solidigm P5520. Vale a pena mencionar que essas placas são significativamente menores do que a placa add-in. O design da PCB e o gerenciamento térmico são verdadeiramente impressionantes. Essas placas são montadas diretamente no backplane NVMe de 8 unidades e conectadas à placa-mãe com dois cabos PCIe x8. Isso libera slots PCIe no lado traseiro do servidor para outros dispositivos.

Falando em placas add-in, a PERC 12 H965i padrão é uma placa de meia altura e meia extensão que inclui um ventilador onboard. Esta versão do PERC 12 aparecerá em algumas configurações do PowerEdge e também pode ser encontrada em alguns dos novos Dell PowerVault MD JBODs. Por último, há o H965i MX, que é uma PCB longa e estreita projetada para algo como o chassis modular MX7000.

Dell PERC 11 vs PERC 12

A placa Dell PERC 11 suportava SSDs NVMe, mas infelizmente, os benefícios do RAID de hardware vieram com um custo de desempenho extensivo. Esse impacto é precisamente o motivo pelo qual a indústria está tão animada com o novo silício Broadcom e a versão da Dell dessa placa, a PERC. A Dell publicou alguns números sobre a diferença entre PERC 11 e PERC 12, que são surpreendentes.

Os benefícios de latência do PERC 12 são claramente evidentes; mas olhe para o desempenho em condições de pior caso, o desempenho durante uma reconstrução. O PERC 12 apresenta um aumento de alguns milhares por cento, e até mesmo o tempo de reconstrução RAID vê benefícios significativos.

Olhando para os números de largura de banda e IOPS que a Dell cita, podemos ver novamente o enorme passo à frente que o PERC 12 dá em comparação com o PERC 11. Em geral, todas essas cargas de trabalho veem um mínimo de 2X de melhoria na placa PERC 12. Claro, fizemos nossos testes para verificar o desempenho do PERC 12, e chegaremos a isso.

Desempenho Dell Direct Drives vs. Dell PERC 12

Para comparar o desempenho de armazenamento em Direct Drives vs. PERC 12, configuramos nossos servidores R760 "primos" com SSDs Solidigm P5520 de 7,68 TB. O Dell R760 com Direct Drives tem 8 baias NVMe. O R760 com PERC 12 tem 16 baias NVMe com placas RAID H965i Front duplas.

À primeira vista, pode não ser óbvio que existem certas limitações de desempenho em ambos os lados. Começando com a abordagem Direct Drives, cada SSD tem sua própria conexão PCIe x4, o que significa que oito SSDs têm 32 pistas PCIe dedicadas a eles.

Isso permite uma largura de banda incrível, geralmente superior a 52 GB/s se cada unidade Gen4 puder saturar sua conexão de 6,5 GB/s. Comparado à configuração PERC 12 H965i, cada grupo de oito SSDs se interliga diretamente com a placa RAID, que se conecta de volta à placa-mãe com uma conexão PCIe x16. Isso corta pela metade a largura de banda que a configuração Direct Drives suporta. Então, obviamente, as conexões NVMe nativas vencem? Não exatamente.

Ao lidar com vários dispositivos NVMe em um sistema multi-CPU, o mapeamento NUMA entre a unidade e a CPU, bem como as interrupções do sistema, entram em jogo. Isso pode ser otimizado, mas requer um ajuste significativo. Nem todos os aplicativos levam isso em consideração.

A virtualização é uma área onde é desafiador gerenciar o mapeamento NUMA, pois os recursos compartilhados são balanceados em tempo real, às vezes para uma CPU que pode não ter acesso direto a esses recursos PCIe atribuídos. As placas RAID de hardware mitigam muitos desses problemas e otimizam as interrupções do sistema e a troca de contexto, o que libera recursos da CPU. O mapeamento NUMA também se torna menos complexo, pois, em vez de ter 16 SSDs individuais divididos entre duas CPUs, você tem apenas uma placa de armazenamento por CPU para gerenciar.

Nosso plano de teste se concentra em duas áreas. A primeira são as cargas de trabalho Vdbench medindo o desempenho JBOD com oito SSDs passados para qualquer R760. No Direct Drives R760 há oito SSDs nativos, enquanto no R760 HWRAID, o PERC 12 passa oito dispositivos de armazenamento brutos. Ambos são testados como estão, sem otimizações. O 2º estágio de teste mostra o desempenho escalonado da solução PERC 12 de uma configuração única para uma configuração dupla otimizada.

Nossa unidade de revisão Direct Drives PowerEdge R760 tem a seguinte configuração:

• Dual Intel Xeon Gold 6430 (32 núcleos/64 threads, 1,9 GHz base)
• 1 TB de RAM DDR5
• 8 SSDs Solidigm P5520 de 7,68 TB Gen4
• RHEL 9

A unidade de revisão HWRAID NVMe PowerEdge R760 tem a seguinte configuração:

• Dual Intel Xeon Gold 6430 (32 núcleos/64 threads, 1,9 GHz base)
• 1 TB de RAM DDR5
• 16 SSDs Solidigm P5520 de 7,68 TB Gen4
• Dual PERC 12 H965i
• RHEL 9

Análise de Carga de Trabalho Vdbench

Ao benchmark de dispositivos de armazenamento, o teste de aplicação é o melhor, seguido pelo teste sintético. Embora não seja uma representação perfeita das cargas de trabalho reais, os testes sintéticos ajudam a estabelecer uma linha de base para dispositivos de armazenamento com um fator de repetibilidade que facilita a comparação de "maçãs com maçãs" entre soluções concorrentes. Essas cargas de trabalho oferecem uma variedade de perfis de teste, desde testes de "quatro cantos" e testes comuns de tamanho de transferência de banco de dados até capturas de rastreamento de diferentes ambientes VDI.

Esses testes utilizam o gerador de carga de trabalho Vdbench típico com um motor de script para automatizar e capturar resultados em um grande cluster de teste de computação. Isso nos permite repetir as mesmas cargas de trabalho em vários dispositivos de armazenamento, incluindo arrays flash e dispositivos de armazenamento individuais. Nosso processo de teste para esses benchmarks preenche toda a superfície da unidade com dados e, em seguida, particiona uma seção da unidade igual a 25% da capacidade da unidade para simular como a unidade pode responder às cargas de trabalho de aplicativos. Isso difere dos testes de entropia completa, que usam 100% da unidade e as levam a um estado estável. Como resultado, esses números refletirão velocidades de gravação sustentadas mais altas.

Perfis:

• Leitura e Gravação Aleatória 4K: 100% Leitura ou Gravação, 128 threads, 0-120% iorate
• Leitura Sequencial 64K: 100% Leitura, 32 threads, 0-120% iorate
• Gravação Sequencial 64K: 100% Gravação, 16 threads, 0-120% iorate
• Mix Aleatório 4K 70R/30W e 90R/10W, 64 threads, 0-120% iorate

Olhando para nosso primeiro teste focado na largura de banda de transferência de leitura, podemos ver a vantagem do canal PCIe que a abordagem Direct Drives tem com 32 pistas PCIe sobre o único PERC 12 com 16 pistas. Isso resulta em 41,6 GB/s do Direct Drives versus 28 GB/s do PERC 12 no modo JBOD.

Mudando de largura de banda de leitura para gravação, a vantagem das pistas PCIe adicionais diminui, pois a velocidade de gravação do Solidigm P5520 é menor que sua velocidade de leitura. Aqui, a configuração Direct Drives mediu 18,3 GB/s em comparação com 20,3 GB/s do PERC 12.

Em nossa carga de trabalho aleatória de leitura 4K, os 8 SSDs Solidigm P5520 no Direct Drive PowerEdge R760 mediram um pico de 5,55M IOPS, em comparação com 4,34M IOPS na configuração PERC 12.

Em gravação aleatória 4K, essa diferença diminui novamente, com Direct Drives medindo 3,96M IOPS versus 4,15M IOPS no PERC 12.

Em nosso primeiro de dois workloads mistos, analisamos uma transferência aleatória 4K com uma distribuição de 70/30 Leitura/Gravação. Aqui, a configuração Direct Drives PowerEdge R760 mediu um pico de 4,47M IOPS, contra 3,66M IOPS do PERC 12.

Aumentando a porcentagem de leitura para 90% no mesmo teste de transferência 4K, medimos 5,04M IOPS do servidor Direct Drives versus 3,62M IOPS do sistema PERC 12.

Análise de Carga de Trabalho FIO

Para medir o desempenho das unidades das ofertas Direct Drive e PERC 12 HWRAID da Dell, os benchmarks foram divididos nas seguintes configurações. A primeira incluiu uma configuração JBOD medindo cada unidade fora de RAID, RAID10 e, em seguida, configurações RAID5.

Para a abordagem Direct Drives, os SSDs aparecem para o sistema operacional normalmente; para o PERC 12, eles são passados pelo HBA como dispositivos de armazenamento brutos. Essas configurações foram percorridas por um processo de script para pré-condicionar o flash, executar os testes para os quais foram condicionados e passar para a próxima mistura de pré-condicionamento/carga de trabalho.

• Pré-condicionamento sequencial
• Testes sequenciais em JBOD, 8DR10, 8DR5 (PERC Único e Duplo)
• Pré-condicionamento aleatório
• Testes aleatórios ótimos em JBOD, 8DR10, 8DR5 (PERC Único e Duplo)
• Testes de reconstrução aleatória em 8DR10, 8DR5 (PERC Único e Duplo)
• Latência de gravação aleatória para ótimo e reconstrução para 8DR5 (PERC Único)

Com o PERC 12 H965i tendo um slot PCIe Gen4 x16, seu desempenho máximo será em torno de 28 GB/s em uma direção, e é aí que o slot Gen4 atinge seu limite. A Dell adotou uma abordagem única para esse limite de largura de banda, oferecendo uma configuração PERC 12 dupla em seu PowerEdge R760. Em vez de 16 baias de SSD conectadas a uma única placa, a carga é dividida, com cada PERC 12 controlando seu próprio conjunto de 8 SSDs. Essa abordagem contorna a limitação de largura de banda, aumentando dramaticamente a taxa de transferência máxima disponível sob cargas de trabalho exigentes.

Olhando primeiro para o desempenho de transferência sequencial, podemos ver a vantagem de largura de banda que a configuração Direct Drives tem, com a velocidade de leitura medindo 54,4 GB/s contra o único PERC 12 medindo 28,1 GB/s. A velocidade de gravação nativa também tem uma vantagem, medindo 33,4 GB/s contra 28,3 GB/s do único PERC 12 com oito unidades atrás dele. As velocidades de gravação, em geral, não verão uma grande diferença aqui, pois, em geral, essa classe de SSD tem velocidade de leitura muito superior à velocidade de gravação.

Mudando nosso foco para o desempenho de transferência aleatória, começamos a ver uma mudança em onde as vantagens da placa RAID podem vir em relação ao balanceamento NUMA. Com o desempenho de leitura, os SSDs Solidigm P5520 de 7,68 TB mediram 7,96M IOPS em nosso teste de leitura 4K, com a configuração JBOD PERC 12 medindo 7M IOPS. A velocidade de gravação através da configuração Direct Drives caiu para 3,4M IOPS, enquanto o PERC 12 manteve 5,97M IOPS. Com a carga de trabalho OLTP 4K, isso se torna ainda mais pronunciado, com o Direct Drives medindo 3,6M IOPS versus 10,2M IOPS do PERC 12.

Embora o pensamento tradicional tenha sido que o RAID de hardware não tem valor com SSDs modernos, podemos ver que isso não é mais o caso. Sim, a configuração NVMe Direct Drives pode ser ajustada, mas é um alvo em movimento em vários SSDs balanceados em duas CPUs.

Isso está em contraste direto com a placa RAID de hardware PERC 12, que gerencia toda essa complexidade e se conecta a apenas uma CPU. Para escalonamento, a 2ª placa PERC no Dell PowerEdge R760 se conecta à outra CPU, oferecendo balanceamento para cargas de trabalho maiores divididas entre esses dois grupos de discos. Deve-se notar que em torno de 10M IOPS, o sistema começou a saturar as CPUs, razão pela qual não vimos escalonamento linear em algumas áreas com a placa PERC 12 adicional.

Embora não tenhamos analisado opções de RAID de software com a configuração Direct Drives PowerEdge R760, tivemos a oportunidade de ver o quão bem a configuração RAID funciona no PERC 12 em um estado degradado. Embora o desempenho tenha sofrido uma queda significativa em comparação com seu desempenho ideal, tanto RAID10 quanto RAID5 ofereceram forte desempenho durante a reconstrução de seus grupos RAID.

Embora o desempenho ideal de RAID seja um aspecto importante na escolha de uma solução de armazenamento, ver como ele se comporta em condições subótimas pode ser igualmente importante. Para esse fim, medimos a latência de gravação 4K em RAID5 em condições ideais e o desempenho de reconstrução com uma unidade falhada. Se o desempenho ou a latência sofressem um grande impacto, a capacidade de resposta do aplicativo poderia se tornar um problema. Embora o desempenho de reconstrução diminua em comparação com o ideal, a latência do desempenho não aumenta em relação à linha de base.

Considerações Finais

A nova placa RAID NVMe PERC12 da Dell muda o jogo para opções de armazenamento NVMe em servidores PowerEdge. No passado, alguns clientes hesitaram em mudar de SSDs SAS ou optaram por unidades NVMe conectadas a vários SDS ou hipervisores. No entanto, a introdução da placa PERC 12 alterou a equação para o PowerEdge, tornando-o uma opção mais viável.

O motivo pelo qual o PERC 12 tem um desempenho tão bom também é atribuível ao layout do servidor PowerEdge. Nosso R760 tem duas placas PERC 12 (H965i Front), cada uma com pistas x16. Isso nos permite utilizar os 8 SSDs Solidigm com cada placa, fornecendo uma largura de banda máxima de até 28 GB/s por placa. Conectar todos os 16 SSDs a uma única placa RAID resultaria na perda de metade do desempenho potencial.

Você pode perguntar: "Por que não 24 SSDs com HWRAID?" Lembre-se de que todo sistema tem um gargalo em algum lugar. Neste caso, podemos saturar a CPU com bastante facilidade, então o x86 dentro do servidor se torna o fator limitante. Se estivermos falando de uma solução clusterizada, então também atingiremos a rede. Um punhado de SSDs pode facilmente preencher 200 GbE ou até mesmo 400 GbE. Com as capacidades de SSD agora ultrapassando 30,72 TB, há menos necessidade de ter um servidor cheio de unidades para problemas de capacidade do sistema também.

Se você leu nossa análise da placa RAID Broadcom Série 9600, começamos bastante céticos de que o novo silício forneceria realisticamente todos os benefícios de resiliência de dados e reconstrução do HWRAID sem prejudicar o perfil de desempenho do SSD NVMe. Ficamos agradavelmente surpresos com os resultados nessa análise e ainda mais aqui, com o PERC 12 sendo capaz de dobrar no R760 para obter o dobro do desempenho de ponta. Embora o Dell Direct Drives ainda possa ser preferido em muitos casos de uso, como armazenamento definido por software, a opção PERC 12 deve ser extremamente popular para a maioria dos casos de uso corporativo.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Diretor de Estratégia Global
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com

Foco de Negócios:
Distribuição de Produtos de TI/Integração de Sistemas e Serviços/Soluções de Infraestrutura
Com mais de 20 anos de experiência em distribuição de TI, fazemos parceria com as principais marcas globais para fornecer produtos confiáveis e serviços profissionais.
"Usando a Tecnologia para Construir um Mundo Inteligente"Seu Provedor Confiável de Serviços de Produtos de TI!