Claro, com a L4 custando cerca de US$ 2.500, a A2 custando aproximadamente metade do preço e a antiga (mas ainda bastante capaz) T4 disponível por menos de US$ 1.000 usada, a pergunta óbvia é qual a diferença entre essas três GPUs de inferência.

Uma coisa a entender ao olhar para essas três placas é que elas não são exatamente substituições geracionais um para um, o que explica por que a T4 ainda permanece, muitos anos depois, uma escolha popular para alguns casos de uso. A A2 foi lançada como substituta da T4 como uma opção de baixo consumo de energia e mais compatível (x8 vs x16 mecânico). Tecnicamente, a L4 é então uma substituta da T4, com a A2 ocupando um espaço intermediário que pode ou não ser atualizado em algum momento no futuro.

Desempenho MLPerf Inference 3.1

MLPerf é um consórcio de líderes de IA de academia, pesquisa e indústria estabelecido para fornecer benchmarks justos e relevantes de hardware e software de IA. Esses benchmarks são projetados para medir o desempenho de hardware, software e serviços de aprendizado de máquina em várias tarefas e cenários.

Nossos testes se concentram em dois benchmarks MLPerf específicos: Resnet50 e BERT.

• Resnet50: Esta é uma rede neural convolucional usada principalmente para classificação de imagens. É um bom indicador de quão bem um sistema pode lidar com tarefas de aprendizado profundo relacionadas ao processamento de imagens.
• BERT (Bidirectional Encoder Representations from Transformers): Este benchmark se concentra em tarefas de processamento de linguagem natural, oferecendo insights sobre o desempenho de um sistema na compreensão e processamento da linguagem humana.

Ambos os testes são cruciais para avaliar as capacidades de hardware de IA em cenários do mundo real envolvendo processamento de imagem e linguagem.

Avaliar a NVIDIA L4 com esses benchmarks é fundamental para ajudar a entender as capacidades da GPU L4 em tarefas específicas de IA. Ele também oferece insights sobre como diferentes configurações (configurações únicas, duplas e quádruplas) influenciam o desempenho. Essas informações são vitais para profissionais e organizações que buscam otimizar sua infraestrutura de IA.

Os modelos são executados em dois modos principais: Servidor e Offline.

• Modo Offline: Este modo mede o desempenho de um sistema quando todos os dados estão disponíveis para processamento simultaneamente. É semelhante ao processamento em lote, onde o sistema processa um grande conjunto de dados em um único lote. O modo offline é crucial para cenários onde a latência não é uma preocupação primária, mas o throughput e a eficiência são.
• Modo Servidor: Em contraste, o modo servidor avalia o desempenho do sistema em um cenário que imita um ambiente de servidor do mundo real, onde as solicitações chegam uma por vez. Este modo é sensível à latência, medindo a rapidez com que o sistema pode responder a cada solicitação. É essencial para aplicações em tempo real, como servidores web ou aplicações interativas, onde uma resposta imediata é necessária.

1 x NVIDIA L4 – Dell PowerEdge XR7620

Como parte de nossa recente análise do Dell PowerEdge XR7620, equipado com uma única NVIDIA L4, levamos-o para a borda para executar várias tarefas, incluindo MLPerf.

Nossa configuração de sistema de teste incluiu os seguintes componentes:

• 2 x Xeon Gold 6426Y – 16 núcleos 2,5 GHz
• 1 x NVIDIA L4
• 8 x 16 GB DDR5
• 480 GB BOSS RAID1
• Ubuntu Server 22.04
• Driver NVIDIA 535

O desempenho em cenários de servidor e offline para Resnet50 e BERT K99 é quase idêntico, indicando que a L4 mantém um desempenho consistente em diferentes modelos de servidor.

1, 2 e 4 NVIDIA L4 – Dell PowerEdge T560

Nossa unidade de revisão incluía os seguintes componentes:

• 2 x Intel Xeon Gold 6448Y (32 núcleos/64 threads cada, 225 watts TDP, 2,1-4,1 GHz)
• 8 x SSDs Solidigm P5520 de 1,6 TB com placa RAID PERC 12
• 1-4x GPUs NVIDIA L4
• 8 x RDIMMs de 64 GB
• Ubuntu Server 22.04
• Driver NVIDIA 535

Em nossos testes com duas L4s no Dell T560, observamos essa escalabilidade quase linear no desempenho para os benchmarks Resnet50 e BERT K99. Essa escalabilidade é uma prova da eficiência das GPUs L4 e sua capacidade de trabalhar em conjunto sem perdas significativas devido a sobrecarga ou ineficiência.

A escalabilidade linear consistente que testemunhamos com duas GPUs NVIDIA L4 se estende impressionantemente a configurações com quatro unidades L4. Essa escalabilidade é particularmente notável, pois manter ganhos de desempenho lineares torna-se cada vez mais desafiador a cada GPU adicionada devido às complexidades do processamento paralelo e gerenciamento de recursos.

Esses resultados são apenas para fins ilustrativos e não resultados competitivos ou oficiais do MLPerf. Para uma lista completa de resultados oficiais, visite a Página de Resultados do MLPerf.

Além de validar a escalabilidade linear das GPUs NVIDIA L4, nossos testes em laboratório lançam luz sobre as implicações práticas da implantação dessas unidades em diferentes cenários operacionais. Por exemplo, a consistência de desempenho entre os modos servidor e offline em todas as configurações com as GPUs L4 revela sua confiabilidade e versatilidade.

Esse aspecto é particularmente relevante para empresas e instituições de pesquisa onde os contextos operacionais variam significativamente. Além disso, nossas observações sobre o impacto mínimo de gargalos de interconexão e a eficiência da sincronização de GPU em configurações multi-GPU fornecem insights valiosos para aqueles que buscam escalar sua infraestrutura de IA. Esses insights vão além de meros números de benchmark, oferecendo uma compreensão mais profunda de como tal hardware pode ser otimamente utilizado em cenários do mundo real, guiando melhores decisões arquitetônicas e estratégias de investimento em infraestrutura de IA e HPC.

NVIDIA L4 – Desempenho de Aplicação

Comparamos o desempenho da nova NVIDIA L4 com as NVIDIA A2 e NVIDIA T4 que a precederam. Para demonstrar essa atualização de desempenho em relação aos modelos anteriores, implantamos os três modelos dentro de um servidor em nosso laboratório, com Windows Server 2022 e os drivers NVIDIA mais recentes, utilizando nosso conjunto completo de testes de GPU.

Essas placas foram testadas em um Dell Poweredge R760 com a seguinte configuração:

• 2 x Intel Xeon Gold 6430 (32 núcleos, 2,1 GHz)
• Windows Server 2022
• Driver NVIDIA 538.15
• ECC desativado em todas as placas para amostragem 1x

Ao iniciarmos os testes de desempenho entre este grupo de três GPUs corporativas, é importante notar as diferenças de desempenho únicas entre os modelos A2 e T4 anteriores. Quando a A2 foi lançada, ela ofereceu algumas melhorias notáveis, como menor consumo de energia e operação em um slot PCIe Gen4 x8 menor, em vez do slot PCIe Gen3 x16 maior que a T4 antiga exigia. De imediato, permitiu que ela fosse instalada em mais sistemas, especialmente com a menor pegada necessária.

Blender OptiX 4.0

Blender OptiX é um aplicativo de modelagem 3D de código aberto. Este teste pode ser executado para CPU e GPU, mas fizemos apenas GPU, como a maioria dos outros testes aqui. Este benchmark foi executado usando a utilidade CLI do Blender Benchmark. A pontuação é de amostras por minuto, com valores mais altos sendo melhores.

Blackmagic RAW Speed Test

Testamos CPUs e GPUs com o RAW Speed Test da Blackmagic, que testa velocidades de reprodução de vídeo. Este é mais um teste híbrido que inclui desempenho de CPU e GPU para decodificação RAW do mundo real. Estes são exibidos como resultados separados, mas estamos focando apenas nas GPUs aqui, então os resultados da CPU são omitidos.

Cinebench 2024 GPU

O Cinebench 2024 da Maxon é um benchmark de renderização de CPU e GPU que utiliza todos os núcleos e threads da CPU. Novamente, como estamos focando nos resultados da GPU, não executamos as partes da CPU do teste. Pontuações mais altas são melhores.

GPU PI

GPUPI 3.3.3 é uma versão da utilidade de benchmark leve projetada para calcular π (pi) para bilhões de decimais usando aceleração de hardware através de GPUs e CPUs. Ele aproveita o poder de computação do OpenCL e CUDA, que inclui unidades de processamento central e gráfico. Executamos apenas CUDA em todas as 3 GPUs e os números aqui são o tempo de cálculo sem tempo de redução adicionado. Menor é melhor.

Embora os resultados anteriores tenham analisado apenas uma única iteração de cada placa, também tivemos a oportunidade de analisar uma implantação de 5x NVIDIA L4 dentro do Dell PowerEdge T560.

Octanebench

OctaneBench é uma utilidade de benchmark para OctaneRender, outro renderizador 3D com suporte RTX semelhante ao V-Ray.

Geekbench 6 GPU

Geekbench 6 é um benchmark multiplataforma que mede o desempenho geral do sistema. Existem opções de teste para benchmarking de CPU e GPU. Pontuações mais altas são melhores. Novamente, analisamos apenas os resultados da GPU.

Você pode encontrar comparações com qualquer sistema que desejar no Geekbench Browser.

Luxmark

LuxMark é uma ferramenta de benchmark multiplataforma OpenCL daqueles que mantêm o motor de renderização 3D de código aberto LuxRender. Esta ferramenta analisa o desempenho da GPU em modelagem 3D, iluminação e trabalho de vídeo. Para esta análise, usamos a versão mais recente, v4alpha0. No LuxMark, valores mais altos são melhores quando se trata da pontuação.

GROMACS CUDA

Também fornecemos GROMACS compilado, um software de dinâmica molecular, especificamente para CUDA. Esta compilação personalizada foi para alavancar as capacidades de processamento paralelo das 5 GPUs NVIDIA L4, essenciais para acelerar simulações computacionais.

O processo envolveu a utilização do nvcc, o compilador CUDA da NVIDIA, juntamente com muitas iterações das flags de otimização apropriadas para garantir que os binários fossem devidamente ajustados à arquitetura do servidor. A inclusão de suporte CUDA na compilação GROMACS permite que o software interaja diretamente com o hardware da GPU, o que pode melhorar drasticamente os tempos de computação para simulações complexas.

O Teste: Interação de Proteína Personalizada em Gromacs

Utilizando um arquivo de entrada fornecido pela comunidade do nosso diversificado Discord, que continha parâmetros e estruturas adaptados para um estudo específico de interação de proteínas, iniciamos uma simulação de dinâmica molecular. Os resultados foram notáveis — o sistema atingiu uma taxa de simulação de 170,268 nanosegundos por dia.

Mais do que IA

Na onda implacável de inovação no cenário atual de IA, medir e entender as capacidades de várias plataformas de hardware é fundamental. Nem todas as aplicações de IA exigem fazendas massivas de treinamento de GPU — existe um segmento vital de IA de inferência que muitas vezes exige menos poder de GPU, especialmente na borda. Nesta análise, examinamos várias GPUs NVIDIA L4 em três servidores Dell diferentes e uma variedade de cargas de trabalho, incluindo MLperf, para avaliar o desempenho da L4.

 

NVIDIA L4

GPU NVIDIA L4

Em sua essência, a L4 oferece impressionantes 30,3 teraFLOPs de desempenho FP32, tornando-a ideal para tarefas computacionais de alta precisão. Suas capacidades se estendem a computações de precisão mista via Tensor Cores TF32, FP16 e BFLOAT16 — recursos críticos para aprimorar a eficiência do aprendizado profundo. De acordo com a folha de especificações da L4, o desempenho nesses modos de precisão mista varia de 60 a 121 teraFLOPs.

 

A L4 se destaca em tarefas de baixa precisão, ostentando 242,5 teraFLOPs com seus Tensor Cores FP8 e INT8, que aumentam significativamente o desempenho da inferência de redes neurais. Equipada com 24 GB de memória GDDR6 e uma largura de banda de 300 GB/s, ela pode lidar facilmente com grandes conjuntos de dados e modelos complexos. O que mais se destaca na L4, no entanto, é sua eficiência energética: com um TDP de 72W, ela é adequada para uma ampla variedade de ambientes de computação. Essa combinação de alto desempenho, eficiência de memória e baixo consumo de energia torna a NVIDIA L4 uma opção atraente para enfrentar os desafios da computação de borda.

 

Com o hype em torno da IA atingindo o pico, é fácil fixar-se apenas no desempenho da L4 com modelos de IA — mas ela tem alguns outros truques na manga, desbloqueando um mundo de possibilidades para aplicações de vídeo. A L4 pode hospedar até 1.040 streams de vídeo AV1 concorrentes a 720p30, uma capacidade que pode transformar como o conteúdo é transmitido ao vivo para usuários na borda, elevar a narrativa criativa e permitir casos de uso emocionantes para experiências imersivas de AR/VR.

 

A NVIDIA L4 também brilha quando se trata de otimizar o desempenho gráfico, como evidenciado por sua proeza em renderização em tempo real e rastreamento de raios. Em um ambiente de escritório de borda, a L4 é capaz de fornecer aceleração robusta e de alta potência para computação gráfica para VDI, atendendo a usuários finais que dependem de renderização gráfica de alta qualidade e em tempo real para seu trabalho.

 

Considerações Finais

A GPU NVIDIA L4 fornece uma base sólida para IA de borda e computação de alto desempenho, oferecendo eficiência e versatilidade incomparáveis em uma variedade de aplicações. Sua capacidade de lidar com cargas de trabalho intensivas de IA, tarefas de aceleração ou pipelines de vídeo — juntamente com seu desempenho gráfico otimizado — a torna uma escolha ideal para inferência de borda ou aceleração de desktop virtual. A combinação única da L4 de alto poder computacional, capacidades avançadas de memória e eficiência energética a posiciona como um player chave na condução da aceleração de cargas de trabalho de borda, particularmente em indústrias intensivas em IA e gráficos.

 

 

Pilha de rotação NVIDIA L4

Não se pode negar que a IA está no centro da atual tempestade de TI, e a demanda por GPUs H100/H200 de ponta continua altíssima. No entanto, há também um grande esforço para implantar infraestrutura de TI mais robusta na borda — onde os dados são gerados e analisados. Nesses cenários, uma GPU de tamanho mais apropriado é necessária, e a NVIDIA L4 se destaca aqui. Ela deve ser a escolha padrão para inferência de borda, seja implantada como uma unidade única ou escalada em conjunto, como testamos no T560.

 

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Diretor de Estratégia Global
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com

Foco de Negócios:
Distribuição de Produtos TIC/Integração de Sistemas e Serviços/Soluções de Infraestrutura
Com mais de 20 anos de experiência em distribuição de TI, fazemos parceria com as principais marcas globais para fornecer produtos confiáveis e serviços profissionais.
“Usando a Tecnologia para Construir um Mundo Inteligente”Seu Provedor Confiável de Serviços de Produtos TIC!