2026-11-04 · Fonte：SiliconANGLE
O novo motor de software do pioneiro do NVMe over TCP retira os dados de cache de pares chave-valor da memória de alta largura de banda das GPU, melhorando a economia e o desempenho da inferência de IA.
A Lightbits Labs Ltd. anunciou a disponibilidade geral do Inferra, um motor de software concebido para melhorar tanto o desempenho como a economia da inferência de inteligência artificial. O objetivo central de conceção do produto é retirar os dados de cache de pares chave-valor da memória de alta largura de banda, limitada, que acompanha as unidades de processamento gráfico (GPU), libertando os sistemas de IA de uma restrição que há muito condiciona a execução das cargas de trabalho de inferência.
A cache de pares chave-valor está no centro da inferência moderna. À medida que os modelos geram resultados, armazenam um estado intermédio para evitar repetir cálculos, e esse estado tem de ser guardado algures. A memória de alta largura de banda ligada às GPU é finita, e o Inferra ataca diretamente esse teto ao transferir os dados de cache para além dela. A Lightbits apresenta o resultado como uma melhoria direta no perfil de custos e velocidade do serviço de modelos de IA, cabendo ao motor a relocalização dos dados de chave-valor durante a execução da inferência.
A empresa por trás do motor é sobretudo conhecida como inventora do protocolo de armazenamento NVMe over TCP, um percurso que molda a sua abordagem: tratar a pressão de memória em torno da inferência como um problema de movimentação de dados. Com o Inferra, a Lightbits posiciona o seu conhecimento em software de armazenamento no centro do debate sobre infraestrutura de IA, prolongando uma herança ao nível dos protocolos para a mecânica do serviço de modelos e do desempenho das GPU.
O lançamento em disponibilidade geral chega num momento em que a atenção do mercado de hardware de IA se volta para a eficiência da inferência, onde a capacidade de memória se traduz diretamente em débito e custos. Ao visar a cache de pares chave-valor, o Inferra entra numa camada do stack situada entre o silício dos aceleradores e o armazenamento — um território que a Lightbits conhece bem. A pretensão da empresa enfrentará agora o seu verdadeiro teste nas implementações em produção, onde a economia da inferência é medida.
Tags: Lightbits Labs · Inferra · KV Cache · AI Inference · GPU Memory · NVMe over TCP
萬安算交所 AIXX · AIXX · Exchange verificado · Ir ao mercado