2026-11-04 · Fonte:Unite AI p3

O sistema de roteamento nativo do Kubernetes e consciente de GPU para inferência de LLM é implantado como um único add-on gerenciado para o Amazon EKS e, segundo a AWS, pode cortar a latência do primeiro token em até 82 por cento.
A Amazon Web Services apresentou o Amazon SageMaker HyperPod Inference Gateway, um sistema de roteamento nativo do Kubernetes e consciente de GPU para inferência de grandes modelos de linguagem. Anunciado em 18 de setembro de 2026, o gateway é implantado como um único add-on gerenciado para o Amazon EKS e opera na infraestrutura HyperPod existente. Segundo a AWS, o sistema pode reduzir a latência do primeiro token em até 82 por cento — uma métrica que mede a rapidez com que um modelo começa a retornar saída, e uma medida-chave de capacidade de resposta para aplicativos interativos.
O lançamento mira o que a AWS enquadra como uma fraqueza estrutural na forma como os clusters de inferência distribuem tráfego. Na narrativa da empresa, os algoritmos padrão de balanceamento de carga do Kubernetes, como round-robin e least-connections, não têm visibilidade, deixando as requisições pousarem sem considerar os aceleradores que de fato as atendem. O Inference Gateway é projetado para fechar essa lacuna ao tomar decisões de roteamento conscientes da disponibilidade de GPU, em vez de tratar os endpoints de inferência como intercambiáveis.
Para as equipes que rodam serving de LLM no EKS, o modelo de add-on gerenciado significa que a capacidade chega sem um plano de controle separado para construir ou manter e, como roda na infraestrutura HyperPod existente, a adoção não exige levantar novos clusters. A melhoria de até 82 por cento na latência do primeiro token, porém, é um número do próprio fornecedor; operadores que avaliam o gateway para aplicativos sensíveis à latência vão querer fazer benchmark contra suas próprias cargas de trabalho e mix de modelos antes de se comprometer.
Estrategicamente, o anúncio aprofunda o papel do SageMaker HyperPod no serving de cargas de trabalho e sinaliza o esforço da AWS para tornar a própria inferência uma camada gerenciada e otimizada de sua pilha de nuvem. À medida que a capacidade de resposta do serving molda cada vez mais a economia dos aplicativos de IA generativa, a inteligência de roteamento está emergindo como um diferencial entre os hyperscalers — e a AWS está estabelecendo sua posição nessa camada com ferramentas nativas do Kubernetes que os clientes existentes podem ativar diretamente.
Tags: AWS · SageMaker HyperPod Inference Gateway · Amazon EKS · LLM Inference · Kubernetes · GPU-Aware Routing
萬安算交所 AIXX · AIXX · Exchange verificado · Ir ao mercado