2026-11-13 · Fonte:MarkTechPost

O Google Cloud abriu o código da biblioteca C++ TPU Sync, que trata a memória HBM dos TPUs, a memória do host e a rede do datacenter como uma única hierarquia de memória para mover KV cache; testes oficiais indicam redução superior a 90% na sobrecarga de transferência.
O Google Cloud tornou open source a biblioteca C++ TPU Sync (licença Apache 2.0, com Python wheels para PyTorch e JAX). Ela ataca o gargalo da inferência de grandes modelos em que mover o estado é mais difícil do que calcular: trata a HBM dos TPUs, a DRAM do host, o armazenamento compartilhado e a rede do datacenter como uma única hierarquia de memória, encarregada de transferir o KV cache e os pesos do modelo; acima disso há um armazenamento global de KV (busca por prefixos), um controlador de transferência e um gerenciador de KV cache, além de suporte experimental à difusão dos pesos de treinamento para o sampler para servir aprendizado por reforço.
O design tem quatro escolhas-chave: primeira, DMA direto com layout preservado, lendo e gravando in-place buffers JAX PJRT e tensores PyTorch e mantendo o layout nativo de tiles do TPU, sem serialização nem buffers intermediários; segunda, sobreposição de transferência e computação, com o aliasing de buffers PJRT permitindo que as cópias ocorram durante o cálculo, e throttling de DMA para impedir que cópias grandes bloqueiem o lançamento de kernels; terceira, o caminho de dados não passa de forma alguma pela compilação do XLA, com transferências e resharding feitos em C++ nativo fora do grafo do XLA; quarta, canais de alta largura de banda: um host Ironwood atingiu até 223GB/s medidos via PCIe (próximo do teto teórico de 256GB/s do PCIe Gen5), com cerca de 192Gbps por placa de rede no datacenter e cerca de 350Gbps com duas placas.
O cenário típico é a inferência com prefill e decode separados (P/D): os nós de prefill fazem DMA assíncrono dos blocos de KV para a memória do host fixada (pinned), o controlador os envia então host a host para os nós de decode, e os blocos que chegam são gravados na HBM dos nós de decode à medida que o decoding avança; também há suporte a cache de prefixos com contexto de 64K, e quando os pesos do MoE ocupam toda a HBM, a capacidade efetiva do cache pode aumentar em uma ordem de grandeza.
Dados autodeclarados pela empresa (testes internos de julho de 2026, topologia TPU v7x 2x2x1, modelos MoE de 235B a 480B): sobrecarga de transferência de KV reduzida em mais de 90%, com a latência mediana de transferência de KV do Qwen3 235B caindo de segundos para cerca de 230 milissegundos; em baixa concorrência, a latência do primeiro token (TTFT) caiu 60% em média (235B) e 90% (480B); durante picos de tráfego, o throughput de saída do 235B subiu de 30% a 70%; o cache de prefixos reduziu o TTFT com contexto de 64K em até 90%, elevou o throughput em mais de 50% e reduziu em 30% a latência P99 entre tokens.
No ecossistema, o TPU Sync já é o conector de KV do vLLM-TorchTPU e o backend de I/O de transferência P/D e cache em camadas do SGLang-TorchTPU; o llm-d 1.0 no GKE o usa para roteamento com afinidade de cache de prefixos e, de forma experimental, para spill no Managed Lustre; a Inferact e a RadixArk participaram da construção conjunta nos lados do vLLM e do SGLang, e a Meta e a Wayfair estão avaliando. O ambiente exige Cloud TPU v7x (Ironwood) ou v6e, com o código-fonte no repositório google/tpu-sync no GitHub; atenção: não há API gerenciada, o README ainda não recomenda o uso em cenários gerais, e todos os números são autodeclarados pela empresa.
萬安算交所 AIXX · AIXX · Exchange verificado · Ir ao mercado