2026-11-13 · Fonte:MarkTechPost

A Liquid AI lança o LiquidCodec, tokenizer de fala em streaming com 74M de parâmetros: codifica cerca de 13 vezes mais rápido que o antecessor Mimi, liderando em todos os benchmarks de qualidade.
A Liquid AI lançou o LiquidCodec, um tokenizer de fala em streaming com cerca de 74M de parâmetros (73,6M conforme a model card), que fornece codificação e reconstrução de voz para os modelos LFM3-Audio-2B e LFM3-Omni-2B, substituindo o Kyutai Mimi (96,2M de parâmetros) usado pela geração anterior. Em especificações, opera a 24 kHz com taxa de quadros de 12,5 Hz, gerando 12 tokens discretos (12 codebooks) por quadro de 80 milissegundos; o quantizador abandona o RVQ em favor da quantização escalar finita agrupada (GFSQ), com grupos independentes entre si, permitindo que os 12 codebooks sejam previstos em paralelo por um transformer estilo MaskGIT.
Arquitetura e treino: o codificador-decodificador simétrico é composto por blocos da arquitetura LFM3, com codificador totalmente causal, adequado a cenários de streaming; o decodificador prevê diretamente coeficientes espectrais, dispensando upsampling por convolução transposta aprendida. O treino ocorre em três fases: primeiro, pré-treino sobre 264 mil horas de fala em 107 línguas com perdas de forma de onda e espectro (sem perda adversarial); depois, ajuste fino com 55 mil horas de fala de banda total (acima de 24 kHz) com discriminadores adversariais, para remover artefatos metálicos de timbre; por fim, treinamento com consciência de quantização apenas no decodificador, para facilitar a implantação em edge.
Os números de velocidade são impressionantes (auto-reportados, thread único de CPU em Apple M4 Max, FP32): codificação a cerca de 361 vezes o tempo real (RTF 0,0028), cerca de 13 vezes mais rápido que o Mimi (0,0361); decodificação a cerca de 87 vezes o tempo real (RTF 0,0115), cerca de 2,9 vezes o Mimi (0,0329); também lidera com folga frente a NanoCodec e X-Codec 2.
Os benchmarks de qualidade cobrem 8 conjuntos de teste (LibriSpeech test-clean, Seed-TTS em inglês e chinês, e FLEURS em 5 línguas): na qualidade de reconstrução, lidera em todos os itens de ViSQOL e distância mel, com ViSQOL de 4,319 no LibriSpeech, contra 4,219 do NanoCodec, 4,119 do X-Codec 2 e 4,031 do Mimi; em experimentos comparativos de TTS (mesma arquitetura e mesmo compute, cada um treinado com 101 mil horas de dados), seu UTMOSv2 é o melhor em todos os casos (3,31 no LibriSpeech contra 2,89 do Mimi), com taxa de erro de palavras de 3,15% no LibriSpeech contra 6,27% do Mimi. Os pontos fracos estão em PESQ e similaridade de falante: o NanoCodec vence em 7 dos 8 conjuntos de teste.
Implantação e licença: pode ser carregado via Hugging Face Transformers (requer trust_remote_code=True), com interfaces encode e decode e cache de decodificação em streaming bloco a bloco; no lado do llama.cpp, há três versões GGUF — Q4_0, Q4_K_M e Q8_0 —, com o decodificador Q4_0 reduzido 3,5 vezes em tamanho e o ViSQOL caindo apenas de 4,319 para 4,292. Os pesos foram publicados no repositório LiquidAI/Liquid-Codec no Hugging Face, com licença marcada como other e link para a LFM License (para comparação, o Mimi usa CC-BY 4.0 e o X-Codec 2, CC-BY-NC 4.0).
萬安算交所 AIXX · AIXX · Exchange verificado · Ir ao mercado