← Capa | Mercado

ROK-FORTRESS, da Scale AI, encontra dano medido menor em prompts coreanos em 14 modelos de fronteira

2026-11-04 · Fonte:deep-www.unite.ai-p12

ROK-FORTRESS, da Scale AI, encontra dano medido menor em prompts coreanos em 14 modelos de fronteira

Construído com o Korea AI Safety Institute, o benchmark bilíngue relata dano medido consistentemente menor para prompts coreanos ancorados em contexto em quase todos os 14 modelos de fronteira avaliados.

A Scale AI publicou em 17 de setembro de 2026 os achados do ROK-FORTRESS, um benchmark bilíngue inglês–coreano de segurança adversarial desenvolvido em conjunto com o Korea AI Safety Institute. O resultado central: prompts escritos em coreano e ancorados em contextos coreanos foram consistentemente associados a dano medido menor em quase todos os 14 modelos de fronteira avaliados. A consistência do padrão na coorte de fronteira avaliada, em vez de comportamento isolado de um modelo, é a conclusão principal do benchmark.

É no design do benchmark que o ROK-FORTRESS se afasta da prática padrão. A maioria dos benchmarks de segurança multilíngues traduz um prompt fixo para outro idioma e mede a resposta — uma abordagem que preserva a redação, mas arranca o contexto local. A Scale AI e o Korea AI Safety Institute, em vez disso, construíram o benchmark em torno de uma Transcreation Matrix, um design que o relatório apresenta em contraste com os testes multilíngues de tradução em primeiro lugar, alinhando prompts adversariais ao contexto coreano, em vez de verter prompts fixos em inglês para o coreano.

Por que importa: os achados indicam que o dano medido não é invariante em relação ao idioma. Se sistemas de fronteira mostram sistematicamente dano medido menor em prompts coreanos ancorados em contexto, então pontuações de segurança derivadas de avaliação em inglês podem não descrever completamente como os mesmos modelos se comportam para usuários da língua coreana. Para organizações implantando modelos de fronteira em ambientes bilíngues inglês–coreano, o estudo oferece uma justificativa para testes adversariais localizados ao lado das auditorias de segurança convencionais em inglês.

O desenvolvimento conjunto com o Korea AI Safety Institute também situa o trabalho dentro de esforços oficiais de avaliação de segurança — um órgão nacional de segurança de IA coautorando um benchmark adversarial com um provedor de avaliação comercial. Com 14 modelos de fronteira avaliados e um resultado consistente entre modelos, o ROK-FORTRESS adiciona um dado bilíngue e sensível ao contexto a uma literatura de segurança multilíngue que, nota o relatório, se apoiou fortemente na tradução direta de prompts fixos.

Tags: Scale AI · ROK-FORTRESS · Korea AI Safety Institute · AI Safety · Multilingual Benchmark


Leituras relacionadas


萬安算交所 AIXX · AIXX · Exchange verificado · Ir ao mercado