ferramentas4 min de leitura
Como a Cerebras distribui modelos de trilhões de parâmetros entre vários chips
A Cerebras explicou como executa modelos de IA com trilhões de parâmetros dividindo-os entre vários chips em formato de linha de montagem, usando o modelo aberto Kimi K3 como exemplo.
Modelos de inteligência artificial de fronteira cresceram a ponto de exigir terabytes de memória apenas para armazenar seus pesos. Isso cria um problema prático para quem fabrica hardware: nenhum chip isolado comporta tudo isso. Em publicação no próprio blog, a Cerebras detalhou como resolve essa limitação para rodar modelos com vários trilhões de parâmetros a velocidades que, segundo a empresa, ficam entre 1.000 e mais de 2.000 tokens por segundo.
O ponto de partida é o chip em escala de wafer da companhia, o WSE-3T, que traz 44 GB de memória dentro do próprio chip. Como um modelo de trilhões de parâmetros não cabe nesse espaço, a solução é distribuí-lo entre vários wafers conectados. Para ilustrar o processo, a Cerebras usou o Kimi K3, um modelo de código aberto com cerca de 3 trilhões de parâmetros.
O modelo usado como exemplo
O Kimi K3 tem 69 camadas de atenção linear e 24 camadas densas. De acordo com os números citados pela Cerebras, ele alcança 88,3% no Terminal-Bench 2.1, contra 88,8% do GPT-5.6 Sol, e 91,2% no BrowseComp, contra 90,4% do mesmo modelo proprietário. A empresa interpreta esses resultados como sinal de capacidade de nível de fronteira em programação e em tarefas de agentes, com o modelo aberto superando concorrentes fechados em alguns testes.
Para calcular quantos wafers seriam necessários, a Cerebras parte do tamanho de cada camada. Com os parâmetros armazenados em 4 bits, cada camada ocupa cerca de 16 GB. Como cada wafer tem 44 GB, normalmente é possível acomodar camadas inteiras diretamente no chip, e a quantidade que cabe em cada um depende do tipo de camada.
Uma linha de montagem de chips
A execução funciona em pipeline. O compilador da Cerebras distribui as camadas do modelo entre os wafers, e o sistema define o caminho que os dados percorrem de um chip a outro. Os pesos do modelo ficam parados; o que circula são apenas as ativações, ou seja, os resultados intermediários de cada etapa. Essa troca ocorre por RDMA sobre Ethernet e leva, segundo a empresa, cerca de 2 microssegundos por salto.
Na prática, cada wafer funciona como uma estação de uma linha de montagem. O primeiro processa algumas camadas e envia o resultado ao segundo, que processa as seguintes, e assim por diante, até que o último gere o próximo token. Como as camadas cabem inteiras na memória do chip, na maioria dos casos elas não precisam ser divididas entre wafers.
Por que os chips não ficam ociosos
A Cerebras aborda uma dúvida comum: se cada token passa pelos wafers em sequência, os chips não ficariam esperando sua vez? A resposta da empresa é que o pipeline é mantido cheio com requisições diferentes. Enquanto uma etapa trabalha em uma solicitação, a anterior já cuida de outra, e a anterior a ela de uma terceira. Em produção, segundo a companhia, as etapas são bem mais finas e numerosas do que no exemplo.
Cada etapa também pode processar um pequeno grupo de requisições de uma vez, o chamado micro-lote. O número de solicitações em andamento é aproximadamente o número de etapas multiplicado pelo tamanho desse micro-lote. Há uma troca: micro-lotes menores deixam cada resposta mais rápida, enquanto os maiores elevam o volume total processado.
O limite de requisições simultâneas é dado pela memória reservada ao cache KV, que guarda o estado de cada solicitação. Cada requisição precisa do seu próprio cache nos wafers com camadas densas, e a empresa faz o cálculo considerando pedidos com contexto de 256 mil tokens. A Cerebras ressalta ainda que nem concorrência nem tamanho de lote dizem tudo sobre eficiência: a métrica mais relevante, segundo ela, é a quantidade de tokens por segundo por megawatt, medida na mesma velocidade de geração.
O que isso significa para empresas
Para quem usa IA no dia a dia, a principal mensagem é que modelos abertos muito grandes, com desempenho próximo ao de sistemas proprietários em alguns testes, podem ser servidos em alta velocidade quando o hardware é organizado para isso. Respostas mais rápidas tendem a beneficiar aplicações como agentes e assistentes de programação, em que o tempo de espera afeta diretamente a produtividade.
Ao avaliar fornecedores de inferência, vale observar o critério sugerido pela própria Cerebras: comparar o volume de tokens entregue por unidade de energia, na mesma velocidade de resposta, e não apenas números isolados. Também é prudente lembrar que se trata de um texto da própria fabricante, que avisa que as comparações vêm de testes internos ou de terceiros e podem variar conforme carga de trabalho, configuração e modelo. Testar com casos reais da empresa continua sendo a forma mais segura de decidir.
Com informações de cerebras.ai.
As respostas que sua empresa procura já estão nos seus dados.
Numa conversa de 30 minutos, a gente mostra como encontrá-las.