AIVisionsLab — Portal de Indexação de Alta Performance

Hardware Utilizado no Teste

Fluxo de Dados Unificado (Pipeline)

O objetivo é mapear um vídeo educacional em inglês para legenda em português compatível com software editor de vídeo (Filmora, Premiere, etc.), rodando a transcrição via GPU nativa e traduzindo cada timestamp sem limites de API de nuvem comercial:

Performance e Timing Detalhado

Métricas reais obtidas transcrição de um vídeo educacional de 29 minutos e 51 segundos (áudio em inglês, AAC, 480x360):

Timings Internos do Core (whisper_print_timings)

33.0 — Contexto e Motivação

Em 15 de junho de 2026, o AIVisionsLab conduziu o experimento mais extremo da sua história: rodar um modelo de 34,66 bilhões de parâmetros em modo híbrido numa GPU AMD Radeon RX 580 2048SP de 2017 com apenas 8GB de VRAM.

"Se a RX 580 já roda Qwen3 4B a 35 tokens/s via Vulkan, até onde vai o limite?"

A resposta documentada abaixo prova que o limite não é onde o mercado de hardware diz que é.

33.1 — Hardware do Laboratório

*Nota histórica: O Xeon E5-2690 v3 é de 2014. A RX 580 é de 2017. O Qwen3.5 é de 2025. Hardware de datacenter de 10 anos atrás processando IA de última geração.

33.2 — Software e Versões

33.3 — O Modelo: Qwen3.5-35B-A3B-Uncensored Q6_K

33.3.1 — Especificações Técnicas

33.3.2 — Por que MoE muda tudo

Em um modelo denso de 35B, todos os 35 bilhões de parâmetros são ativados para cada token gerado. No Qwen3.5 MoE, apenas os 8 experts mais relevantes de 256 são ativados — o equivalente a ~3B parâmetros ativos por token.

Isso explica por que um arquivo de 26GB consegue rodar numa máquina com 32GB de RAM: a maior parte dos pesos está na memória mas não é calculada simultaneamente.

33.4 — Comando de Inicialização

Nenhuma flag manual de camadas (-ngl). O llama.cpp fez todo o fitting automático.

33.5 — O Fitting Automático: Como o llama.cpp dividiu 26GB em 1,15 segundos

Este é o coração técnico do experimento. Sem nenhuma intervenção manual, o llama.cpp executou um algoritmo de otimização que analisou a VRAM disponível e distribuiu o modelo entre GPU e RAM de forma inteligente.

33.5.1 — Situação Inicial (Impossível carregar inteiro na GPU)

33.5.2 — Sequência de Decisões do Fitting (1,15 segundos)

Passo 1 — Redução de contexto:

Passo 2 — Mover todos os experts MoE para RAM:

Passo 3 — Realocar camadas densas de volta para GPU (back-to-front):

Passo 4 — Filling front-to-back com overflow fracionado:

33.5.3 — Distribuição Final dos Pesos

33.5.4 — Buffers Adicionais alocados na VRAM

Total efetivo na VRAM durante inferência: ~6,2–7,2 GB (77–90% dos 8GB físicos livres).

33.5.5 — Features habilitadas automaticamente

33.6 — A Arquitetura de 4 Níveis de Memória

Primeiro registro documentado de um modelo 35B usando 4 camadas de memória simultaneamente para processamento numa RX 580 comum:

33.7 — Configuração do Contexto Carregado

Limitação crítica documentada: O contexto de 4.096 tokens é o principal gargalo do setup. O thinking mode (modo raciocínio) do Qwen3.5 consome 3.000+ tokens sozinho antes de gerar qualquer resposta visível — deixando menos de 1.000 tokens livres para a resposta final ao cliente.

33.8 — Benchmark Confirmado em Duas Sessões

Velocidade de geração

Consistência notável: Manutenção na linha de ~5,6 tokens/segundo de geração independente da sessão estar sobrecarregada ou fria.

Registro de temperaturas registradas

Temperatura de thermal throttling da RX 580: ~90°C. Margem de segurança operacional perfeitamente mantida!

Utilização de recursos na inferência física

33.9 — Os 5 Testes: Histórico Completo de Engenharia

Pergunta de entrada enviada em todos os testes:
"Explique detalhadamente como funciona o mecanismo de atenção em transformers e por que o MoE é mais eficiente que modelos densos. Responda em português."

33.10 — Tabela Comparativa de Comportamento dos Testes

Conclusão Crítica: A RX 580 do laboratório de 2017 e o Xeon funcionaram estavelmente sem dar nenhum reset físico em todas as situações de stress. As falhas residiram estritamente na calibração lógica do software de front-end.

33.11 — Coletas de Descobertas e Limitações Cruciais

• Incompatibilidade do Thinking com Contexto Curto: Por design de modelo, o pensamento consome cerca de 3.000 tokens e estoura rapidamente o KV Cache alocado de 4.096 se o prompt ou histórico for longo.
• O Fitting Automático do llama.cpp é Excepcional: Forçar o split por flags experimentais rígidas como --override-tensor prejudica as chamadas no Vulkan. O fitting por cálculo de grafos resolveu milimetricamente a distribuição de forma otimizada.
• Superaquecimento da GPU mitigado: Apenas a renderização profunda com dezenas de filtros simultâneos elevou a 80°C. Limitar a GPU para inferir frações densas mantém o chip a confortáveis 44-64°C.
• O gargalo reside na taxa de I/O de Swap do HDD: Quando RAM estoura a 98%, a taxa cai para 5 tok/s devido ao HDD. Migrar o swap do host inteiro para unidades de estado sólido aumentará consideravelmente a velocidade de fluxo combinada.

33.12 — Comparação Direta com Projetos de Comunidade

A grande vantagem arquitetural: O teste de CPU pura de Matheus exige hardwares profissionais de alto custo com mais de 100GB de RAM instalada. O ecossistema de Vulkan do AIVisionsLab provou-se operável em uma GPU de menos de R$ 400 em mercado secundário!

33.13 — Configurações Recomendadas para Testes Futuros

33.14 — Lições Técnicas Consolidadas

• O silício de 2017 não é o limite: A placa de vídeo nunca crashou nos testes contínuos de estresse térmico, dezenas de vezes. O gargalo se provou uma mera calibração lógica de software.
• As esparsidades do MoE salvam a categoria: Sem MoE, seria impensável arrastar um modelo de 26GB de pesos ativos. O MoE faz com que apenas 3.1% dos neurônios fiquem de fato excitados por token.

33.15 — Veredicto Geral do Laboratório

33.16 — Linha do Tempo do Experimento

33.17 — Impacto para a Documentação do AIVisionsLab

Este experimento adiciona ao projeto: um novo benchmark robusto de 5,6 tok/s para modelos 35B MoE híbridos, a confirmação de que o fitting automático do llama.cpp supera configurações manuais rígidas via Vulkan, a identificação clara de incompatibilidade do modo thinking com contextos inferiores a 8.192 e a descrição de uma arquitetura estendida a 4 níveis de memória.

33.18 — Tags e Metadados

"O problema nunca foi o hardware.
Foi a combinação de thinking + web search esgotando os 4.096 tokens de contexto.
Com prompt curto e sem web search, o Qwen3.5-35B Q6_K responde normalmente numa RX 580 de 2017."
— AIVisionsLab, 15/06/2026

34.0 — Contexto e Motivação

A Seção 33 terminou com uma hipótese clara: "O problema nunca foi o hardware. Foi a combinação de thinking + web search esgotando os 4.096 tokens de contexto. Com prompt curto e sem web search, o Qwen3.5-35B Q6_K responde normalmente numa RX 580 de 2017."

Em 16 de junho de 2026, o AIVisionsLab executou os testes pendentes sugeridos para provar essa hipótese ao vivo, avaliando o comportamento com curl direto (sem timeout do cliente), habilitando a flag de tamanho de contexto ampliado e testando quantizações mais eficientes.

34.1 — Hardware do Laboratório

34.2 — Modelos Testados

*Nota: Todos os modelos possuem arquitetura idêntica de Mixture of Experts (MoE), variando apenas a compressão matemática de seus pesos.

34.3 — Localizando os Executáveis

Antes de testar, foi necessário localizar as compilações otimizadas do llama-server. No PowerShell do laboratório:

34.4 — Teste 9: Curl Direto Sem Timeout

34.4.1 — Motivação

Identificar se o gargalo de timeout relatado no Teste 4 residia no servidor ou estritamente nas requisições AJAX do cliente OpenWebUI.

34.4.2 — Inicialização do Servidor

34.4.3 — Resolvendo Escaping de JSON no PowerShell

34.4.4 — Executando a Chamada de Longa Duração

34.4.5 — Resultado Analítico

Veredicto técnico: O hardware de 2017 processou e entregou a resposta perfeitamente! O problema anterior era o tempo limite do navegador desistindo da conexão TCP, enquanto o servidor continuava gerando em background.

34.5 — Paralelismo Real: 4 Slots de Computação

Durante o Teste 9, o OpenWebUI foi conectado paralelamente disparando a mesma pergunta. O motor de agendamento do llama.cpp processou de forma concorrente sem travamentos:

A arquitetura resistiu de forma estável (GPU: 63°C, VRAM: 7.1/8.0 GB, RAM: 91% de uso de sistema total seguro, sem travar o Windows).

34.6 — Teste 7: Habilitando Contexto Extremo (--ctx-size 8192)

34.6.1 — O Comando Otimizado

34.6.2 — Prompt de Teste e Comportamento do Thinking

"Explique em português por que MoE permite rodar modelos grandes em hardware com pouca VRAM. Seja direto e conciso."

Ao receber o prompt, o processador de pensamento rodou por longos 9 minutos em background na CPU trabalhando com o contexto de 8192 tokens. A análise interna destrinchou a matemática da VRAM (calculou que 35B em INT4 exige 17,5GB de peso puro) para desvendar as complexidades de esparsidade de ativação.

34.6.2-A — O Raciocínio Interno do Modelo: Análise Comparativa dos Três Thinking Blocks

Durante as exaustivas sessões de ensaio das Seções 33 e 34, o Qwen3.5-35B gerou três blocos independentes de raciocínio de bastidores (<think>) que foram capturados via interceptação direta de pacotes brutos. A tabulação e o mapeamento sistemático dessas sessões fornecem evidências fundamentais de análise cognitiva do modelo:

1. Thinking Block 1 — Quantização Q6_K — Sessão 1 (23:06 de 15/06)

Prompt: "Explique detalhadamente o mecanismo de atenção nos Transformers e por que MoE é mais eficiente que modelos densos."
Tempo de Raciocínio: ~4 minutos | Tokens do Bloco: ~2.000 | Status: ✅ Concluído com Sucesso.

2. Thinking Block 2 — Quantização Q4_K_M — Sessão 2 (05:05 de 16/06)

Prompt: "Qual a diferença entre MoE e modelo denso, e por que MoE permite rodar 35B numa GPU de 8GB?"
Tempo de Raciocínio: ~11 minutos | Tokens do Bloco: ~3.500 | Status: ❌ Interrompido por esgotamento de contexto (Límite 4096).

Nota Conclusiva de Engenharia: Enquanto o modelo formulava esse raciocínio fascinante na CPU, ele estava descrevendo em profundidade matemática exatamente o sistema de mmap distribuído e a arquitetura Vulkan de 4 níveis de memória que o sustentava em tempo real — sem possuir acesso direto aos metadados do container ou ao sistema de arquivos do laboratório.

3. Thinking Block 3 — Quantização Q4_K_M — Sessão 2 (05:24 de 16/06)

Prompt: "Explique em português por que MoE permite rodar modelos grandes em hardware com pouca VRAM. Seja direto e conciso."
Tempo de Raciocínio: ~9 minutos | Tokens do Bloco: ~3.000 | Status: ✅ Concluído com Sucesso (--ctx-size 8192).

Tabela Comparativa de Comportamento Cognitivo

34.8 — Cronograma Histórico do Laboratório

34.9 — Nova Coleção de Lições Técnicas Consolidadas

• Lição 6 — O fator Timeout do Cliente: A maior parte dos erros apontados por testadores não decorre de incapacidade física da GPU, mas sim da persistência HTTP falha de interfaces que desistem antes da decodificação final.
• Lição 7 — Ajuste de Buffers de Contexto: Ativar a diretiva --ctx-size 8192 remove o limite asfixiante do buffer de raciocínio, oferecendo fôlego de processamento para os mais de 3.500 tokens exigidos de raciocínio lógico interno.
• Lição 8 — Supremacia de Carregamento da Quantização Média: Rodar 35B com quantização de 4 bits economiza 7GB cruciais na carga física de RAM da CPU, reduzindo o I/O do Swap do disco e otimizando a temperatura.
• Lição 9 — Raciocínio de Modelo Crítico: O Qwen3.5 MoE questionou a premissa errônea presente no prompt, calculando pesos em tempo real e rebatendo sobre o offloading híbrido, o que prova comportamento de atenção e alinhamento impecáveis.
• Lição 10 — Paralelismo nativo estável: A coexistência de chamadas em canais concorrentes prova a maturidade das implementações de pipeline de shaders Vulkan no llama.cpp.

34.10 — Setup Recomendado para Implementações Futuras

*Instruções de interface complementares: Desativação estrita de Web Search e geração e imagens durante o processamento híbrido extremo.

34.11 — Veredicto Geral do Laboratório (Provando a Hipótese)

34.12 — Tags e Metadados

"O problema nunca foi o hardware. Era uma flag e um timeout."
— AIVisionsLab, 16/06/2026