Inspeção visual industrial: o fascínio dos grandes modelos multimodais

Logo após o lançamento do GPT-4V no início de 2023, recebemos uma ligação de um cliente antigo.

Ele atuou como diretor técnico de uma fabricante de eletrodomésticos. Dois anos antes, havíamos implantado um sistema de inspeção de superfície baseado em YOLOv5 para sua fábrica, que vinha operando de forma estável desde então.

Ele levantou uma questão instigante por telefone:

"Vi que o GPT-4V pode interpretar todos os tipos de imagens e reconhecer quase tudo. Podemos adotá-lo diretamente para inspeção de qualidade? Isso eliminaria totalmente a necessidade de rotulagem de dados?"

Eu segurei uma resposta direta naquela época.

Verdade seja dita, nós mesmos ficamos igualmente cativados pela ideia.

Demonstrações de grandes modelos multimodais são inegavelmente impressionantes. Alimente o modelo com qualquer imagem aleatória e ele poderá delinear o conteúdo, identificar defeitos e classificar tipos de falhas. Nenhum treinamento ou rotulagem é necessário; ele oferece desempenho de tiro zero pronto para uso.

Se esta capacidade se traduzisse perfeitamente nas fábricas, todo o conjunto de regras para a inspeção visual industrial seria reescrito.

Passamos quase dois anos testando diversas soluções multimodais de grandes modelos em vários projetos.

Nossa conclusão é clara: por mais tentadora que a tecnologia possa parecer, a aplicação industrial no mundo real apresenta severas limitações.

Este artigo documenta todas as armadilhas que encontramos ao longo destes dois anos.

Antes de mergulhar em grandes modelos multimodais, é fundamental definir a linha de base do setor:

A solução dominante para a inspeção visual industrial atual depende de modelos de detecção e segmentação de objetos representados pela série YOLO.

Esta não é uma tendência nova. Começando com YOLOv3, passando pelos amplamente implantados YOLOv8, YOLOv9 e YOLOv10, a família YOLO foi implementada em linhas de produção industrial durante anos, ostentando uma pilha técnica totalmente madura.

Primeiro, velocidade de inferência ultrarrápida.

Equipado em caixas de computação de borda padrão emparelhadas com câmeras industriais, o YOLOv8 completa a inferência para um quadro em 10 a 30 milissegundos, correspondendo ao tempo takt da maioria das linhas de produção.

Em segundo lugar, precisão de detecção suficiente.

Com conjuntos de dados rotulados adequados, a série YOLO alcança excelente precisão para categorias de defeitos comuns, atingindo facilmente um mAP de mais de 90%.

Terceiro, ecossistema de implantação maduro.

Cadeias de ferramentas prontas oferecem suporte a várias estruturas de implantação, incluindo ONNX, TensorRT e OpenVINO. O fluxo de trabalho completo, desde o treinamento do modelo até a implantação no local, foi validado por inúmeros projetos industriais.

Quarto, ecossistema abrangente de código aberto.

A ativa comunidade de código aberto fornece soluções acessíveis para a maioria dos obstáculos técnicos, com vários pesos pré-treinados, kits de aumento de dados e ferramentas de rotulagem prontamente disponíveis.

Portanto, a série YOLO é praticamente a escolha padrão para projetos de inspeção visual industrial lançados em 2024.

Não há necessidade de debater se a aprendizagem profunda deve ser adoptada – essa questão foi resolvida há uma década.

Surge agora a nova questão central: Com o surgimento de grandes modelos multimodais, o YOLO ainda continua a ser a solução ideal?

2023 testemunhou uma onda explosiva de lançamentos de grandes modelos multimodais.

Modelos incluindo GPT-4V, Gemini e Claude 3 oferecem poderosos recursos de compreensão geral de imagens.

Fluxo de trabalho tradicional: para inspecionar um tipo específico de defeito, primeiro você precisa coletar, rotular e treinar imagens desse defeito. Nenhum dado significa nenhum modelo utilizável.

Grandes modelos multimodais: basta descrever sua demanda em linguagem natural, como “Verifique se há arranhões nesta imagem”, e o modelo retornará os resultados instantaneamente. Não é necessário treinamento ou rotulagem.

O que isto significa? O custo da inicialização a frio cai para perto de zero.

Ao lançar novos produtos, não há necessidade de gastar duas semanas na coleta de dados, rotulagem e treinamento de modelos. Você pode colocar o modelo em uso apenas com algumas linhas de instruções.

Os modelos tradicionais geram apenas caixas delimitadoras e pontuações de confiança, por exemplo, “Existe um defeito nesta caixa com uma confiança de 0,87”.

Grandes modelos multimodais geram uma linguagem natural descritiva: "Um arranhão de cerca de 2 cm aparece no canto superior esquerdo da imagem, provavelmente formado durante o transporte. Recomenda-se otimizar o processo de embalagem."

O que isto significa? Os resultados da inspeção podem ser convertidos diretamente em relatórios formais de inspeção de qualidade.

Os modelos tradicionais só conseguem reconhecer tipos de defeitos observados durante o treinamento; eles não conseguem identificar novos defeitos invisíveis.

Em teoria, grandes modelos multimodais processaram imagens massivas provenientes da Internet, permitindo-lhes reconhecer potencialmente todos os tipos de defeitos raros e irregulares.

O que isto significa? A cobertura para defeitos de cauda longa e casos extremos anormais foi drasticamente melhorada.

As soluções tradicionais incorporam regras fixas de inspeção no modelo. A revisão dos critérios de inspeção exige uma reciclagem completa.

Grandes modelos multimodais suportam ajuste dinâmico de padrões por meio de prompts. Por exemplo, você pode definir o limite como “arranhões acima de 1 cm contam como NG” em um dia e alterá-lo para “0,5 cm” no dia seguinte, sem modificar o modelo subjacente.

O que isto significa? O ajuste dos padrões de inspeção torna-se extremamente flexível.

Lendo todas essas vantagens, você também pode ficar tentado – assim como estávamos naquela época. É por isso que decidimos implantar grandes modelos multimodais em vários projetos reais, apenas para depois nos depararmos com uma série de armadilhas dispendiosas.

Nosso projeto piloto focou na inspeção de aparência de caixas de telefones celulares.

A linha de produção processa uma peça a cada 3 segundos, o que significa que a latência total da inspeção deve permanecer abaixo de 2 segundos para reservar 1 segundo para classificação robótica.

Testamos o fluxo de trabalho da API GPT-4V:

1. Carregue a imagem e insira o prompt
2. Aguarde a resposta do servidor
3. Receba resultados de inspeção

A latência média atingiu de 4 a 6 segundos e pode exceder 10 segundos em meio a flutuações de rede – lenta demais para a linha de montagem.

Você pode sugerir modelos multimodais de código aberto auto-hospedados, como LLaVA e Qwen-VL. Nós testamos isso também. A execução do LLaVA-13B em uma GPU A100 produz latência de inferência de imagem única de aproximadamente 800 ms a 1,2 segundos.

Embora mais rápido que as APIs em nuvem, permanece dezenas de vezes mais lento que o YOLO.

Mesmo que toleremos a latência para fins de argumentação, o cálculo do custo conta uma história dura.

Quantas imagens uma linha de produção processa diariamente?

Supondo uma peça a cada 3 segundos e 20 horas de operação diária, uma única linha gera cerca de 24.000 imagens de inspeção por dia.

Para API GPT-4V, o preço unitário variou de US$ 0,01 a US$ 0,03 por imagem, dependendo da resolução e do consumo de token:

• Custo diário por linha: $ 240– $ 720
• Custo mensal por linha: US$ 7.200 – US$ 21.600
• Custo anual por linha: US$ 86.400–US$ 259.200

Isso representa apenas uma linha, enquanto nosso cliente operava 12 linhas de produção — uma despesa inacessível para os fabricantes.

E quanto aos modelos de código aberto auto-hospedados?

Uma única GPU A100 oferece aproximadamente 1–2 QPS (consultas por segundo). Uma única linha atinge o pico em torno de 0,3 QPS, aparentemente gerenciável com uma placa para várias linhas.

No entanto, considerando servidores, espaço IDC e manutenção, o custo operacional anual para uma implantação do A100 chega a centenas de milhares de RMB.

Em contraste, uma implantação YOLO requer apenas uma caixa de computação de ponta que custa alguns milhares de RMB para suportar uma linha de produção completa.

A diferença de custos abrange duas ordens de grandeza.

Este foi o nosso obstáculo mais frustrante.

A inspeção industrial exige determinismo absoluto: imagens idênticas devem produzir resultados de inspeção idênticos todas as vezes, caso contrário, o controle de qualidade padronizado e a rastreabilidade tornam-se impossíveis.

Grandes modelos multimodais, entretanto, produzem resultados probabilísticos.

Executamos um teste controlado: alimentando a mesma imagem defeituosa com um prompt idêntico ao GPT-4V dez vezes separadas. Os resultados variaram drasticamente:

• 7 execuções rotularam o produto com defeito
• 2 execuções marcaram suspeita de defeito, exigindo revisão manual
• 1 execução alegou que não existiam defeitos óbvios

Tudo exatamente a partir da mesma entrada e prompt.

Essa aleatoriedade é fatal para o controle de qualidade da fábrica. Os inspetores não podem agir com base em um resultado de “70% de chance de defeito” – cada peça de trabalho precisa de um veredicto definitivo de OK ou NG.

Alguns propõem definir a temperatura como 0 para consistência. Tentamos esse método, que melhorou a estabilidade, mas não conseguiu garantir resultados 100% idênticos. Modelos grandes geram resultados por meio de mecanismos de amostragem, e pequenos desvios persistem para casos extremos mesmo com temperatura = 0.

O desempenho do modelo multimodal depende inteiramente do design rápido, no qual gastamos muita mão de obra na otimização para aumentar a precisão e a estabilidade.

Logo descobrimos que os prompts são extremamente sensíveis às mudanças de texto.

Três prompts com solicitações principais quase idênticas geraram resultados de inspeção muito diferentes:

Solicitação A: “Verifique se existem defeitos de superfície nesta imagem”.

Prompt B: “Examine cuidadosamente a superfície do produto e identifique arranhões, buracos, corpos estranhos e outros defeitos.”

Prompt C: "Atue como um inspetor de qualidade profissional. Localize e classifique quaisquer defeitos de aparência no produto nesta imagem."

Pior ainda, os prompts ajustados para o Produto A perdem eficácia quando aplicados ao Produto B, exigindo retrabalho completo da lógica dos prompts para cada nova variante do produto.

Como isso difere da reciclagem dos modelos YOLO para novos produtos?

O treinamento YOLO depende de métricas de avaliação quantificáveis ​​para sinalizar claramente quando o modelo atende aos padrões; o ajuste imediato depende inteiramente de tentativa e erro subjetivos, sem uma referência clara para desempenho ideal.

A alucinação é uma falha bem documentada da linguagem ampla e dos modelos multimodais: o sistema inventa com confiança detalhes que não existem.

Na inspeção industrial, isso se manifesta como três falhas típicas:

1. Marcar produtos sem defeitos como defeituosos
2. Indicar incorretamente as posições dos defeitos (por exemplo, localizar arranhões à esquerda quando aparecem à direita)
3. Classificação incorreta dos tipos de defeitos (por exemplo, rotular buracos como arranhões)

Um caso de teste exemplifica a gravidade: uma imagem de produto totalmente impecável desencadeou uma análise fabricada altamente detalhada: “Um arranhão superficial de aproximadamente 3 mm de comprimento é detectado no canto inferior direito, recomendação de avaliação de impacto funcional.”

Após uma análise visual cuidadosa, nenhuma marca ou arranhão estava presente naquela região.

Se tais alucinações se infiltrarem nas linhas de produção em massa, seguir-se-ão consequências graves: ou os produtos defeituosos passam despercebidos (inspeção falhada) ou os produtos qualificados são rejeitados indevidamente (falsa rejeição).

Como as APIs em nuvem sofrem alta latência e custos excessivos, a implantação auto-hospedada parece uma alternativa. Avaliamos os requisitos de hardware e software para os principais modelos multimodais de código aberto:

YOLOv8-m funciona perfeitamente mesmo em uma GTX 1080 com 8 GB de VRAM.

Ele pode até ser implantado em hardware de computação de ponta, como módulos NVIDIA Jetson, com consumo de energia de apenas dezenas de watts.

O limite de recursos computacionais difere em uma ordem inteira de magnitude.

Para a maioria das fábricas, instalar um servidor A100 na área de produção é impraticável em termos de despesas de capital e de operação e manutenção diárias.

Depois de tropeçar em todas as armadilhas acima, recuamos para refletir sobre uma questão fundamental:

Quais capacidades principais são essencialmente exigidas pela inspeção visual industrial?

1. Saída Determinística

   Imagens idênticas devem produzir resultados 100% consistentes. Isto constitui a base do controle de qualidade padronizado e da rastreabilidade total; resultados probabilísticos são inaceitáveis.

2. Latência ultrabaixa

   Resposta em nível de milissegundos. O takt time da linha de produção é rígido e a inspeção não pode se tornar um gargalo.

   Um tempo de inferência de 10 ms e um tempo de inferência de 1.000 ms representam realidades operacionais totalmente diferentes.

3. Alto rendimento

   Quantos quadros podem ser processados ​​por segundo? Quantas peças de trabalho podem ser inspecionadas diariamente?

   Os custos computacionais devem permanecer controláveis, evitando despesas anuais de centenas de milhares de dólares americanos para uma única linha de produção.

4. Compatibilidade de implantação de borda

   Os ambientes de rede de fábrica são complexos; muitas oficinas não possuem conexões de internet estáveis ​​ou acessíveis.

   Os modelos devem operar localmente em dispositivos de ponta, em vez de depender de APIs em nuvem.

5. Resultados de inspeção interpretáveis

   Quando um defeito é detectado, o sistema precisa informar claramente aos inspetores sua localização e categoria exatas.

   Idealmente, ele deve gerar coordenadas de defeitos, áreas e pontuações de confiança para integração do sistema downstream.

6. Custos de manutenção controláveis

   Os produtos são atualizados e os padrões de inspeção são revisados ​​regularmente.

   O custo de adaptação para cada iteração deve ser administrável, sem reconstrução total a cada vez.

A comparação destes seis requisitos principais com as duas rotas técnicas revela um claro contraste:

• Determinismo: resultados 100% consistentes com dados idênticos
• Baixa latência: inferência de 10 a 30 milissegundos
• Alto rendimento: Dezenas a mais de cem QPS por GPU única
• Implantável na borda: Totalmente compatível com hardware Jetson e PCs industriais
• Saídas interpretáveis: caixas delimitadoras, categorias de defeitos e valores de confiança
• Baixa sobrecarga de manutenção: cadeias de ferramentas maduras para treinamento incremental e aprendizagem por transferência

• Determinismo: resultado inerentemente probabilístico
• Restrição de latência: inferência de segunda escala
• Limite de rendimento: GPU única suporta apenas QPS de um dígito
• Barreira de implantação de borda: exige GPUs de ponta da classe A100
• Lacuna de interpretabilidade: descrições de linguagem natural bruta requerem análise secundária
• Manutenção imprevisível: a engenharia imediata carece de padrões de otimização quantificáveis

Então, os grandes modelos multimodais podem substituir o YOLO? A conclusão é inequívoca:

No atual estágio de maturidade técnica, os grandes modelos multimodais são inadequados como solução primária para inspeção visual industrial.

Seus pontos fortes, incluindo raciocínio zero-shot, compreensão semântica profunda e forte generalização, oferecem pouco valor prático nas linhas de produção; entretanto, as suas falhas críticas — alta latência, custos proibitivos e resultados instáveis ​​— são catastróficas para o controlo de qualidade industrial.

Isso não significa que grandes modelos multimodais sejam completamente inúteis para inspeção visual industrial.

A chave está em identificar seu nicho adequado.

Após dois anos de testes de campo, resumimos quatro cenários onde grandes modelos multimodais criam valor tangível:

A anotação constitui o maior gerador de custos dos projetos de inspeção tradicionais.

Uma tarefa de visão industrial geralmente requer milhares a dezenas de milhares de imagens anotadas. A terceirização de serviços de anotação custa de vários décimos a vários dólares americanos por quadro, com despesas de etiquetagem representando 30% a 50% do investimento total do projeto.

Grandes modelos multimodais oferecem capacidade de pré-rotulagem:

O modelo gera primeiro máscaras e caixas de anotação preliminares a partir de imagens brutas. A equipe humana só precisa analisar e revisar os resultados, em vez de rotular do zero.

Nossos testes de campo comprovam que esse fluxo de trabalho aumenta a eficiência da anotação em 3 a 5 vezes, reduzindo o tempo médio de rotulagem por imagem de 30 segundos para menos de 10 segundos.

O teto de desempenho dos modelos YOLO é simples: eles só podem reconhecer tipos de defeitos apresentados em conjuntos de dados de treinamento.

Defeitos raros sem precedentes desencadearão detecção perdida pelo YOLO.

Embora essas anomalias de cauda longa ocorram com pouca frequência, muitas vezes sinalizam condições de fabricação anormais graves, acarretando riscos operacionais mais elevados.

Grandes modelos multimodais atuam como uma camada de verificação alternativa:

Quando o YOLO produz uma pontuação de confiança limítrofe (aproximadamente 0,3–0,7, a zona cinzenta de incerteza), a imagem correspondente é enviada ao modelo multimodal para julgamento secundário.

A força de generalização zero-shot de grandes modelos cobre essas anomalias raras e invisíveis.

Sob este mecanismo, apenas 5% a 10% de todas as imagens são encaminhadas para o modelo multimodal, mantendo os custos totais gerenciáveis ​​e melhorando drasticamente a cobertura de defeitos de cauda longa.

O YOLO gera apenas dados estruturados: caixas delimitadoras, categorias de defeitos e pontuações de confiança.

Embora sejam suficientes para sistemas industriais de backend, estas métricas brutas não são intuitivas para inspetores humanos, que precisam de respostas para questões práticas: Qual é a gravidade do defeito? O que causou isso? Que ações corretivas devem ser tomadas?

Grandes modelos multimodais realizam a geração de relatórios semânticos:

Entrada: Coordenadas de defeito, rótulos de classificação, modelo de produto e parâmetros de processo de fabricação

Resultado: Relatório de inspeção em linguagem natural, por exemplo, “Um arranhão de 5 mm é detectado na borda esquerda do produto, provavelmente causado por abrasão do molde; recomenda-se a manutenção do molde.”

Esta tarefa é insensível à latência (os relatórios podem ser gerados de forma assíncrona) e econômica (executada apenas em produtos NG não conformes com volume limitado).

Os clientes ocasionalmente enfrentam prazos apertados: novos produtos programados para produção em massa na semana seguinte com apenas dezenas de imagens de amostra defeituosas, insuficientes para o treinamento YOLO completo.

O fluxo de trabalho tradicional não pode iniciar a inspeção com dados tão limitados.

Grandes modelos multimodais servem como uma solução temporária de transição:

A capacidade de disparo zero permite implantação imediata com precisão aceitável, porém imperfeita, superando em muito a inspeção manual completa. Os dados podem ser coletados continuamente durante a operação piloto para treinar um modelo YOLO formal para uso a longo prazo, uma vez acumuladas amostras suficientes.

Com base na análise acima, adotamos uma arquitetura híbrida de canal duplo para projetos industriais recentes:

• Lida com mais de 95% de todas as cargas de trabalho de inspeção
• Implantado localmente em hardware de borda com latência de inferência de 10 a 20 ms
• Produz caixas delimitadoras estruturadas, tipos de defeitos e pontuações de confiança

• Processa apenas imagens limítrofes de baixa confiança dentro da zona cinzenta
• Invocado de forma assíncrona sem interromper o rendimento da linha principal
• Funções para verificação de fallback de defeitos de cauda longa, geração de relatórios semânticos e rotulagem auxiliar

Princípios básicos de design desta estrutura híbrida:

1. YOLO atua como o sistema primário central; modelos multimodais servem como ferramentas auxiliares – evite inverter seus papéis
2. Desvio de dados em vez de processamento serial: os modelos multimodais ficam fora do caminho crítico de produção e não impõem nenhum impacto na latência ou no rendimento da linha principal
3. Divisão de tráfego baseada em confiança: resultados de alta confiança passam diretamente, enquanto amostras ambíguas são encaminhadas para validação multimodal secundária
4. Controle de custos previsível: apenas uma pequena fração das imagens consome recursos de computação de modelos multimodais

Abaixo está uma árvore de decisão resumida para equipes que selecionam algoritmos de inspeção visual industrial:

1. Requisito de latência
   • Inferência necessária <100ms → Escolha YOLO
   • A latência de segunda escala é aceitável → Grandes modelos multimodais são viáveis
2. Requisito de rendimento
   • Mais de 1 quadro por segundo → Escolha YOLO
   • Apenas centenas de imagens processadas diariamente → Grandes modelos multimodais são viáveis
3. Ambiente de implantação
   • Implantação off-line de borda necessária → Escolha YOLO
   • Recursos estáveis ​​de computação em nuvem dedicados disponíveis → Grandes modelos multimodais são viáveis
4. Disponibilidade de dados
   • Milhares de amostras anotadas disponíveis → Escolha YOLO
   • Apenas dezenas de amostras com cronograma de lançamento urgente → Adote modelos multimodais como transição temporária
5. Restrições orçamentárias
   • Orçamento operacional anual de linha única abaixo de 100.000 RMB → Escolha YOLO
   • Amplo orçamento financeiro → Arquitetura híbrida é recomendada

Para a grande maioria dos cenários industriais, o YOLO continuará sendo a escolha ideal.

Grandes modelos multimodais só são adequados como soluções primárias sob condições específicas: tolerância à latência, baixa demanda de rendimento, suporte estável à computação em nuvem e extrema escassez de dados.

A solução mais pragmática da indústria é a arquitetura híbrida:

• YOLO realiza tarefas básicas de inspeção em tempo real
• Grandes modelos multimodais fornecem valor auxiliar em anotação, verificação de fallback e redação automatizada de relatórios
• Aproveite os respectivos pontos fortes de ambas as tecnologias, mantendo o controle de custos

Revisitando a questão inicial: Os grandes modelos multimodais podem substituir o YOLO?

Após dois anos de tentativa e erro prático, nossa conclusão é clara:

Este é o enquadramento errado da questão.

Não se trata de uma competição de soma zero “A substitui B”, mas sim de cada tecnologia ocupar o seu próprio nicho ecológico único.

Grandes modelos multimodais possuem capacidades formidáveis, mas seus principais pontos fortes – raciocínio zero-shot, profundo entendimento semântico e ampla generalização – agregam valor limitado aos principais fluxos de trabalho de inspeção de produção.

Entretanto, as suas desvantagens inerentes: alta latência, custos operacionais excessivos e resultados instáveis, são exatamente os pontos problemáticos não negociáveis ​​que a produção industrial não pode tolerar.

A essência da seleção técnica não é perseguir as tendências tecnológicas mais recentes, mas combinar a solução com as demandas do cenário do mundo real.

A série YOLO tem sido amplamente utilizada na inspeção visual industrial há anos e seu status como padrão de fato é bem justificado.

Grandes modelos multimodais são ferramentas suplementares poderosas, mas não são substitutos completos qualificados na atual maturidade técnica.

Talvez dentro de três ou cinco anos, o cenário mude: a velocidade de inferência melhorará drasticamente, os custos de implantação cairão drasticamente e a questão do determinismo será totalmente resolvida.

Só então poderemos revisitar a discussão da substituição em grande escala.