Inspección visual industrial: el atractivo de los modelos grandes multimodales

Poco después del lanzamiento de GPT-4V a principios de 2023, recibimos una llamada de un cliente de larga data.

Se desempeñó como director técnico de un fabricante de electrodomésticos. Dos años antes, habíamos implementado un sistema de inspección de superficies basado en YOLOv5 para su fábrica, que había estado funcionando de manera estable desde entonces.

Por teléfono planteó una pregunta que invita a la reflexión:

"He visto que GPT-4V puede interpretar todo tipo de imágenes y reconocer casi todo. ¿Podemos adoptarlo directamente para la inspección de calidad? ¿Eliminaría eso por completo la necesidad de etiquetar los datos?"

En aquel entonces me contuve una respuesta directa.

A decir verdad, a nosotros también nos cautivó la idea.

Las demostraciones de modelos grandes multimodales son innegablemente impresionantes. Alimente el modelo con cualquier imagen aleatoria y podrá delinear contenidos, identificar defectos y clasificar tipos de fallas. No se requiere capacitación ni etiquetado; Ofrece un rendimiento de disparo cero desde el primer momento.

Si esta capacidad se trasladara sin problemas a las fábricas, se reescribiría todo el reglamento para la inspección visual industrial.

Pasamos casi dos años probando diversas soluciones multimodales de modelos grandes en múltiples proyectos.

Nuestra conclusión es clara: por muy tentadora que parezca la tecnología, su aplicación industrial en el mundo real tiene duras limitaciones.

Este artículo documenta todos los obstáculos que encontramos durante estos dos años.

Antes de sumergirse en grandes modelos multimodales, es fundamental establecer la línea de base de la industria:

La solución dominante para la inspección visual industrial actual se basa en los modelos de segmentación y detección de objetos representados por la serie YOLO.

Esta no es una tendencia nueva. A partir de YOLOv3, pasando por YOLOv8, YOLOv9 y YOLOv10, ampliamente implementados, la familia YOLO se ha implementado en líneas de producción industrial durante años, contando con una pila técnica completamente madura.

Primero, velocidad de inferencia ultrarrápida.

Equipado con cajas de computación de borde estándar combinadas con cámaras industriales, YOLOv8 completa la inferencia de un cuadro en 10 a 30 milisegundos, igualando el tiempo takt de la mayoría de las líneas de producción.

En segundo lugar, suficiente precisión de detección.

Con conjuntos de datos etiquetados adecuados, la serie YOLO logra una precisión excepcional para categorías de defectos comunes, alcanzando fácilmente un mAP de más del 90 %.

En tercer lugar, ecosistema de implementación maduro.

Las cadenas de herramientas listas para usar admiten múltiples marcos de implementación, incluidos ONNX, TensorRT y OpenVINO. El flujo de trabajo completo, desde la formación del modelo hasta la implementación in situ, ha sido validado por innumerables proyectos industriales.

Cuarto, ecosistema integral de código abierto.

La comunidad activa de código abierto proporciona soluciones accesibles para la mayoría de los obstáculos técnicos, con abundantes pesas previamente entrenadas, kits de aumento de datos y herramientas de etiquetado disponibles.

Por lo tanto, la serie YOLO es prácticamente la opción predeterminada para proyectos de inspección visual industrial lanzados en 2024.

No hay necesidad de debatir si se debe adoptar el aprendizaje profundo; esa cuestión se resolvió hace una década.

Ahora surge la nueva pregunta central: con la aparición de grandes modelos multimodales, ¿YOLO sigue siendo la solución óptima?

2023 fue testigo de una ola explosiva de lanzamientos de modelos grandes multimodales.

Los modelos como GPT-4V, Gemini y Claude 3 ofrecen potentes capacidades generales de comprensión de imágenes.

Flujo de trabajo tradicional: para inspeccionar un tipo específico de defecto, primero debe recopilar, etiquetar y entrenar imágenes de ese defecto. Sin datos no hay modelo utilizable.

Modelos grandes multimodales: simplemente describa su demanda en lenguaje natural, como "Compruebe si hay rayones en esta imagen", y el modelo arrojará resultados al instante. No se requiere capacitación ni etiquetado.

¿Qué quiere decir esto? El coste del arranque en frío cae casi a cero.

Al lanzar nuevos productos, no es necesario dedicar dos semanas a la recopilación de datos, el etiquetado y la capacitación del modelo. Puede poner en uso el modelo simplemente con unas pocas líneas de indicaciones.

Los modelos tradicionales solo generan cuadros delimitadores y puntuaciones de confianza, por ejemplo, "Existe un defecto dentro de este cuadro con una confianza de 0,87".

Los grandes modelos multimodales generan un lenguaje natural descriptivo: "Aparece un rasguño de alrededor de 2 cm en la esquina superior izquierda de la imagen, probablemente formado durante el transporte. Se recomienda optimizar el proceso de embalaje".

¿Qué quiere decir esto? Los resultados de la inspección se pueden convertir directamente en informes formales de inspección de calidad.

Los modelos tradicionales sólo pueden reconocer los tipos de defectos observados durante el entrenamiento; no logran identificar defectos invisibles nuevos.

En teoría, los grandes modelos multimodales han procesado imágenes masivas obtenidas de Internet, lo que les permite reconocer potencialmente todo tipo de defectos raros e irregulares.

¿Qué quiere decir esto? La cobertura para defectos de cola larga y casos extremos anormales ha mejorado drásticamente.

Las soluciones tradicionales incorporan reglas de inspección fijas en el modelo. La revisión de los criterios de inspección requiere una recapacitación completa.

Los modelos grandes multimodales admiten el ajuste dinámico de estándares mediante indicaciones. Por ejemplo, puede establecer el umbral como "los arañazos de más de 1 cm cuentan como NG" un día y cambiarlo a "0,5 cm" al día siguiente sin modificar el modelo subyacente.

¿Qué quiere decir esto? Los estándares de inspección de ajuste se vuelven extremadamente flexibles.

Al leer todas estas ventajas, es posible que usted también se sienta tentado, tal como lo estábamos nosotros en aquel entonces. Es por eso que decidimos implementar grandes modelos multimodales en varios proyectos reales, sólo para encontrarnos después con una serie de costosos obstáculos.

Nuestro proyecto piloto se centró en la inspección del aspecto de carcasas de teléfonos móviles.

La línea de producción procesa una pieza de trabajo cada 3 segundos, lo que significa que la latencia total de inspección debe permanecer por debajo de 2 segundos para reservar 1 segundo para la clasificación robótica.

Probamos el flujo de trabajo de la API GPT-4V:

1. Cargue la imagen e ingrese el mensaje
2. Espere la respuesta del servidor
3. Recibir resultados de inspección

La latencia promedio alcanzó entre 4 y 6 segundos y podría exceder los 10 segundos en medio de fluctuaciones de la red, demasiado lenta para la línea de ensamblaje.

En su lugar, podría sugerir modelos multimodales de código abierto autohospedados, como LLaVA y Qwen-VL. También los probamos. La ejecución de LLaVA-13B en una GPU A100 produce una latencia de inferencia de una sola imagen de aproximadamente 800 ms a 1,2 segundos.

Si bien es más rápida que las API en la nube, sigue siendo decenas de veces más lenta que YOLO.

Incluso si toleramos la latencia como argumento, el cálculo del coste cuenta una dura historia.

¿Cuántas imágenes procesa una línea de producción diariamente?

Suponiendo una pieza de trabajo cada 3 segundos y 20 horas de funcionamiento diario, una sola línea genera alrededor de 24.000 imágenes de inspección por día.

Para la API GPT-4V, el precio unitario osciló entre $0,01 y $0,03 por imagen, dependiendo de la resolución y el consumo de tokens:

• Costo diario por línea: $240–$720
• Costo mensual por línea: $7,200–$21,600
• Costo anual por línea: $86,400–$259,200

Esto solo representa una línea, mientras que nuestro cliente operaba 12 líneas de producción, un gasto inasequible para los fabricantes.

¿Qué pasa con los modelos de código abierto autohospedados?

Una sola GPU A100 ofrece aproximadamente entre 1 y 2 QPS (consultas por segundo). Una sola línea alcanza un máximo de alrededor de 0,3 QPS, aparentemente manejable con una tarjeta para varias líneas.

Sin embargo, si se tienen en cuenta los servidores, el espacio IDC y el mantenimiento, el coste operativo anual de una implementación del A100 asciende a cientos de miles de RMB.

Por el contrario, una implementación de YOLO solo requiere una caja de informática de punta que cuesta unos pocos miles de RMB para soportar una línea de producción completa.

La brecha de costos abarca dos órdenes de magnitud.

Este resultó ser nuestro obstáculo más frustrante.

La inspección industrial exige un determinismo absoluto: imágenes idénticas deben producir resultados de inspección idénticos cada vez; de lo contrario, el control de calidad y la trazabilidad estandarizados se vuelven imposibles.

Sin embargo, los grandes modelos multimodales producen resultados probabilísticos.

Realizamos una prueba controlada: alimentamos la misma imagen defectuosa con un mensaje idéntico a GPT-4V diez veces distintas. Los resultados variaron drásticamente:

• 7 tiradas etiquetadas como producto defectuoso
• 2 ejecuciones marcaron que se sospechaba que era defectuoso y requería revisión manual
• 1 ejecución afirmó que no existían defectos obvios

Todo desde exactamente la misma entrada y mensaje.

Esta aleatoriedad es fatal para el control de calidad de las fábricas. Los inspectores no pueden actuar con un resultado de “70% de probabilidad de defecto”: cada pieza de trabajo necesita un veredicto definitivo de OK o NG.

Algunos proponen establecer la temperatura en 0 para mantener la coherencia. Probamos este método, que mejoró la estabilidad pero no logró garantizar resultados 100% idénticos. Los modelos grandes generan resultados a través de mecanismos de muestreo y persisten desviaciones menores para casos extremos incluso con temperatura = 0.

El rendimiento del modelo multimodal depende completamente del diseño rápido, en el que dedicamos una gran cantidad de mano de obra a optimizarlo para aumentar la precisión y la estabilidad.

Pronto descubrimos que las indicaciones son extremadamente sensibles a los cambios de redacción.

Tres indicaciones con solicitudes principales casi idénticas arrojaron resultados de inspección muy diferentes:

Mensaje A: "Compruebe si existen defectos superficiales en esta imagen".

Mensaje B: "Examine cuidadosamente la superficie del producto e identifique rayones, picaduras, materias extrañas y otros defectos".

Mensaje C: "Actúe como inspector de calidad profesional. Ubique y clasifique cualquier defecto de apariencia en el producto en esta imagen".

Peor aún, las indicaciones ajustadas para el Producto A pierden eficacia cuando se aplican al Producto B, lo que requiere una reelaboración completa de la lógica de las indicaciones para cada nueva variante del producto.

¿En qué se diferencia esto de volver a capacitar a los modelos YOLO para nuevos productos?

La capacitación de YOLO se basa en métricas de evaluación cuantificables para señalar claramente cuándo el modelo cumple con los estándares; el ajuste rápido depende enteramente de prueba y error subjetivos, sin un punto de referencia claro para un rendimiento óptimo.

La alucinación es un defecto bien documentado del lenguaje amplio y de los modelos multimodales: el sistema inventa con seguridad detalles que no existen.

En la inspección industrial esto se manifiesta en tres fallos típicos:

1. Marcar productos libres de defectos como defectuosos
2. Indicar erróneamente las posiciones de los defectos (por ejemplo, ubicar los rayones en la izquierda cuando aparecen en la derecha)
3. Clasificar erróneamente tipos de defectos (por ejemplo, etiquetar hoyos como rayones)

Un caso de prueba ejemplifica la gravedad: una imagen de producto completamente impecable desencadenó un análisis fabricado muy detallado: "Se detecta un rasguño superficial de aproximadamente 3 mm de largo en la esquina inferior derecha; se recomienda una evaluación de impacto funcional".

Tras una revisión visual minuciosa, no había ninguna marca ni rasguño en esa región.

Si tales alucinaciones se infiltran en las líneas de producción en masa, se producen graves consecuencias: o bien los productos defectuosos pasan desapercibidos (inspección fallida) o los productos calificados son rechazados por error (falso rechazo).

Dado que las API en la nube sufren una alta latencia y un costo excesivo, la implementación autohospedada parece una alternativa. Evaluamos los requisitos de hardware y software para los principales modelos multimodales de código abierto:

YOLOv8-m funciona sin problemas incluso en una GTX 1080 con 8 GB de VRAM.

Incluso se puede implementar en hardware informático de vanguardia, como los módulos NVIDIA Jetson, con un consumo de energía de solo decenas de vatios.

El umbral de recursos computacionales difiere en un orden de magnitud completo.

Para la mayoría de las fábricas, instalar un servidor A100 en la planta de producción no es práctico tanto en términos de gasto de capital como de operación y mantenimiento diarios.

Después de tropezar con todos los obstáculos anteriores, retrocedimos para reflexionar sobre una pregunta fundamental:

¿Qué capacidades básicas exige esencialmente la inspección visual industrial?

1. Salida determinista

   Las imágenes idénticas deben producir resultados 100% consistentes. Esto constituye la base de un control de calidad estandarizado y una trazabilidad total; los resultados probabilísticos son inaceptables.

2. Latencia ultrabaja

   Respuesta de nivel de milisegundos. El takt time de la línea de producción es rígido y la inspección no puede convertirse en un cuello de botella.

   Un tiempo de inferencia de 10 ms y un tiempo de inferencia de 1000 ms representan realidades operativas completamente diferentes.

3. Alto rendimiento

   ¿Cuántos fotogramas se pueden procesar por segundo? ¿Cuántas piezas se pueden inspeccionar diariamente?

   Los costos computacionales deben seguir siendo controlables, evitando gastos anuales de cientos de miles de dólares estadounidenses por una sola línea de producción.

4. Compatibilidad de implementación perimetral

   Los entornos de red de fábrica son complejos; Muchos talleres carecen de conexiones a Internet estables o accesibles.

   Los modelos deben operar localmente en dispositivos perimetrales en lugar de depender de las API de la nube.

5. Resultados de inspección interpretables

   Cuando se detecta un defecto, el sistema debe informar claramente a los inspectores de su ubicación y categoría exacta.

   Idealmente, debería generar coordenadas de defectos, área y puntuaciones de confianza para la integración del sistema posterior.

6. Costos de mantenimiento controlables

   Los productos se actualizan y los estándares de inspección se revisan periódicamente.

   El costo de adaptación de cada iteración debe ser manejable, sin una reconstrucción completa cada vez.

Comparar estos seis requisitos básicos con las dos rutas técnicas revela un claro contraste:

• Determinismo: resultados 100% consistentes dadas entradas idénticas
• Baja latencia: inferencia de 10 a 30 milisegundos
• Alto rendimiento: De docenas a más de cien QPS por GPU
• Implementable desde el borde: Totalmente compatible con hardware Jetson y PC industriales
• Resultados interpretables: cuadros delimitadores, categorías de defectos y valores de confianza
• Bajos gastos generales de mantenimiento: cadenas de herramientas maduras para capacitación incremental y transferencia de aprendizaje

• Determinismo: resultado inherentemente probabilístico
• Restricción de latencia: inferencia de segunda escala
• Límite de rendimiento: una GPU solo admite QPS de un solo dígito
• Barrera de implementación perimetral: exige GPU de gama alta de clase A100
• Brecha de interpretabilidad: las descripciones en lenguaje natural sin procesar requieren un análisis secundario
• Mantenimiento impredecible: la ingeniería rápida carece de estándares de optimización cuantificables

Entonces, ¿pueden los modelos grandes multimodales reemplazar a YOLO? La conclusión es inequívoca:

En la actual etapa de madurez técnica, los grandes modelos multimodales no son adecuados como solución principal para la inspección visual industrial.

Sus puntos fuertes, incluido el razonamiento cero, la comprensión semántica profunda y la fuerte generalización, aportan poco valor práctico en las líneas de producción; mientras tanto, sus defectos críticos (alta latencia, costos prohibitivos y resultados inestables) son catastróficos para el control de calidad industrial.

Esto no significa que los modelos grandes multimodales sean completamente inútiles para la inspección visual industrial.

La clave está en identificar su nicho adecuado.

Después de dos años de pruebas de campo, hemos resumido cuatro escenarios donde los grandes modelos multimodales crean valor tangible:

La anotación constituye el mayor generador de costos de los proyectos de inspección tradicionales.

Una tarea de visión industrial suele requerir de miles a decenas de miles de imágenes comentadas. La subcontratación de servicios de anotación cuesta entre varias décimas y varios dólares estadounidenses por fotograma, y ​​los gastos de etiquetado representan entre el 30% y el 50% de la inversión total del proyecto.

Los modelos grandes multimodales ofrecen capacidad de preetiquetado:

El modelo genera primero máscaras y cuadros de anotación preliminares a partir de imágenes sin procesar. El personal humano sólo necesita revisar y revisar los resultados en lugar de etiquetarlos desde cero.

Nuestras pruebas de campo demuestran que este flujo de trabajo aumenta la eficiencia de la anotación entre 3 y 5 veces, reduciendo el tiempo promedio de etiquetado por imagen de 30 segundos a menos de 10 segundos.

El límite de rendimiento de los modelos YOLO es sencillo: solo pueden reconocer los tipos de defectos que aparecen en los conjuntos de datos de entrenamiento.

Los defectos raros sin precedentes provocarán que YOLO no detecte.

Aunque estas anomalías de cola larga ocurren con poca frecuencia, a menudo indican condiciones de fabricación anormales graves, lo que conlleva mayores riesgos operativos.

Los grandes modelos multimodales actúan como una capa de verificación alternativa:

Cuando YOLO genera una puntuación de confianza límite (aproximadamente 0,3–0,7, la zona gris de incertidumbre), la imagen correspondiente se envía al modelo multimodal para un juicio secundario.

La fuerza de generalización de tiro cero de los modelos grandes cubre estas raras anomalías invisibles.

Con este mecanismo, solo entre el 5% y el 10% de todas las imágenes se envían al modelo multimodal, lo que mantiene los costos totales manejables y al mismo tiempo mejora drásticamente la cobertura de los defectos de cola larga.

YOLO solo genera datos estructurados: cuadros delimitadores, categorías de defectos y puntuaciones de confianza.

Si bien son suficientes para los sistemas industriales backend, estas métricas en bruto no son intuitivas para los inspectores humanos, que necesitan respuestas a preguntas prácticas: ¿Qué tan grave es el defecto? ¿Qué lo causó? ¿Qué acción correctiva se debe tomar?

Los grandes modelos multimodales realizan la generación de informes semánticos:

Entrada: coordenadas de defectos, etiquetas de clasificación, modelo de producto y parámetros del proceso de fabricación.

Salida: Informe de inspección en lenguaje natural, por ejemplo, "Se detecta un rasguño de 5 mm en el borde izquierdo del producto, probablemente causado por la abrasión del molde; se recomienda el mantenimiento del molde".

Esta tarea no tiene en cuenta la latencia (los informes se pueden generar de forma asincrónica) y es rentable (solo se ejecuta en productos no conformes con NG y con volumen limitado).

En ocasiones, los clientes enfrentan plazos ajustados: nuevos productos programados para producción en masa la semana siguiente con solo docenas de imágenes de muestra defectuosas, insuficientes para una capacitación completa de YOLO.

El flujo de trabajo tradicional no puede iniciar la inspección con datos tan limitados.

Los grandes modelos multimodales sirven como una solución temporal de transición:

La capacidad de disparo cero permite una implementación inmediata con una precisión aceptable pero imperfecta, superando con creces la inspección manual completa. Los datos se pueden recopilar continuamente durante la operación piloto para entrenar un modelo YOLO formal para uso a largo plazo una vez que se acumulen suficientes muestras.

Con base en el análisis anterior, hemos adoptado una arquitectura híbrida de doble canal para proyectos industriales recientes:

• Maneja más del 95% de todas las cargas de trabajo de inspección
• Implementado localmente en hardware perimetral con latencia de inferencia de 10 a 20 ms
• Genera cuadros delimitadores estructurados, tipos de defectos y puntuaciones de confianza.

• Solo procesa imágenes límite de baja confianza dentro de la zona gris
• Invocado de forma asincrónica sin interrumpir el rendimiento de la línea principal
• Funciones para verificación de respaldo de defectos de cola larga, generación de informes semánticos y etiquetado auxiliar

Principios de diseño básicos de este marco híbrido:

1. YOLO actúa como el sistema primario central; Los modelos multimodales sirven como herramientas auxiliares: evite invertir sus funciones.
2. Desvío de datos en lugar de procesamiento en serie: los modelos multimodales se mantienen fuera del camino de producción crítico y no imponen ningún impacto en la latencia o el rendimiento de la línea principal
3. División del tráfico basada en la confianza: los resultados de alta confianza pasan directamente, mientras que las muestras ambiguas se reenvían para una validación multimodal secundaria.
4. Control de costos predecible: solo una pequeña fracción de las imágenes consume recursos informáticos del modelo multimodal

A continuación se muestra un árbol de decisiones resumido para los equipos que seleccionan algoritmos de inspección visual industrial:

1. Requisito de latencia
   • Inferencia requerida <100 ms → Elija YOLO
   • La latencia de segunda escala es aceptable → Los grandes modelos multimodales son viables
2. Requisito de rendimiento
   • Más de 1 fotograma por segundo → Elija YOLO
   • Sólo cientos de imágenes procesadas diariamente → Los grandes modelos multimodales son viables
3. Entorno de implementación
   • Se requiere implementación perimetral sin conexión → Elija YOLO
   • Recursos estables de computación en la nube dedicados disponibles → Los grandes modelos multimodales son viables
4. Disponibilidad de datos
   • Miles de muestras comentadas disponibles → Elija YOLO
   • Solo docenas de muestras con cronograma de lanzamiento urgente → Adoptar modelos multimodales como transición temporal
5. Restricciones presupuestarias
   • Presupuesto operativo anual de una sola línea por debajo de 100.000 RMB → Elija YOLO
   • Amplio presupuesto financiero → Se recomienda la arquitectura híbrida

Para la gran mayoría de escenarios industriales, YOLO seguirá siendo la opción óptima.

Los grandes modelos multimodales sólo son adecuados como soluciones primarias en condiciones específicas: tolerancia a la latencia, baja demanda de rendimiento, soporte estable de computación en la nube y escasez extrema de datos.

La solución industrial más pragmática es la arquitectura híbrida:

• YOLO realiza tareas básicas de inspección en tiempo real
• Los grandes modelos multimodales proporcionan valor auxiliar en anotaciones, verificación alternativa y redacción automatizada de informes.
• Aproveche las respectivas fortalezas de ambas tecnologías mientras mantiene el control de costos.

Revisando la pregunta inicial: ¿Pueden los modelos grandes multimodales reemplazar a YOLO?

Después de dos años de prueba y error, nuestra conclusión es clara:

Éste es el planteamiento equivocado de la pregunta.

No se trata de una competencia de suma cero en la que "A reemplaza a B", sino que se trata de que cada tecnología ocupe su propio nicho ecológico único.

Los grandes modelos multimodales poseen capacidades formidables, pero sus puntos fuertes principales (razonamiento de disparo cero, comprensión semántica profunda y amplia generalización) ofrecen un valor limitado para los flujos de trabajo de inspección de producción principales.

Mientras tanto, sus inconvenientes inherentes: alta latencia, costos operativos excesivos y resultados inestables, son exactamente los puntos débiles no negociables que la fabricación industrial no puede tolerar.

La esencia de la selección técnica no es perseguir las últimas tendencias en tecnología, sino adaptar la solución a las demandas de los escenarios del mundo real.

La serie YOLO se ha utilizado ampliamente en la inspección visual industrial durante años y su condición de estándar de facto está bien justificada.

Los grandes modelos multimodales son poderosas herramientas complementarias, pero no son reemplazos completos calificados bajo la madurez técnica actual.

Quizás en tres o cinco años el panorama cambie: la velocidad de inferencia mejorará drásticamente, los costos de implementación caerán drásticamente y la cuestión del determinismo se resolverá por completo.

Sólo entonces podremos retomar el debate sobre el reemplazo a gran escala.