Inspection visuelle industrielle : l’attrait des grands modèles multimodaux

Peu de temps après le lancement de GPT-4V au début de 2023, nous avons reçu un appel d'un client de longue date.

Deux ans plus tôt, nous avions déployé un système d'inspection de surface basé sur YOLOv5 pour leur usine,qui fonctionnait de façon stable depuis.

Il a soulevé une question stimulante au téléphone:

"J'ai vu que le GPT-4V peut interpréter toutes sortes d'images et reconnaître presque tout. Pouvons-nous l'adopter directement pour l'inspection de la qualité?

J'ai gardé une réponse simple.

Pour être honnête, nous étions également captivés par l'idée.

Les démonstrations de grands modèles multimodaux sont indéniablement impressionnantes.Aucune formation ou étiquetage n'est nécessaire; il offre des performances nulles dès le départ.

Si cette capacité se traduisait sans heurts dans les usines, tout le manuel d'inspection visuelle industrielle serait réécrit.

Nous avons passé près de deux ans à tester diverses solutions de grands modèles multimodaux dans plusieurs projets.

Notre conclusion est claire: aussi tentante que la technologie puisse paraître, l'application industrielle dans le monde réel comporte des limites sévères.

Cet article décrit tous les pièges que nous avons rencontrés au cours de ces deux années.

Avant de plonger dans les grands modèles multimodaux, il est essentiel de définir la ligne de base de l'industrie:

La solution dominante pour l'inspection visuelle industrielle d'aujourd'hui repose sur les modèles de détection d'objets et de segmentation représentés par la série YOLO.

Cette tendance n'est guère nouvelle, puisque depuis YOLOv3, YOLOv8, YOLOv9 et YOLOv10, la famille YOLO est utilisée depuis des années dans les chaînes de production industrielles.possède une gamme technique mature.

Premièrement, la vitesse d'inférence ultra-rapide.

Équipé de boîtes de calcul de bord standard couplées à des caméras industrielles, YOLOv8 complète l'inférence pour un cadre en 10 à 30 millisecondes, correspondant au temps de tact de la plupart des lignes de production.

Deuxièmement, une précision de détection suffisante.

Avec des ensembles de données étiquetés adéquats, la série YOLO atteint une précision exceptionnelle pour les catégories de défauts courantes, atteignant facilement un MAP supérieur à 90%.

Troisièmement, un écosystème de déploiement mature.

Les chaînes d'outils prêtes à l'emploi prennent en charge plusieurs frameworks de déploiement, notamment ONNX, TensorRT et OpenVINO.L'intégralité du flux de travail, de la formation des modèles au déploiement sur place, a été validée par d'innombrables projets industriels.

Quatrièmement, un écosystème complet open source.

La communauté open source active fournit des solutions accessibles pour la plupart des obstacles techniques, avec de nombreux poids pré-entraînés, des kits d'augmentation de données et des outils d'étiquetage facilement disponibles.

Par conséquent, la série YOLO est pratiquement le choix par défaut pour les projets d'inspection visuelle industrielle lancés en 2024.

Il n'est pas nécessaire de débattre de l'adoption de l'apprentissage en profondeur, cette question a été réglée il y a dix ans.

La nouvelle question fondamentale se pose maintenant: avec l'émergence de grands modèles multimodaux, YOLO reste-t-il toujours la solution optimale?

L'année 2023 a été marquée par une vague explosive de lancements de grands modèles multimodaux.

Des modèles tels que GPT-4V, Gemini et Claude 3 offrent de puissantes capacités de compréhension générale des images.

Flux de travail traditionnel: Pour inspecter un type spécifique de défaut, vous devez d'abord collecter, étiqueter et former sur des images de ce défaut.

Modèles multimodaux de grande taille: il suffit de décrire votre demande en langage naturel, par exemple "Vérifier s'il y a des rayures dans cette image", et le modèle renverra les résultats instantanément.Aucune formation ni étiquetage requis.

Le coût du démarrage à froid tombe à zéro.

Lors du lancement de nouveaux produits, il n'est pas nécessaire de consacrer deux semaines à la collecte de données, à l'étiquetage et à la formation des modèles.

Les modèles traditionnels ne produisent que des cases de délimitation et des scores de confiance, par exemple: "Un défaut existe dans cette case avec une fiabilité de 0,87".

Les modèles multimodaux de grande taille génèrent un langage naturel descriptif: une rayure d'environ 2 cm apparaît dans le coin supérieur gauche de l'image, probablement formée pendant le transport.Il est recommandé d'optimiser le processus d'emballage. "

Les résultats des inspections peuvent être directement convertis en rapports formels d'inspection de la qualité.

Les modèles traditionnels ne peuvent reconnaître que les types de défauts observés pendant la formation; ils ne parviennent pas à identifier de nouveaux défauts invisibles.

En théorie, les grands modèles multimodaux ont traité des images massives provenant d'Internet, leur permettant de reconnaître potentiellement toutes sortes de défauts rares et irréguliers.

La couverture pour les défauts de queue longue et les cas anormaux de bordures est considérablement améliorée.

Les solutions traditionnelles intègrent des règles d'inspection fixes dans le modèle.

Les grands modèles multimodaux prennent en charge l'ajustement dynamique des normes via des instructions.5 cm" le suivant sans modifier le modèle sous-jacent.

Ce qui signifie que les normes d'inspection du réglage deviennent extrêmement souples.

Lire tous ces avantages, vous serez peutêtre tenté de le faire, comme nous l'étions à l'époque.seulement pour courir dans une série de pièges coûteux après.

Notre projet pilote était axé sur l'inspection de l'apparence des boîtiers de téléphones portables.

La chaîne de production traite une pièce toutes les 3 secondes, ce qui signifie que la latence totale d'inspection doit rester inférieure à 2 secondes pour réserver 1 seconde pour le tri robotique.

Nous avons testé le flux de travail de l'API GPT-4V:

1. Télécharger l'image et saisir l'invite
2. Attendre la réponse du serveur
3. Recevoir les résultats de l'inspection

La latence moyenne atteint 4 ¢6 secondes, et pourrait dépasser 10 secondes au milieu des fluctuations du réseau ¢ beaucoup trop lent pour la chaîne de montage.

Vous pourriez suggérer des modèles multimodaux open source auto-hébergés comme LLaVA et Qwen-VL. Nous les avons testés aussi.L'exécution de LLaVA-13B sur une GPU A100 produit une latence d'inférence d'image unique d'environ 800 ms à 1.2 secondes.

Bien qu'il soit plus rapide que les API cloud, il reste des dizaines de fois plus lent que YOLO.

Même si nous tolérons la latence pour des raisons d'argumentation, le calcul des coûts raconte une histoire dure.

Combien d'images une ligne de production traite par jour?

En supposant une pièce toutes les 3 secondes et 20 heures de fonctionnement quotidien, une seule ligne génère environ 24 000 images d'inspection par jour.

Pour l'API GPT-4V, le prix unitaire variait de 0,01 $ à 0,03 $ par image, selon la résolution et la consommation de jetons:

• Coût quotidien par ligne: 240 ¢ 720
• Coût mensuel par ligne: 7200$ 21$600
• Le coût annuel par ligne: 86 400 $ 259 $200

Cela ne représente qu'une seule ligne, alors que notre client exploitait 12 lignes de production ¥ une dépense insupportable pour les fabricants.

Qu'en est-il des modèles open source hébergés par vous-même?

Un seul GPU A100 fournit environ 1 ¢ 2 QPS (requêtes par seconde).

Cependant, compte tenu des serveurs, de l'espace IDC et de la maintenance, le coût annuel d'exploitation d'un déploiement A100 s'élève à des centaines de milliers de RMB.

En revanche, un déploiement YOLO ne nécessite qu'une boîte de calcul de bord coûtant quelques milliers de RMB pour prendre en charge une ligne de production complète.

L'écart de coûts est de deux ordres de grandeur.

Cela s'est avéré être notre obstacle le plus frustrant.

L'inspection industrielle exige un déterminisme absolu: des images identiques doivent donner à chaque fois les mêmes résultats d'inspection,le contrôle de qualité normalisé et la traçabilité deviennent impossibles.

Les grands modèles multimodaux, cependant, produisent des sorties probabiliste.

Nous avons fait un test contrôlé: en envoyant la même image défectueuse à GPT-4V dix fois.

• 7 séries portant l'étiquette "produit défectueux"
• 2 sorties marquées il est suspecté défectueux nécessitant un examen manuel
• Une série a affirmé qu'il n'existait pas de défauts évidents

Le tout à partir de la même entrée et du même prompt.

Un tel hasard est fatal pour le contrôle de la qualité en usine. Les inspecteurs ne peuvent pas agir sur une sortie "70% de chance de défaut" chaque pièce de travail a besoin d'un verdict définitif OK ou NG.

Nous avons essayé cette méthode, qui a amélioré la stabilité mais n'a pas pu garantir des sorties identiques à 100%.Les grands modèles génèrent des résultats grâce à des mécanismes d'échantillonnage, et des écarts mineurs persistent pour les cas de bord même avec température = 0.

Les performances des modèles multimodaux dépendent entièrement d'une conception rapide, que nous avons optimisée avec beaucoup de main-d'œuvre pour améliorer la précision et la stabilité.

Nous avons vite découvert que les instructions sont extrêmement sensibles aux changements de formulation.

Trois demandes avec des demandes de base presque identiques ont donné des résultats d'inspection très différents:

Prompte A: “Vérifier si des défauts de surface existent sur cette image.”

Instruction B: “Examinez soigneusement la surface du produit et identifiez les rayures, les trous, les matières étrangères et autres défauts.”

Instruction C: "Actez en qualité d'inspecteur professionnel.

Pire encore, les instructions finement réglées pour le produit A perdent leur efficacité lorsqu'elles sont appliquées au produit B, ce qui nécessite une refonte complète de la logique des instructions pour chaque nouvelle variante de produit.

En quoi cela diffère-t-il de la reconversion des modèles YOLO pour les nouveaux produits?

La formation YOLO repose sur des mesures d'évaluation quantifiables pour indiquer clairement quand le modèle répond aux normes; l'ajustement rapide dépend entièrement de l'essai et de l'erreur subjectifs,sans référence claire pour une performance optimale.

L'hallucination est un défaut bien documenté des grands langages et des modèles multimodaux: le système invente avec confiance des détails qui n'existent pas.

Dans l'inspection industrielle, cela se manifeste par trois défaillances typiques:

1. Marquer les produits exempts de défaut comme étant défectueux
2. Fausse indication des positions des défauts (p. ex. localisation des rayures à gauche quand elles apparaissent à droite)
3. Classification erronée des types de défauts (p. ex. étiquetage des trous comme rayures)

Un cas d'essai illustre la gravité: une image de produit entièrement impeccable a déclenché une analyse fabriquée très détaillée:Une rayure peu profonde d'environ 3 mm de long est détectée en bas à droite, une évaluation d'impact fonctionnel est recommandée".

Lors d'un examen visuel attentif, aucune marque ou égratignure n'était présente dans cette région.

Si de telles hallucinations s'infiltrent dans les chaînes de production de masse, de graves conséquences suivent:les marchandises défectueuses passent inaperçues (inspection manquée) ou les produits qualifiés sont rejetés à tort (faux rejet).

Comme les API cloud souffrent d'une latence élevée et d'un coût excessif, le déploiement auto-hébergé semble être une alternative.

YOLOv8-m fonctionne sans heurts même sur une GTX 1080 avec 8 Go de VRAM.

Elle peut même être déployée sur du matériel informatique d'extrémité tel que des modules NVIDIA Jetson avec une consommation d'énergie de quelques dizaines de watts.

Le seuil des ressources de calcul diffère d'un ordre de grandeur entier.

Pour la plupart des usines, l'installation d'un serveur A100 sur le plancher de production est peu pratique tant en termes de dépenses en capital que d'exploitation et de maintenance quotidiennes.

Après avoir trébuché sur tous les pièges ci-dessus, nous avons fait un pas en arrière pour réfléchir à une question fondamentale:

Quelles sont les capacités essentielles requises par l'inspection visuelle industrielle?

1. Résultats déterministes

   Les images identiques doivent produire des résultats cohérents à 100%, ce qui constitue le fondement d'un contrôle de qualité normalisé et d'une traçabilité complète.

2. La latence ultra-faible

   La réponse au niveau des millisecondes, le temps de production est rigide et l'inspection ne peut pas devenir un goulot d'étranglement.

   Un temps d'inférence de 10 ms et un temps d'inférence de 1 000 ms représentent des réalités opérationnelles entièrement différentes.

3. Produit élevé

   Combien de cadres peuvent être traités par seconde, combien de pièces peuvent être inspectées par jour?

   Les coûts de calcul doivent rester maîtrisables, évitant des dépenses annuelles de centaines de milliers de dollars US pour une seule ligne de production.

4. Compatibilité avec le déploiement de bord

   Les environnements de réseau d'usine sont complexes; de nombreux ateliers manquent de connexions Internet stables ou accessibles.

   Les modèles doivent fonctionner localement sur des périphériques périphériques plutôt que de s'appuyer sur des API cloud.

5. Résultats d'inspection interprétables

   Lorsqu'un défaut est détecté, le système doit informer clairement les inspecteurs de son emplacement exact et de sa catégorie.

   Idéalement, il devrait fournir des coordonnées de défaut, des scores de surface et de confiance pour l'intégration des systèmes en aval.

6. Coûts d'entretien maîtrisables

   Les produits sont mis à niveau et les normes d'inspection sont régulièrement révisées.

   Le coût d'adaptation pour chaque itération doit être gérable, sans reconstruction complète à chaque fois.

L'appariement de ces six exigences fondamentales par rapport aux deux voies techniques révèle un contraste clair:

• Déterminisme: sorties cohérentes à 100% avec des entrées identiques
• Faible latence: inférence de 10 à 30 millisecondes
• Performance élevée: de dizaines à plus de cent QPS par GPU unique
• Déployable sur le bord: entièrement compatible avec le matériel Jetson et les PC industriels
• Résultats interprétables: cases de délimitation, catégories de défauts et valeurs de confiance
• Moins de frais généraux d'entretien: chaînes d'outils matures pour la formation incrémentielle et l'apprentissage par transfert

• Déterminisme: sortie probabiliste inhérente
• Restriction de latence: inférence à seconde échelle
• Limite de débit: une seule GPU ne prend en charge que le QPS à un seul chiffre
• Barrière de déploiement de bord: exige des GPU haut de gamme de classe A100
• Lacunes d'interprétabilité: les descriptions en langage naturel brut nécessitent une analyse secondaire
• Maintenance imprévisible: l'ingénierie rapide manque de normes d'optimisation quantifiables

Les grands modèles multimodaux peuvent-ils donc remplacer YOLO?

Au stade actuel de la maturité technique, les grands modèles multimodaux ne sont pas adaptés comme solution principale pour l'inspection visuelle industrielle.

Ses atouts, dont le raisonnement à tirage nul, la compréhension sémantique profonde et une forte généralisation, offrent peu de valeur pratique sur les chaînes de production.Les coûts prohibitifs et les sorties instables sont catastrophiques pour le contrôle de la qualité industrielle.

Cela ne signifie pas que les grands modèles multimodaux sont totalement inutiles pour l'inspection visuelle industrielle.

La clé réside dans l'identification de leur créneau approprié.

Après deux ans d'essais sur le terrain, nous avons résumé quatre scénarios dans lesquels les grands modèles multimodaux créent une valeur tangible:

L'annotation constitue le principal facteur de coût des projets d'inspection traditionnels.

Une tâche de vision industrielle nécessite généralement des milliers à des dizaines de milliers d'images annotées.avec des frais d'étiquetage représentant 30% à 50% de l'investissement total du projet.

Les grands modèles multimodaux offrent la possibilité de préétiqueter:

Le modèle génère d'abord des masques et des boîtes d'annotation préliminaires à partir d'images brutes.

Nos tests sur le terrain prouvent que ce flux de travail augmente l'efficacité des annotations de 3 à 5 fois, réduisant le temps moyen d'étiquetage par image de 30 secondes à moins de 10 secondes.

Le plafond de performance des modèles YOLO est simple: ils ne peuvent reconnaître que les types de défauts figurant dans les ensembles de données de formation.

Des défauts rares sans précédent provoqueront une détection manquée par YOLO.

Bien que ces anomalies de longue queue se produisent rarement, elles signalent souvent des conditions de fabrication anormales graves, entraînant des risques opérationnels plus élevés.

Les grands modèles multimodaux agissent comme une couche de vérification de secours:

Lorsque YOLO produit un score de confiance limite (environ 0,3 ‰ 0.7, la zone grise de l'incertitude), l'image correspondante est envoyée au modèle multimodal pour jugement secondaire.

La force de généralisation à tirage nul des grands modèles couvre ces anomalies rares invisibles.

Dans le cadre de ce mécanisme, seulement 5% à 10% de toutes les images sont transmises au modèle multimodal, ce qui permet de gérer les coûts totaux tout en améliorant considérablement la couverture des défauts de longue traîne.

YOLO ne produit que des données structurées: cases de délimitation, catégories de défauts et scores de confiance.

Bien que suffisantes pour les systèmes industriels de back-end, ces mesures brutes sont peu intuitives pour les inspecteurs humains, qui ont besoin de réponses à des questions pratiques: quelle est la gravité du défaut?Quelles mesures correctives doivent être prises?

Les grands modèles multimodaux effectuent la génération de rapports sémantiques:

Entrée: coordonnées des défauts, étiquettes de classification, modèle de produit et paramètres du processus de fabrication

Résultat: rapport d'inspection par langage naturel, par exemple: une égratignure de 5 mm est détectée sur le bord gauche du produit, probablement causée par l'abrasion du moule; il est recommandé de maintenir le moule".

Cette tâche est insensible à la latence (les rapports peuvent être générés de manière asynchrone) et rentable (exécutée uniquement sur des produits non conformes à la norme NG dont le volume est limité).

Les clients sont parfois confrontés à des délais serrés: de nouveaux produits prévus pour la production en série la semaine suivante avec seulement des dizaines d'images d'échantillons défectueux, insuffisants pour une formation YOLO complète.

Le flux de travail traditionnel ne peut pas lancer une inspection avec des données aussi limitées.

Les grands modèles multimodaux constituent une solution temporaire transitoire:

La capacité de tir à zéro permet un déploiement immédiat avec une précision acceptable mais imparfaite, dépassant de loin l'inspection manuelle complète.Les données peuvent être collectées en continu pendant l'opération pilote pour former un modèle YOLO formel à une utilisation à long terme une fois que suffisamment d'échantillons ont été accumulés..

Sur la base de l'analyse ci-dessus, nous avons adopté une architecture hybride à double canal pour les projets industriels récents:

• Gère plus de 95% de toutes les charges de travail d'inspection
• Déployée localement sur le matériel périphérique avec une latence d'inférence de 10 à 20 ms
• Les sorties de boîtes de délimitation structurées, les types de défauts et les scores de confiance

• Traite uniquement les images à faible fiabilité à l'intérieur de la zone grise
• Invoqué de manière asynchrone sans perturber le débit de la ligne principale
• Fonctions pour la vérification de reprise des défauts à longue traîne, la génération de rapports sémantiques et l'étiquetage auxiliaire

Principaux principes de conception de ce cadre hybride:

1. YOLO agit comme le système primaire de base; les modèles multimodaux servent d'outils auxiliaires
2. Le détournement des données au lieu du traitement en série: les modèles multimodaux restent hors du parcours de production critique et n'ont aucune incidence sur la latence ou le débit de la ligne principale
3. Partage du trafic basé sur la confiance: les résultats à haute fiabilité sont transmis directement, tandis que les échantillons ambiguës sont transmis à la validation secondaire multimodal
4. Contrôle prévisible des coûts: seule une petite fraction des images consomme des ressources de calcul du modèle multimodal

Vous trouverez ci-dessous un arbre de décision résumé pour les équipes sélectionnant des algorithmes d'inspection visuelle industrielle:

1. Exigence de latence
   • Déduction requise < 100 ms → Choisissez YOLO
   • La latence à seconde échelle est acceptable → Les grands modèles multimodaux sont viables
2. Exigence de débit
   • Plus de 1 image par seconde → Choisissez YOLO
   • Seules des centaines d'images sont traitées quotidiennement → Les grands modèles multimodaux sont viables
3. Environnement de déploiement
   • Le déploiement en mode hors connexion est requis → Choisissez YOLO
   • Des ressources de cloud computing dédiées stables sont disponibles → Les grands modèles multimodaux sont viables
4. Disponibilité des données
   • Des milliers d'échantillons annotés → Choisissez YOLO
   • Seulement des dizaines d'échantillons avec un calendrier de lancement urgent → Adopter des modèles multimodaux comme transition temporaire
5. Limite budgétaire
   • Budget d'exploitation annuel de ligne unique inférieur à 100 000 RMB → Choisissez YOLO
   • Budget financier suffisant → Une architecture hybride est recommandée

Pour la grande majorité des scénarios industriels, YOLO restera le choix optimal.

Les grands modèles multimodaux ne conviennent qu'en tant que solutions primaires dans des conditions spécifiques: tolérance à la latence, faible demande de débit, support stable du cloud computing et rareté extrême des données.

La solution la plus pragmatique de l'industrie est l'architecture hybride:

• YOLO s'acquitte des tâches d'inspection essentielles en temps réel
• Les grands modèles multimodaux offrent une valeur auxiliaire dans l'annotation, la vérification de secours et la rédaction automatisée de rapports
• Tirer parti des atouts respectifs des deux technologies tout en maintenant le contrôle des coûts

Revenons à la question initiale: les grands modèles multimodaux peuvent-ils remplacer le YOLO?

Après deux ans d'essais et d'erreurs, notre conclusion est claire:

C'est une mauvaise façon de poser la question.

Il ne s'agit pas d'une concurrence à somme nulle "A remplace B", mais de la question de chaque technologie occupant sa propre niche écologique unique.

Les grands modèles multimodaux possèdent des capacités redoutables, mais leurs points forts essentiels sont le raisonnement sans risque,une compréhension sémantique approfondie et une large généralisation.

En attendant, leurs inconvénients inhérents: latence élevée, coûts d'exploitation excessifs et sorties instables, sont exactement les points faibles non négociables que la fabrication industrielle ne peut tolérer.

L'essence de la sélection technique n'est pas de courir après la dernière technologie tendance, mais de faire correspondre la solution aux exigences du scénario du monde réel.

La série YOLO est largement utilisée dans l'inspection visuelle industrielle depuis des années, et son statut de norme de facto est bien justifié.

Les grands modèles multimodaux sont de puissants outils complémentaires, mais ils ne sont pas des remplacements complets qualifiés en raison de la maturité technique actuelle.

Peut-être que dans trois ou cinq ans, le paysage changera: la vitesse d'inférence s'améliorera considérablement, les coûts de déploiement chuteront fortement et le problème du déterminisme sera complètement résolu.

Ce n'est qu'alors que nous pourrons revenir à la discussion sur le remplacement à grande échelle.