Ispezione visiva industriale: il fascino dei grandi modelli multimodali

Poco dopo il lancio del GPT-4V all'inizio del 2023, abbiamo ricevuto una chiamata da un cliente di lunga data.

Due anni prima avevamo implementato un sistema di ispezione di superficie basato su YOLOv5 per la loro fabbrica,che da allora operava in modo stabile.

Ha sollevato una domanda stimolante al telefono:

"Ho visto che il GPT-4V è in grado di interpretare tutti i tipi di immagini e riconoscere quasi tutto.

Ho trattenuto una risposta diretta, allora.

A dire il vero, siamo stati altrettanto affascinati dall'idea.

Le dimostrazioni di grandi modelli multimodali sono innegabilmente impressionanti.Non è richiesta alcuna formazione o etichettatura; fornisce prestazioni zero-shot fuori dalla scatola.

Se questa capacità si trasformasse perfettamente nelle fabbriche, l'intero regolamento per l'ispezione visiva industriale sarebbe riscritto.

Abbiamo trascorso quasi due anni a testare diverse soluzioni di grandi modelli multimodali in più progetti.

La nostra conclusione è chiara: per quanto la tecnologia possa sembrare allettante, le applicazioni industriali nel mondo reale hanno dei severi limiti.

Questo articolo documenta tutte le insidie incontrate in questi due anni.

Prima di approfondire i grandi modelli multimodali, è fondamentale definire la linea di base del settore:

La soluzione dominante per l'ispezione visiva industriale di oggi si basa sui modelli di rilevamento e segmentazione degli oggetti rappresentati dalla serie YOLO.

Questa tendenza non è nuova: a partire da YOLOv3, passando per gli ampiamente utilizzati YOLOv8, YOLOv9 e YOLOv10, la famiglia YOLO è stata implementata in linee di produzione industriali per anni.che vanta una stack tecnica pienamente matura.

Primo, velocità di deduzione ultra-veloce.

Equipaggiato con box di edge computing standard abbinati a telecamere industriali, YOLOv8 completa l'inferenza per un fotogramma entro 10 a 30 millisecondi, corrispondendo al tempo di takt della maggior parte delle linee di produzione.

In secondo luogo, una sufficiente precisione di rilevamento.

Con set di dati etichettati adeguati, la serie YOLO raggiunge una precisione eccezionale per le categorie di difetti comuni, raggiungendo facilmente un mAP superiore al 90%.

Terzo, un ecosistema di distribuzione maturo.

Le toolchain pronte a disposizione supportano più framework di distribuzione tra cui ONNX, TensorRT e OpenVINO.L'intero flusso di lavoro, dalla formazione dei modelli all'implementazione in loco, è stato convalidato da innumerevoli progetti industriali.

Quarto, un ecosistema open-source completo.

L'attiva comunità open-source fornisce soluzioni accessibili per la maggior parte degli ostacoli tecnici, con abbondanti pesi pre-addestrati, kit di aumento dei dati e strumenti di etichettatura prontamente disponibili.

Pertanto, la serie YOLO è praticamente la scelta predefinita per i progetti di ispezione visiva industriale lanciati nel 2024.

Non c'è bisogno di discutere se l'apprendimento profondo debba essere adottato, questa questione è stata risolta dieci anni fa.

La nuova domanda fondamentale sorge ora: con l'emergere dei grandi modelli multimodali, YOLO rimane ancora la soluzione ottimale?

Il 2023 ha visto un'ondata esplosiva di rilasci di grandi modelli multimodali.

I modelli inclusi GPT-4V, Gemini e Claude 3 offrono potenti capacità generali di comprensione delle immagini.

Flusso di lavoro tradizionale: per ispezionare un tipo specifico di difetto, è necessario prima raccogliere, etichettare e addestrare le immagini di tale difetto.

Grandi modelli multimodali: basta descrivere la vostra richiesta in linguaggio naturale, come "Verifica se ci sono graffi in questa immagine", e il modello restituirà i risultati immediatamente.Nessuna formazione o etichettatura richiesta.

Il costo di avvio a freddo scende quasi a zero.

Quando si lanciano nuovi prodotti, non è necessario trascorrere due settimane per la raccolta dei dati, l'etichettatura e la formazione del modello.

I modelli tradizionali forniscono solo caselle di confine e punteggi di affidabilità, ad esempio: "C'è un difetto in questa casella con una affidabilità di 0,87".

I modelli multimodali di grandi dimensioni generano un linguaggio naturale descrittivo: in alto a sinistra dell'immagine appare un graffio di circa 2 cm, probabilmente formato durante il trasporto.Si raccomanda di ottimizzare il processo di imballaggio. "

Ciò significa che i risultati delle ispezioni possono essere direttamente convertiti in relazioni formali di ispezione della qualità.

I modelli tradizionali sono in grado di riconoscere solo i tipi di difetti osservati durante l'addestramento; non riescono a identificare i nuovi difetti invisibili.

In teoria, i grandi modelli multimodali hanno elaborato immagini massicce provenienti da Internet, consentendo loro di riconoscere potenzialmente tutti i tipi di difetti rari e irregolari.

Ciò significa che la copertura per i difetti della coda lunga e i casi anomali di bordo è drasticamente migliorata.

Le soluzioni tradizionali incorporano nel modello regole fisse di ispezione, ma la revisione dei criteri di ispezione richiede una completa riqualificazione.

I modelli multimodali di grandi dimensioni supportano l'adeguamento dinamico degli standard tramite richieste.5 cm" senza modificare il modello sottostante.

Ciò significa che gli standard di controllo di sintonizzazione diventano estremamente flessibili.

Leggendo tutti questi vantaggi, potresti anche essere tentato ̇ proprio come noi all'epoca.Solo per finire in una serie di costose insidie dopo..

Il nostro progetto pilota si è concentrato sull'ispezione dell'aspetto delle cartucce dei telefoni cellulari.

La linea di produzione lavora un pezzo ogni 3 secondi, il che significa che la latenza totale di ispezione deve rimanere inferiore a 2 secondi per riservare 1 secondo per la classificazione robotica.

Abbiamo testato il flusso di lavoro dell'API GPT-4V:

1. Caricare l'immagine e inserire il prompt
2. Aspetta la risposta del server
3. Ricevere i risultati delle ispezioni

La latenza media raggiungeva i 4·6 secondi, e poteva superare i 10 secondi in mezzo alle fluttuazioni della rete, troppo lente per la catena di montaggio.

Potreste suggerire modelli multimodali open source auto-hostati come LLaVA e Qwen-VL.L'esecuzione di LLaVA-13B su una GPU A100 produce una latenza di inferenza di immagine singola di circa 800ms a 1.2 secondi.

Mentre è più veloce delle API cloud, rimane decine di volte più lento di YOLO.

Anche se tollerassimo la latenza per ragioni di argomentazione, il calcolo dei costi racconta una storia dura.

Quante immagini elabora una linea di produzione al giorno?

Supponendo un pezzo ogni 3 secondi e 20 ore di funzionamento giornaliero, una singola linea genera circa 24.000 immagini di ispezione al giorno.

Per l'API GPT-4V, il prezzo unitario variava da $ 0,01 a $ 0,03 per immagine, a seconda della risoluzione e del consumo di token:

• Costo giornaliero per linea: $240$720
• Costo mensile per linea: $7.200$21.600
• Costo annuale per linea: $86,400$259,200

Questo rappresenta solo una linea, mentre il nostro cliente gestisce 12 linee di produzione, una spesa inaccettabile per i produttori.

E i modelli open-source auto-ospitati?

Una singola GPU A100 fornisce circa 1 ¢ 2 QPS (richieste al secondo).

Tuttavia, tenendo conto dei server, dello spazio IDC e della manutenzione, il costo operativo annuo per una distribuzione A100 si aggira in centinaia di migliaia di RMB.

Al contrario, una distribuzione YOLO richiede solo un box di edge computing che costa poche migliaia di RMB per supportare una linea di produzione completa.

Il divario di costi è di due ordini di grandezza.

Questo si è rivelato il nostro ostacolo più frustrante.

L'ispezione industriale richiede un determinismo assoluto: le immagini identiche devono produrre sempre risultati di ispezione identici,In caso contrario, il controllo di qualità e la tracciabilità standardizzati diventano impossibili.

I grandi modelli multimodali, tuttavia, producono risultati probabilistici.

Abbiamo eseguito un test controllato: abbiamo inviato la stessa immagine difettosa con un istante identico a GPT-4V dieci volte.

• 7 serie con l'etichetta del prodotto difettoso
• 2 giri segnati sospettato difettoso che richiede una revisione manuale
• 1 esecuzione ha dichiarato che non esistevano difetti evidenti

Tutto dallo stesso input e prompt.

Tale casualità è fatale per il controllo della qualità in fabbrica: gli ispettori non possono agire su un'uscita "70% probabilità di difetto" ̇ ogni pezzo di lavoro ha bisogno di un verdetto definitivo OK o NG.

Alcuni propongono di regolare la temperatura a 0 per la consistenza. Abbiamo provato questo metodo, che ha migliorato la stabilità ma non è riuscito a garantire risultati identici al 100%.I grandi modelli generano risultati tramite meccanismi di campionamento, e le deviazioni minori persistono per i casi di bordo anche con temperatura = 0.

Le prestazioni dei modelli multimodali dipendono interamente da una progettazione rapida, che abbiamo utilizzato una vasta manodopera per ottimizzare per aumentare la precisione e la stabilità.

Abbiamo presto scoperto che i suggerimenti sono estremamente sensibili ai cambiamenti di formulazione.

Tre richieste con richieste essenziali quasi identiche hanno dato risultati di ispezione molto diversi:

Pronto A: “Controlla se esistono difetti superficiali in questa immagine".

Indicazione B: "Esaminare attentamente la superficie del prodotto e individuare graffi, buche, sostanze estranee e altri difetti".

Indicazione C: "Agire come un ispettore di qualità professionale.

Peggio ancora, i suggerimenti perfezionati per il prodotto A perdono efficacia quando vengono applicati al prodotto B, richiedendo una completa rielaborazione della logica dei suggerimenti per ogni nuova variante di prodotto.

In che modo questo differisce dalla riqualificazione dei modelli YOLO per nuovi prodotti?

L'addestramento YOLO si basa su metriche di valutazione quantificabili per segnalare chiaramente quando il modello soddisfa gli standard; la sintonizzazione rapida dipende interamente da prove e errori soggettivi,senza un chiaro parametro di riferimento per le prestazioni ottimali.

L'allucinazione è un difetto ben documentato dei grandi modelli linguistici e multimodali: il sistema inventa con sicurezza dettagli che non esistono.

Nell'ispezione industriale, questo si manifesta in tre tipici guasti:

1. Marcatura dei prodotti privi di difetti come difettosi
2. Indicare erroneamente le posizioni dei difetti (ad es. individuare graffi a sinistra quando appaiono a destra)
3. Classificazione errata dei tipi di difetti (ad esempio etichettare le buche come graffi)

Un caso di prova illustra la gravità: un'immagine del prodotto del tutto impeccabile ha innescato un'analisi artificiale molto dettagliata:¢ Un graffio poco profondo lungo circa 3 mm è rilevato nell'angolo in basso a destra, raccomandata una valutazione dell'impatto funzionale".

Dopo un attento esame visivo, non c'era nessun segno o graffio presente in quella regione.

Se tali allucinazioni si infiltrano nelle linee di produzione di massa, ne seguono gravi conseguenze:o le merci difettose passano inosservate (ispezione mancata) o i prodotti qualificati vengono erroneamente respinti (falso rifiuto).

Poiché le API cloud soffrono di elevata latenza e costi eccessivi, la distribuzione auto-ospitata sembra un'alternativa.

YOLOv8-m funziona senza intoppi anche su una GTX 1080 con 8GB di VRAM.

Può anche essere utilizzato su hardware di edge computing come i moduli NVIDIA Jetson con un consumo di potenza di sole decine di watt.

La soglia delle risorse computazionali differisce di un intero ordine di grandezza.

Per la maggior parte delle fabbriche, l'installazione di un server A100 sul piano di produzione è impraticabile sia in termini di spese di capitale che di gestione e manutenzione quotidiana.

Dopo aver incappato in tutte le insidie di cui sopra, ci siamo fatti un passo indietro per riflettere su una domanda fondamentale:

Quali sono le capacità fondamentali richieste essenzialmente dall'ispezione visiva industriale?

1. Output deterministico

   Le immagini identiche devono fornire risultati coerenti al 100%, che costituiscono il fondamento di un controllo di qualità standardizzato e di una completa tracciabilità; non sono accettabili risultati probabilistici.

2. Latenza ultra-bassa

   La risposta a livello di millisecondi, il tempo di produzione è rigido e l'ispezione non può diventare un collo di bottiglia.

   Un tempo di inferenza di 10 ms e un tempo di inferenza di 1000 ms rappresentano realtà operative completamente diverse.

3. Trasmissione elevata

   Quanti fotogrammi possono essere elaborati al secondo, quanti pezzi possono essere ispezionati al giorno?

   I costi di calcolo devono rimanere controllabili, evitando spese annuali di centinaia di migliaia di dollari per una singola linea di produzione.

4. Compatibilità di distribuzione di bordo

   Gli ambienti di rete di fabbrica sono complessi; molti laboratori non hanno connessioni Internet stabili o accessibili.

   I modelli devono operare localmente su dispositivi edge piuttosto che basarsi su API cloud.

5. Risultati di ispezione interpretabili

   Quando viene rilevato un difetto, il sistema deve informare chiaramente gli ispettori della sua posizione esatta e della sua categoria.

   Idealmente, dovrebbe fornire coordinate dei difetti, punti di area e di affidabilità per l'integrazione del sistema a valle.

6. Costi di manutenzione controllabili

   I prodotti vengono aggiornati e gli standard di ispezione sono rivisti regolarmente.

   Il costo di adattamento per ogni iterazione deve essere gestibile, senza ricostruzione completa ogni volta.

La corrispondenza di questi sei requisiti fondamentali con le due vie tecniche rivela un chiaro contrasto:

• Determinismo: uscite coerenti al 100% con input identici
• La latenza è bassa: inferenza di 10-30 millisecondi.
• Alto throughput: da decine a oltre cento QPS per singola GPU
• Edge-deployable: Completamente compatibile con hardware Jetson e PC industriali
• I risultati interpretabili: caselle di confine, categorie di difetti e valori di affidabilità
• Bassi costi di manutenzione: catene di strumenti mature per la formazione incrementale e l'apprendimento trasferito

• Determinismo: prodotto intrinsecamente probabilistico
• Restrizione di latenza: inferenza su seconda scala
• Limite di throughput: la singola GPU supporta solo QPS a una sola cifra
• Barriera di distribuzione dell'edge: richiede GPU di fascia A100 di fascia alta
• Interpretabilità: le descrizioni in linguaggio naturale grezzo richiedono un'analisi secondaria
• Manutenzione imprevedibile: l'ingegneria rapida manca di standard di ottimizzazione quantificabili

I modelli multimodali di grandi dimensioni possono sostituire YOLO?

Nella fase attuale di maturità tecnica, i grandi modelli multimodali non sono adatti come soluzione primaria per l'ispezione visiva industriale.

I suoi punti di forza, tra cui il ragionamento a scatto zero, la comprensione semantica profonda e la forte generalizzazione, offrono poco valore pratico sulle linee di produzione; nel frattempo i suoi difetti critici costi proibitivi e produzioni instabili sono catastrofici per il controllo della qualità industriale.

Ciò non significa che i grandi modelli multimodali siano completamente inutili per l'ispezione visiva industriale.

La chiave sta nell'identificare la loro nicchia.

Dopo due anni di sperimentazioni sul campo, abbiamo riassunto quattro scenari in cui i grandi modelli multimodali creano un valore tangibile:

L'annotazione costituisce il principale fattore di costo dei progetti di ispezione tradizionali.

Un compito di visione industriale richiede di solito migliaia a decine di migliaia di immagini annotate.con spese di etichettatura pari al 30%-50% dell'investimento totale del progetto.

I grandi modelli multimodali offrono la possibilità di pre-etichettare:

Il modello genera prima maschere di annotazione preliminari e scatole da immagini grezze.

I nostri test sul campo dimostrano che questo flusso di lavoro aumenta l'efficienza delle annotazioni di 3×5 volte, riducendo il tempo medio di etichettatura per immagine da 30 secondi a meno di 10 secondi.

Il massimale di prestazione dei modelli YOLO è semplice: possono riconoscere solo i tipi di difetti presenti nei set di dati di formazione.

Difetti rari senza precedenti provoceranno un errore di rilevamento da parte di YOLO.

Sebbene tali anomalie si verifichino raramente, spesso segnalano gravi condizioni di produzione anormali, con maggiori rischi operativi.

I grandi modelli multimodali fungono da strato di verifica di riserva:

Quando YOLO fornisce un punteggio di confidenza limite (circa 0,3 ‰ 0.7, la zona grigia di incertezza), l'immagine corrispondente viene inviata al modello multimodale per un giudizio secondario.

La forza di generalizzazione a scatto zero dei grandi modelli copre queste anomalie rare e invisibili.

In base a questo meccanismo, solo il 5% -10% di tutte le immagini viene inoltrato al modello multimodale, mantenendo i costi totali gestibili migliorando drasticamente la copertura dei difetti a coda lunga.

YOLO fornisce solo dati strutturati: caselle di delimitazione, categorie di difetti e punteggi di affidabilità.

Sebbene siano sufficienti per i sistemi industriali di back-end, queste metriche grezze non sono intuitive per gli ispettori umani, che hanno bisogno di risposte a domande pratiche: quanto è grave il difetto?Quali misure correttive dovrebbero essere adottate?

I grandi modelli multimodali eseguono la generazione di rapporti semantici:

Input: coordinate dei difetti, etichette di classificazione, modello di prodotto e parametri del processo di produzione

Risultato: Rapporto di ispezione in linguaggio naturale, ad esempio A 5 mm di graffi sono rilevati sul bordo sinistro del prodotto, probabilmente causati da abrasione da muffa; si raccomanda la manutenzione della muffa".

Questo compito è insensibile alla latenza (le segnalazioni possono essere generate in modo asincrono) e economico (eseguito solo su prodotti non conformi con volume limitato).

I clienti si trovano talvolta di fronte a scadenze strette: nuovi prodotti previsti per la produzione in serie la settimana successiva con solo dozzine di immagini di campioni difettose, insufficienti per una formazione completa YOLO.

Il flusso di lavoro tradizionale non può avviare l'ispezione con dati così limitati.

I grandi modelli multimodali sono una soluzione temporanea di transizione:

La capacità di tiro a zero consente il dispiegamento immediato con una accuratezza accettabile ma imperfetta, superando di gran lunga l'ispezione manuale completa.I dati possono essere raccolti continuamente durante l'operazione pilota per formare un modello formale YOLO per un uso a lungo termine una volta accumulati campioni sufficienti..

Sulla base dell'analisi di cui sopra, abbiamo adottato un'architettura ibrida a due canali per i progetti industriali recenti:

• Gestisce oltre il 95% di tutti i carichi di lavoro di ispezione
• Implementato localmente su hardware edge con latenza di inferenza di 10 ¢ 20 ms
• Fabbricazione di scatole di confine strutturate, tipi di difetti e punteggi di affidabilità

• Procede solo con immagini a bassa affidabilità limitrofe all'interno della zona grigia
• Invocato in modo asincrono senza interrompere il traffico della linea principale
• Funzioni per la verifica di fallback dei difetti a coda lunga, la generazione di rapporti semantici e l'etichettatura ausiliaria

Principi fondamentali di progettazione di questo quadro ibrido:

1. L'YOLO funge da sistema primario di base; i modelli multimodali servono come strumenti ausiliari
2. Manualizzazione dei dati al posto dell'elaborazione seriale: i modelli multimodali restano fuori dal percorso critico di produzione e non hanno alcun impatto sulla latenza o sul throughput della linea principale
3. Spartizione del traffico basata sulla fiducia: i risultati ad alta affidabilità vengono trasmessi direttamente, mentre i campioni ambiguissimi vengono trasmessi per la convalida multimodale secondaria
4. Controllo dei costi prevedibile: solo una piccola frazione delle immagini consuma risorse di calcolo del modello multimodale

Di seguito è riportato un albero di decisione riassunto per i team che selezionano algoritmi di ispezione visiva industriale:

1. Requisito di latenza
   • Inferenza necessaria < 100 ms → Scegliere YOLO
   • La latenza a seconda scala è accettabile → I grandi modelli multimodali sono fattibili
2. Requisito di portata
   • Oltre 1 fotogramma al secondo → Scegli YOLO
   • Solo centinaia di immagini vengono elaborate ogni giorno → I grandi modelli multimodali sono fattibili
3. Ambiente di distribuzione
   • Richiesta di distribuzione offline → Scegliere YOLO
   • Disponibilità di risorse cloud dedicate e stabili → Sono fattibili grandi modelli multimodali
4. Disponibilità dei dati
   • Migliaia di campioni annotati a portata di mano → Scegli YOLO
   • Solo dozzine di campioni con calendario di lancio urgente → Adottare modelli multimodali come transizione temporanea
5. Limitazioni di bilancio
   • Bilancio operativo annuo di una singola linea inferiore a 100.000 RMB → Scegli YOLO
   • Ampio budget finanziario → Architettura ibrida raccomandata

Per la stragrande maggioranza degli scenari industriali, YOLO rimarrà la scelta ottimale.

I grandi modelli multimodali sono adatti solo come soluzioni primarie in condizioni specifiche: tolleranza alla latenza, bassa domanda di throughput, supporto stabile al cloud computing e estrema scarsità di dati.

La soluzione più pragmatica per l'industria è l'architettura ibrida:

• YOLO svolge i compiti essenziali di ispezione in tempo reale
• I grandi modelli multimodali forniscono un valore ausiliario nell'annotazione, nella verifica di riserva e nella scrittura automatica dei rapporti
• Sfruttare i rispettivi punti di forza di entrambe le tecnologie mantenendo il controllo dei costi

Riprendendo la domanda iniziale: i grandi modelli multimodali possono sostituire YOLO?

Dopo due anni di tentativi e errori, la nostra conclusione e' chiara:

Questa è la formulazione sbagliata della domanda.

Non si tratta di una competizione a somma zero "A sostituisce B", ma di una questione in cui ogni tecnologia occupa la propria nicchia ecologica unica.

I grandi modelli multimodali possiedono capacità formidabili, ma i loro punti di forza principali sono il ragionamento a scatto zero,comprensione semantica approfondita e ampia generalizzazione ️ fornire un valore limitato per i flussi di lavoro di ispezione della produzione.

Nel frattempo i loro inconvenienti inerenti: elevata latenza, costi operativi eccessivi e uscite instabili, sono esattamente i punti di forza non negoziabili che la produzione industriale non può tollerare.

L'essenza della selezione tecnica non è inseguire l'ultima tecnologia di tendenza, ma abbinare la soluzione alle richieste dello scenario del mondo reale.

La serie YOLO è stata ampiamente utilizzata nell'ispezione visiva industriale per anni e il suo status di standard di fatto è ben giustificato.

I grandi modelli multimodali sono potenti strumenti complementari, ma non sono una sostituzione completa in base all'attuale maturità tecnica.

Forse tra tre o cinque anni, il panorama cambierà: la velocità di deduzione migliorerà drasticamente, i costi di implementazione diminuiranno drasticamente e il problema del determinismo sarà completamente risolto.

Solo allora potremo rivedere la discussione sulla sostituzione su larga scala.