Industriële visuele inspectie: de allure van multimodale grote modellen

Kort na de lancering van GPT-4V begin 2023 kregen we een telefoontje van een klant.

Hij was technisch directeur van een fabrikant van huishoudelijke apparaten.die sindsdien stabiel had gewerkt..

Hij stelde via de telefoon een aanlokkelijke vraag:

“Ik heb gezien dat GPT-4V alle soorten afbeeldingen kan interpreteren en bijna alles kan herkennen.

Ik hield toen een eenvoudig antwoord achter.

Om eerlijk te zijn, waren we zelf even gefascineerd door het idee.

De demo's van multimodale grote modellen zijn onmiskenbaar indrukwekkend.Geen opleiding of etikettering vereist; het levert nul-shot prestaties uit de doos.

Als deze mogelijkheid naadloos zou worden toegepast op fabrieken, zou het hele regelboek voor industriële visuele inspectie herschreven worden.

We testten bijna twee jaar diverse multimodale grote modeloplossingen in meerdere projecten.

Onze conclusie is duidelijk: hoe verleidelijk de technologie ook mag lijken, de echte industriële toepassing kent harde beperkingen.

Dit artikel beschrijft alle valkuilen die we in deze twee jaar tegenkwamen.

Voordat we ingaan op grote multimodale modellen, is het van cruciaal belang om de basislijn van de sector te bepalen:

De dominante oplossing voor de huidige industriële visuele inspectie is gebaseerd op objectdetectie- en segmentatiemodellen zoals die van de YOLO-serie.

Dit is nauwelijks een nieuwe trend. Beginnend met YOLOv3 en door de veelgebruikte YOLOv8, YOLOv9 en YOLOv10 is de YOLO-familie al jaren in industriële productielijnen geïmplementeerd.met een volledig volwassen technische stack.

Ten eerste, ultra-snelle inferentie snelheid.

YOLOv8 is uitgerust met standaard edge-computingboxen die zijn gekoppeld aan industriële camera's en voltooit de inferentie voor één frame binnen 10 tot 30 milliseconden, wat overeenkomt met de takttijd van de meeste productielijnen.

Ten tweede, voldoende detectie nauwkeurigheid.

Met voldoende gemerkte datasets bereikt de YOLO-serie een uitstekende nauwkeurigheid voor veel voorkomende defectcategorieën en bereikt ze gemakkelijk een mAP van meer dan 90%.

Ten derde, een rijp inzet-ecosysteem.

Klaargemaakte toolchains ondersteunen meerdere implementatiekaders, waaronder ONNX, TensorRT en OpenVINO.De volledige workflow van modelopleiding tot inzet ter plaatse is gevalideerd door talloze industriële projecten.

Ten vierde, een uitgebreid open source ecosysteem.

De actieve open-source-community biedt toegankelijke oplossingen voor de meeste technische hindernissen, met overvloedige vooraf opgeleide gewichten, datavergrotingskits en etiketteringstools die gemakkelijk beschikbaar zijn.

Daarom is de YOLO-serie praktisch de standaardkeuze voor industriële visuele inspectieprojecten die in 2024 worden gelanceerd.

Het is niet nodig te discussiëren over de vraag of diepgaand leren moet worden overgenomen – die vraag is al tien jaar geleden opgelost.

De nieuwe kernvraag is nu: blijft YOLO met de opkomst van multimodale grote modellen nog steeds de optimale oplossing?

In 2023 is er een explosieve golf van multimodale grote modellen uitgebracht.

Modellen zoals GPT-4V, Gemini en Claude 3 leveren krachtige algemene beeldbegrip.

Traditionele werkvloei: om een specifiek type defect te inspecteren, moet je eerst afbeeldingen van dat defect verzamelen, labelen en trainen.

Multimodale grote modellen: Beschrijf eenvoudig uw vraag in natuurlijke taal, zoals "Kijk of er schrammen in deze afbeelding zijn", en het model zal onmiddellijk resultaten geven.Geen opleiding of etikettering vereist.

De kosten voor een koude start dalen tot bijna nul.

Bij de lancering van nieuwe producten is het niet nodig om twee weken te besteden aan het verzamelen van gegevens, de etikettering en de opleiding van modellen.

Traditionele modellen geven alleen afmetingsvakken en betrouwbaarheidsscores op, bijvoorbeeld: "Er bestaat een defect in dit vak met een betrouwbaarheid van 0,87".

Multimodele grote modellen genereren een beschrijvende natuurlijke taal: in de linkerbovenhoek van de afbeelding verschijnt een schram van ongeveer 2 cm, waarschijnlijk gevormd tijdens het transport.Het wordt aanbevolen het verpakkingsproces te optimaliseren.. "

Dit betekent dat de resultaten van de inspectie rechtstreeks kunnen worden omgezet in formele kwaliteitsinspectieverslagen.

Traditionele modellen kunnen alleen defecten herkennen die tijdens de opleiding zijn waargenomen; ze kunnen geen gloednieuwe onzichtbare defecten identificeren.

In theorie hebben multimodale grote modellen enorme afbeeldingen van internet verwerkt, waardoor ze mogelijk allerlei zeldzame en onregelmatige defecten kunnen herkennen.

Wat betekent dit? De dekking voor lange staartdefecten en abnormale randgevallen is drastisch verbeterd.

De traditionele oplossingen bevatten vaste inspectieregels in het model, maar de herziening van de inspectiecriteria vereist volledige heropleiding.

Multimodale grote modellen ondersteunen dynamische aanpassing van de normen via oproepen.5 cm" de volgende zonder het onderliggende model te wijzigen.

Wat betekent dit? - Standaarden voor de afstemming van inspecties worden uiterst flexibel.

Daarom hebben wij besloten om multimodale grote modellen in verschillende werkelijke projecten in te zetten.alleen om daarna een reeks kostbare valkuilen op te lopen.

Ons proefproject richtte zich op het inspecteren van het uiterlijk van mobiele telefoonbehuizingen.

De productielijn verwerkt om de 3 seconden één werkstuk, wat betekent dat de totale inspectielatentie onder de 2 seconden moet blijven om 1 seconde te reserveren voor robot-sortering.

We hebben de GPT-4V API workflow getest:

1. Upload de afbeelding en voer de prompt in
2. Wacht tot de server reageert
3. Ontvang de resultaten van de inspectie

De gemiddelde latentie bedroeg 4 ¢6 seconden en kon 10 seconden overschrijden te midden van netwerkschommelingen ¢ veel te langzaam voor de assemblagelijn.

Je zou zelf gehoste open source multimodale modellen zoals LLaVA en Qwen-VL kunnen voorstellen.Het uitvoeren van LLaVA-13B op een A100 GPU levert een afleidingslatentie op van ongeveer 800 ms tot 1.2 seconden.

Hoewel het sneller is dan cloud-API's, blijft het tientallen malen langzamer dan YOLO.

Zelfs als we de latentie tolereren omwille van de discussie, vertelt de kostenberekening een hard verhaal.

Hoeveel beelden verwerkt een productielijn per dag?

Veronderstelt men dat een werkstuk elke 3 seconden en 20 uur dagelijks wordt gebruikt, dan genereert één lijn ongeveer 24.000 inspectiebeelden per dag.

Voor de GPT-4V API varieerde de prijs per eenheid van $0,01 tot $0,03 per afbeelding, afhankelijk van resolutie en tokenverbruik:

• Dagelijkse kosten per lijn: $240$720
• Maandelijkse kosten per lijn: $7.200$21.600
• Jaarlijkse kosten per lijn: $86.400$259,200

Dit komt neer op slechts één lijn, terwijl onze klant 12 productielijnen exploiteerde. Een onbetaalbare uitgave voor fabrikanten.

Wat met zelf gehoste open source modellen?

Een enkele A100 GPU levert ongeveer 1 ¢ 2 QPS (queries per second).

Echter, rekening houdend met servers, IDC-ruimte en onderhoud, bedragen de jaarlijkse bedrijfskosten voor een A100-implementatie honderden duizenden yuan.

Een YOLO-implementatie daarentegen vereist slechts een edge computing box die enkele duizenden RMB kost om één volledige productielijn te ondersteunen.

De kostenverschillen zijn twee ordes groot.

Dit bleek onze meest frustrerende wegversperring.

De industriële inspectie vereist absoluut determinisme: identieke beelden moeten telkens dezelfde inspectieresultaten opleveren.anders wordt gestandaardiseerde kwaliteitscontrole en traceerbaarheid onmogelijk.

Multimodale grote modellen produceren echter probabilistische uitkomsten.

We voerden een gecontroleerde test uit: we voerden hetzelfde gebrekkige beeld met dezelfde prompt naar GPT-4V tien keer.

• 7 opdrachten met het etiket "defect"
• 2 runs gemarkeerd het vermoedelijk defect vereist handmatig onderzoek
• 1 uitvoering beweerde geen duidelijke gebreken te hebben

Alles van dezelfde input en prompt.

Een dergelijke willekeurigheid is fataal voor de kwaliteitscontrole in de fabriek.

Sommige voorstellen om de temperatuur op 0 te stellen voor de consistentie.Grote modellen genereren resultaten via bemonsteringsmechanismen, en kleine afwijkingen blijven bestaan voor randgevallen zelfs bij temperatuur = 0.

De prestaties van multimodale modellen zijn volledig afhankelijk van snel ontwerp, dat we uitgebreid hebben geoptimaliseerd om de nauwkeurigheid en stabiliteit te verhogen.

We ontdekten al snel dat prompts extreem gevoelig zijn voor veranderingen in de bewoordingen.

Drie oproepen met bijna identieke kernverzoeken leverden zeer verschillende inspectieresultaten:

Opdracht A: "Kijk of er oppervlaktefouten in deze afbeelding zijn".

Opdracht B: "De oppervlakte van het product zorgvuldig onderzoeken en schrammen, gaten, vreemde stoffen en andere gebreken identificeren".

Opdracht C: “Doe als een professionele kwaliteitsinspecteur.

Erger nog, voor product A afgestemde prompts verliezen hun werkzaamheid wanneer ze op product B worden toegepast, waardoor de promptlogic voor elke nieuwe productvariant volledig opnieuw moet worden uitgewerkt.

Hoe verschilt dit van de omscholing van YOLO-modellen voor nieuwe producten?

YOLO-training is gebaseerd op kwantificeerbare evaluatiemetrics om duidelijk aan te geven wanneer het model aan de normen voldoet; snelle afstemming is volledig afhankelijk van subjectieve trial and error,zonder duidelijke benchmark voor optimale prestaties.

Hallucinaties zijn een goed gedocumenteerde fout van grote taal- en multimodale modellen: het systeem verzint zelfverzekerd details die niet bestaan.

In de industriële inspectie komt dit tot uiting in drie typische storingen:

1. Het markeren van defectvrije producten als defect
2. Verkeerde positie van defect (bijv. het vinden van schrammen aan de linkerkant wanneer deze aan de rechterkant verschijnen)
3. Misclassificatie van gebreksoorten (bijv. het etiketteren van putten als schrammen)

Een voorbeeld van de ernst hiervan is een volledig onberispelijk productbeeld dat tot een zeer gedetailleerde gefabriceerde analyse leidde:In de rechter onderste hoek wordt een ondiepe schram van ongeveer 3 mm lang gedetecteerd, wordt een functionele effectbeoordeling aanbevolen".

Bij nauwkeurige visuele inspectie was er helemaal geen litteken of schram aanwezig in dat gebied.

Als zulke hallucinaties de massaproductie infiltreren, volgen er ernstige gevolgen:of de defecte goederen onopgemerkt doorlopen (gebroken inspectie) of de gekwalificeerde producten ten onrechte worden afgewezen (valse afwijzing).

Aangezien cloud-API's te lijden hebben onder hoge latentie en te hoge kosten, lijkt zelf gehoste implementatie een alternatief.

YOLOv8-m draait soepel, zelfs op een GTX 1080 met 8GB VRAM.

Het kan zelfs worden ingezet op edge computing hardware zoals NVIDIA Jetson-modules met een stroomverbruik van slechts tientallen watts.

De drempel van de rekenkracht verschilt met een hele orde van grootte.

Voor de meeste fabrieken is de installatie van een A100-server op de productievloer onpraktisch in termen van zowel kapitaaluitgaven als dagelijkse exploitatie en onderhoud.

Na al de bovenstaande valkuilen te hebben doorlopen, hebben we een stapje terug gedaan om na te denken over een fundamentele vraag:

Welke kernvaardigheden zijn voornamelijk vereist voor industriële visuele inspectie?

1. Deterministische uitkomst

   Identieke afbeeldingen moeten 100% consistente resultaten opleveren, wat de basis vormt voor gestandaardiseerde kwaliteitscontrole en volledige traceerbaarheid; probabilistische uitkomsten zijn onaanvaardbaar.

2. Ultra-lage latentie

   De reactie op millisecondeniveau. De tijd van de productielijn is stijf en de inspectie mag geen knelpunt worden.

   Een inferentietijd van 10 ms en een inferentietijd van 1000 ms vertegenwoordigen totaal verschillende operationele realiteiten.

3. Hoge doorvoer

   Hoeveel frames kunnen per seconde worden verwerkt en hoeveel werkstukken per dag worden geïnspecteerd?

   De berekeningskosten moeten onder controle blijven en de jaarlijkse uitgaven van honderdduizenden Amerikaanse dollar voor een enkele productielijn moeten worden vermeden.

4. Compatibiliteit met Edge-implementatie

   Fabrieksnetwerkomgevingen zijn complex; veel werkplaatsen hebben geen stabiele of toegankelijke internetverbindingen.

   Modellen moeten lokaal werken op edge-apparaten in plaats van op cloud-API's te vertrouwen.

5. Interpreteerbare inspectieresultaten

   Wanneer een defect wordt ontdekt, moet het systeem de inspecteurs duidelijk informeren over de exacte locatie en categorie van de defect.

   Idealiter moet het defectcoördinaten, oppervlakte- en betrouwbaarheidscores voor de integratie van het systeem naar beneden produceren.

6. Beheersbare onderhoudskosten

   Producten worden regelmatig verbeterd en inspectienormen worden herzien.

   De aanpassingskosten voor elke iteratie moeten beheersbaar zijn, zonder elke keer volledig te reconstrueren.

Een vergelijking van deze zes kernvereisten met de twee technische routes laat een duidelijk contrast zien:

• Determinisme: 100% consistente uitgangen met dezelfde input
• Laag latentie: 10-30 milliseconden inferentie
• Hoge doorvoer: tientallen tot meer dan honderd QPS per enkele GPU
• Edge-implementabel: Volledig compatibel met Jetson hardware en industriële pc's
• Interpreteerbare uitgangen: grensvakken, defectcategorieën en betrouwbaarheidswaarden
• Laag onderhoudsbedrag: Volwassen gereedschapsketen voor incrementele opleiding en overdrachtsleer

• Determinisme: inherent probabilistische output
• Latentiebeperking: inferentie op tweede schaal
• Doorvoerlimiet: enkelvoudige GPU ondersteunt enkelvoudige QPS
• Edge-implementatiebelemmering: vereist high-end GPU's van de klasse A100
• Interpreteerbaarheidskloof: Raw natuurlijke taal beschrijvingen vereisen secundaire parsing
• Onvoorspelbaar onderhoud: prompt engineering ontbreekt aan kwantificeerbare optimalisatiestandaarden

De conclusie is ondubbelzinnig:

In het huidige stadium van technische volwassenheid zijn multimodale grote modellen niet geschikt als primaire oplossing voor industriële visuele inspectie.

De sterke punten, zoals het 'zero-shot' redeneren, het diepgaande semantische begrip en de sterke generalisatie, leveren weinig praktische waarde op productielijnen; ondertussen zijn de kritieke tekortkomingen:de hoge kosten en de onstabiele productie zijn catastrofaal voor de industriële kwaliteitscontrole.

Dit betekent niet dat multimodale grote modellen volledig nutteloos zijn voor industriële visuele inspectie.

De sleutel ligt in het identificeren van hun juiste niche.

Na twee jaar veldtests hebben wij vier scenario's samengevat waarin multimodale grote modellen tastbare waarde creëren:

Annotatie vormt de grootste kostendrijver van traditionele inspectieprojecten.

Een industriële visie taak vereist meestal duizenden tot tienduizenden geannoteerde afbeeldingen.met de kosten voor etikettering voor 30%~50% van de totale investering van het project.

Multimodale grote modellen bieden de mogelijkheid om vooraf te labelen:

Het model genereert eerst voorafgaande annotatie-maskers en dozen uit ruwe afbeeldingen.

Onze veldtests tonen aan dat deze workflow de annotatie-efficiëntie met 3 ̊5 keer verhoogt, waardoor de gemiddelde etiketteringstijd per afbeelding wordt verkort van 30 seconden tot minder dan 10 seconden.

Het prestatielof van YOLO-modellen is eenvoudig: zij kunnen alleen de type fouten herkennen die in trainingsdatabestanden voorkomen.

Ongekende, zeldzame defecten veroorzaken een gemiste detectie door YOLO.

Hoewel dergelijke lange staart anomalieën zelden voorkomen, zijn ze vaak een teken van ernstige abnormale productieomstandigheden, die hogere operationele risico's met zich meebrengen.

Multimodale grote modellen fungeren als een back-upverificatielaag:

Wanneer YOLO een grensconfidentie score geeft (ongeveer 0,3 ̊0.7, de grijze zone van onzekerheid), wordt het bijbehorende beeld naar het multimodale model gestuurd voor secundair oordeel.

De generalisatiekracht van grote modellen dekt deze zeldzame anomalieën.

In het kader van dit mechanisme wordt slechts 5%~10% van alle afbeeldingen naar het multimodale model doorgestuurd, waardoor de totale kosten beheersbaar blijven en tegelijkertijd de dekking van lange staartdefecten drastisch wordt verbeterd.

YOLO geeft alleen gestructureerde gegevens: afmetingsvakken, defectcategorieën en betrouwbaarheidscores.

Hoewel deze ruwe metingen voldoende zijn voor backend industriële systemen, zijn ze voor menselijke inspecteurs niet intuïtief, die antwoorden nodig hebben op praktische vragen: hoe ernstig is het defect?Welke corrigerende maatregelen moeten worden genomen?

Multimodale grote modellen verrichten semantische rapportagegeneratie:

Invoer: defectencoördinaten, classificatietiketten, productmodel en parameters van het productieproces

Uitgang: Natuurtaalinspectieverslag, bv. op de linkerkant van het product wordt een kras van 5 mm gedetecteerd, waarschijnlijk veroorzaakt door slijtage door schimmel; onderhoud van schimmel wordt aanbevolen".

Deze taak is latentie-gevoelig (rapporten kunnen asynchroon worden gegenereerd) en kostenefficiënt (alleen uitgevoerd op niet-conforme NG-producten met een beperkt volume).

Klanten worden soms geconfronteerd met krappe deadlines: nieuwe producten die de volgende week in serie moeten worden geproduceerd, met slechts tientallen defecte monsterbeelden, onvoldoende voor een volledige YOLO-opleiding.

Een traditionele werkstroom kan de inspectie niet starten met zulke beperkte gegevens.

Multimodale grote modellen dienen als tijdelijke oplossing:

Zero-shot-mogelijkheid maakt onmiddellijke inzet mogelijk met aanvaardbare, maar onvolmaakte nauwkeurigheid, veel beter dan volledige handmatige inspectie.Gegevens kunnen tijdens de proefoperatie continu worden verzameld om een formeel YOLO-model voor langdurig gebruik te trainen zodra voldoende monsters zijn verzameld..

Op basis van de bovenstaande analyse hebben wij voor recente industriële projecten een hybride tweekanalarchitectuur aangenomen:

• Behandel meer dan 95% van alle inspectiewerkbelastingen
• Lokaal ingezet op edge hardware met 10 ∼ 20 ms inferentie latency
• Outputs gestructureerde grensvakken, gebreksoorten en betrouwbaarheidscores

• Verwerkt alleen afbeeldingen met lage betrouwbaarheid binnen de grijze zone
• Asynchrone oproep zonder verstoring van de doorvoer van de hoofdlijn
• Functies voor terugvalverificatie van long-tail-defecten, generatie van semantische rapporten en hulpmerkingen

Kernontwerpprincipes van dit hybride kader:

1. YOLO fungeert als het centrale primaire systeem; multimodale modellen dienen als hulpmiddelen
2. Data-shunting in plaats van seriële verwerking: multimodale modellen blijven buiten het kritische productiepad en hebben geen invloed op de latentie of de doorvoer van de hoofdlijn
3. Vertrouwensgebaseerde verkeerssplitsing: resultaten met een hoge betrouwbaarheid worden rechtstreeks doorgestuurd, terwijl dubbelzinnige monsters worden doorgestuurd voor secundaire multimodale validatie
4. Voorspelbare kostenbeheersing: slechts een klein deel van de afbeeldingen verbruikt multimodal modellencomputingbronnen

Hieronder vindt u een samengevat besluitboom voor teams die industriële visuele inspectiealgoritmen selecteren:

1. Latentievereiste
   • Vereiste inferentie < 100 ms → Kies YOLO
   • Tweede schaal latency is aanvaardbaar → Multimodale grote modellen zijn haalbaar
2. Doorvoervereiste
   • Meer dan 1 frame per seconde → Kies YOLO
   • Slechts honderden beelden worden dagelijks verwerkt → Multimodale grote modellen zijn haalbaar
3. Inzetomgeving
   • Benodigd voor offline implementatie → Kies YOLO
   • Stabiele toegewijde cloud computingbronnen beschikbaar → Multimodale grote modellen zijn haalbaar
4. Beschikbaarheid van gegevens
   • Duizenden geannoteerde samples → Kies YOLO
   • Slechts tientallen monsters met urgente lanceringstijd → Multimodale modellen als tijdelijke overgang aannemen
5. Begrotingsbeperkingen
   • Jaarlijkse operationele begroting van één lijn onder de 100.000 RMB → Kies YOLO
   • Ruim financiële budget → Hybride architectuur wordt aanbevolen

Voor de overgrote meerderheid van de industriële scenario's blijft YOLO de optimale keuze.

Multimodale grote modellen zijn alleen geschikt als primaire oplossingen onder specifieke omstandigheden: latentie-tolerantie, lage doorvoervraag, stabiele cloudcomputingondersteuning en extreme tekort aan gegevens.

De meest pragmatische oplossing in de industrie is de hybride architectuur:

• YOLO vervult kerninspectietaken in realtime
• Multimodale grote modellen leveren hulpmiddelen bij annotatie, fallbackverificatie en geautomatiseerd schrijven van rapporten
• Het gebruik van de respectieve sterke punten van beide technologieën, met behoud van kostencontrole

Om terug te keren op de eerste vraag: kunnen multimodale grote modellen YOLO vervangen?

Na twee jaar proef-en-fout, is onze conclusie duidelijk:

Dit is de verkeerde formulering van de vraag.

Het gaat niet om een concurrentie met nul-som A vervangt B, maar om een kwestie waarin elke technologie haar eigen ecologische niche inneemt.

Multimodale grote modellen bezitten formidabele mogelijkheden, maar hun belangrijkste sterke punten zijn:een diep semantisch begrip en een brede generalisatie bieden beperkte waarde voor de kernproductie-inspectieworkflows.

Ondertussen zijn hun inherente nadelen: hoge latentie, buitensporige exploitatiekosten en onstabiele output precies de niet-onderhandelbare pijnpunten die industriële productie niet kan tolereren.

De essentie van technische selectie is niet het achtervolgen van de nieuwste trendtechnologie, maar het afstemmen van de oplossing op de eisen van de echte wereld.

De YOLO-serie wordt al jarenlang op grote schaal gebruikt bij industriële visuele inspectie en haar status als de facto-standaard is goed gerechtvaardigd.

Multimodale grote modellen zijn krachtige aanvullende hulpmiddelen, maar zij zijn bij de huidige technische rijpheid geen gekwalificeerde volledige vervangers.

Misschien verandert het landschap over drie of vijf jaar: de snelheid van de inferentie zal drastisch verbeteren, de inzetkosten zullen sterk dalen en het determinisme-probleem zal volledig worden opgelost.

Alleen dan kunnen we de discussie over volledige vervanging opnieuw bespreken.