Βιομηχανική οπτική επιθεώρηση: Η γοητεία των πολυμορφών μεγάλων μοντέλων

Λίγο μετά την κυκλοφορία του GPT-4V στις αρχές του 2023, λάβαμε μια κλήση από έναν μακροπρόθεσμο πελάτη.

Υπηρέτησε ως τεχνικός διευθυντής κατασκευαστή οικιακών συσκευών. Πριν από δύο χρόνια, είχαμε αναπτύξει ένα σύστημα επιφανειακής επιθεώρησης βασισμένο στο YOLOv5 για το εργοστάσιό τους, το οποίο από τότε λειτουργούσε σταθερά.

Έθεσε μια ερώτηση που προκαλούσε σκέψη μέσω τηλεφώνου:

"Έχω δει ότι το GPT-4V μπορεί να ερμηνεύσει όλα τα είδη εικόνων και να αναγνωρίσει σχεδόν τα πάντα. Μπορούμε να το υιοθετήσουμε απευθείας για έλεγχο ποιότητας; Αυτό θα εξαλείφει εντελώς την ανάγκη για σήμανση δεδομένων;"

Κράτησα μια ευθεία απάντηση τότε.

Για να λέμε την αλήθεια, μας συνεπήρε και οι ίδιοι η ιδέα.

Οι επιδείξεις πολυτροπικών μεγάλων μοντέλων είναι αναμφισβήτητα εντυπωσιακές. Τροφοδοτήστε το μοντέλο με οποιαδήποτε τυχαία εικόνα και μπορεί να περιγράψει τα περιεχόμενα, να εντοπίσει ελαττώματα και να ταξινομήσει τους τύπους σφαλμάτων. Δεν απαιτείται εκπαίδευση ή επισήμανση. προσφέρει απόδοση μηδενικής βολής από το κουτί.

Εάν αυτή η δυνατότητα μεταφραζόταν απρόσκοπτα στα εργοστάσια, ολόκληρο το εγχειρίδιο κανόνων για βιομηχανική οπτική επιθεώρηση θα ξαναγραφτεί.

Περάσαμε σχεδόν δύο χρόνια δοκιμάζοντας διαφορετικές πολυτροπικές λύσεις μεγάλων μοντέλων σε πολλά έργα.

Το συμπέρασμά μας είναι σαφές: όσο δελεαστική κι αν φαίνεται η τεχνολογία, η βιομηχανική εφαρμογή του πραγματικού κόσμου συνοδεύεται από σκληρούς περιορισμούς.

Αυτό το άρθρο καταγράφει όλες τις παγίδες που συναντήσαμε αυτά τα δύο χρόνια.

Πριν καταδυθείτε σε πολυτροπικά μεγάλα μοντέλα, είναι σημαντικό να διαμορφώσετε τη βασική γραμμή του κλάδου:

Η κυρίαρχη λύση για τη σημερινή βιομηχανική οπτική επιθεώρηση βασίζεται σε μοντέλα ανίχνευσης αντικειμένων και τμηματοποίησης που αντιπροσωπεύονται από τη σειρά YOLO.

Αυτή δεν είναι σχεδόν μια νέα τάση. Ξεκινώντας από το YOLOv3, μέσω των ευρέως διαδεδομένων YOLOv8, YOLOv9 και YOLOv10, η οικογένεια YOLO έχει εφαρμοστεί σε γραμμές βιομηχανικής παραγωγής εδώ και χρόνια, διαθέτοντας μια πλήρως ώριμη τεχνική στοίβα.

Πρώτον, εξαιρετικά γρήγορη ταχύτητα συμπερασμάτων.

Εξοπλισμένο σε τυπικά κιβώτια υπολογιστών άκρων σε συνδυασμό με βιομηχανικές κάμερες, το YOLOv8 ολοκληρώνει το συμπέρασμα για ένα καρέ μέσα σε 10 έως 30 χιλιοστά του δευτερολέπτου, ταιριάζοντας με τον χρόνο takt των περισσότερων γραμμών παραγωγής.

Δεύτερον, επαρκής ακρίβεια ανίχνευσης.

Με επαρκή επισημασμένα σύνολα δεδομένων, η σειρά YOLO επιτυγχάνει εξαιρετική ακρίβεια για κατηγορίες κοινών ελαττωμάτων, επιτυγχάνοντας εύκολα ένα mAP άνω του 90%.

Τρίτον, ώριμο οικοσύστημα ανάπτυξης.

Οι έτοιμες αλυσίδες εργαλείων υποστηρίζουν πολλαπλά πλαίσια ανάπτυξης, συμπεριλαμβανομένων των ONNX, TensorRT και OpenVINO. Η πλήρης ροή εργασίας από την εκπαίδευση μοντέλων έως την επιτόπια ανάπτυξη έχει επικυρωθεί από αμέτρητα βιομηχανικά έργα.

Τέταρτον, ολοκληρωμένο οικοσύστημα ανοιχτού κώδικα.

Η ενεργή κοινότητα ανοιχτού κώδικα παρέχει προσβάσιμες επιδιορθώσεις για τα περισσότερα τεχνικά εμπόδια, με άφθονα προεκπαιδευμένα βάρη, κιτ αύξησης δεδομένων και εργαλεία επισήμανσης άμεσα διαθέσιμα.

Επομένως, η σειρά YOLO είναι πρακτικά η προεπιλεγμένη επιλογή για έργα βιομηχανικής οπτικής επιθεώρησης που κυκλοφόρησαν το 2024.

Δεν υπάρχει λόγος να συζητήσουμε εάν πρέπει να υιοθετηθεί η βαθιά μάθηση – αυτό το ζήτημα επιλύθηκε πριν από μια δεκαετία.

Τώρα τίθεται το νέο βασικό ερώτημα: Με την εμφάνιση των πολυτροπικών μεγάλων μοντέλων, το YOLO εξακολουθεί να παραμένει η βέλτιστη λύση;

Το 2023 υπήρξε μάρτυρας ενός εκρηκτικού κύματος εκδόσεων πολυτροπικών μεγάλων μοντέλων.

Τα μοντέλα όπως τα GPT-4V, Gemini και Claude 3 προσφέρουν ισχυρές γενικές δυνατότητες κατανόησης εικόνας.

Παραδοσιακή ροή εργασίας: Για να επιθεωρήσετε έναν συγκεκριμένο τύπο ελαττώματος, πρέπει πρώτα να συλλέξετε, να επισημάνετε ετικέτες και να εκπαιδεύσετε σε εικόνες αυτού του ελαττώματος. Χωρίς δεδομένα σημαίνει κανένα χρησιμοποιήσιμο μοντέλο.

Πολυτροπικά μεγάλα μοντέλα: Απλώς περιγράψτε την απαίτησή σας σε φυσική γλώσσα, όπως "Ελέγξτε αν υπάρχουν γρατσουνιές σε αυτήν την εικόνα" και το μοντέλο θα επιστρέψει άμεσα αποτελέσματα. Δεν απαιτείται εκπαίδευση ή επισήμανση.

Τι σημαίνει αυτό; Το κόστος ψυχρής εκκίνησης πέφτει κοντά στο μηδέν.

Κατά την κυκλοφορία νέων προϊόντων, δεν χρειάζεται να αφιερώσετε δύο εβδομάδες για τη συλλογή δεδομένων, την επισήμανση και την εκπαίδευση μοντέλων. Μπορείτε να χρησιμοποιήσετε το μοντέλο μόνο με μερικές γραμμές προτροπών.

Τα παραδοσιακά μοντέλα παράγουν μόνο οριοθετημένα πλαίσια και βαθμολογίες εμπιστοσύνης, π.χ. "Υπάρχει ένα ελάττωμα σε αυτό το πλαίσιο με εμπιστοσύνη 0,87".

Τα πολυτροπικά μεγάλα μοντέλα δημιουργούν περιγραφική φυσική γλώσσα: "Εμφανίζεται μια γρατσουνιά περίπου 2 εκατοστών στην επάνω αριστερή γωνία της εικόνας, που πιθανότατα σχηματίστηκε κατά τη μεταφορά. Συνιστάται η βελτιστοποίηση της διαδικασίας συσκευασίας."

Τι σημαίνει αυτό; Τα αποτελέσματα των επιθεωρήσεων μπορούν να μετατραπούν απευθείας σε επίσημες εκθέσεις επιθεώρησης ποιότητας.

Τα παραδοσιακά μοντέλα μπορούν να αναγνωρίσουν μόνο τύπους ελαττωμάτων που παρατηρούνται κατά τη διάρκεια της εκπαίδευσης. αποτυγχάνουν να εντοπίσουν ολοκαίνουργια αόρατα ελαττώματα.

Θεωρητικά, τα πολυτροπικά μεγάλα μοντέλα έχουν επεξεργαστεί τεράστιες εικόνες που προέρχονται από το Διαδίκτυο, επιτρέποντάς τους να αναγνωρίζουν δυνητικά κάθε είδους σπάνια και ακανόνιστα ελαττώματα.

Τι σημαίνει αυτό; Η κάλυψη για ελαττώματα μακριάς ουράς και μη φυσιολογικές ακμές έχει βελτιωθεί δραστικά.

Οι παραδοσιακές λύσεις ενσωματώνουν σταθερούς κανόνες επιθεώρησης στο μοντέλο. Η αναθεώρηση των κριτηρίων επιθεώρησης απαιτεί πλήρη επανεκπαίδευση.

Τα πολυτροπικά μεγάλα μοντέλα υποστηρίζουν δυναμική προσαρμογή των προτύπων μέσω προτροπών. Για παράδειγμα, μπορείτε να ορίσετε το όριο ως "γρατσουνιές πάνω από 1 cm μετρούν ως NG" τη μια μέρα και να το αλλάξετε σε "0,5cm" την επόμενη χωρίς να τροποποιήσετε το υποκείμενο μοντέλο.

Τι σημαίνει αυτό; Τα πρότυπα επιθεώρησης συντονισμού γίνονται εξαιρετικά ευέλικτα.

Διαβάζοντας όλα αυτά τα πλεονεκτήματα, μπορεί επίσης να μπείτε στον πειρασμό — όπως ακριβώς ήμασταν τότε. Γι' αυτό αποφασίσαμε να αναπτύξουμε πολυτροπικά μεγάλα μοντέλα σε πολλά πραγματικά έργα, για να αντιμετωπίσουμε στη συνέχεια μια σειρά από δαπανηρές παγίδες.

Το πιλοτικό μας έργο επικεντρώθηκε στην επιθεώρηση εμφάνισης περιβλημάτων κινητών τηλεφώνων.

Η γραμμή παραγωγής επεξεργάζεται ένα τεμάχιο εργασίας κάθε 3 δευτερόλεπτα, πράγμα που σημαίνει ότι η συνολική καθυστέρηση επιθεώρησης πρέπει να παραμείνει κάτω από 2 δευτερόλεπτα για να κρατήσει 1 δευτερόλεπτο για ρομποτική ταξινόμηση.

Δοκιμάσαμε τη ροή εργασίας GPT-4V API:

1. Ανεβάστε την εικόνα και πληκτρολογήστε την προτροπή
2. Περιμένετε την απάντηση του διακομιστή
3. Λάβετε αποτελέσματα επιθεώρησης

Η μέση καθυστέρηση έφτασε τα 4–6 δευτερόλεπτα και θα μπορούσε να ξεπεράσει τα 10 δευτερόλεπτα εν μέσω διακυμάνσεων του δικτύου — πολύ αργή για τη γραμμή συναρμολόγησης.

Αντ' αυτού, μπορείτε να προτείνετε πολυτροπικά μοντέλα ανοιχτού κώδικα που φιλοξενούνται μόνοι σας, όπως το LLaVA και το Qwen-VL. Τα δοκιμάσαμε και αυτά. Η εκτέλεση του LLaVA-13B σε μια GPU A100 αποδίδει λανθάνουσα κατάσταση συμπερασμάτων μίας εικόνας περίπου 800 ms έως 1,2 δευτερόλεπτα.

Ενώ είναι ταχύτερο από τα API cloud, παραμένει δεκάδες φορές πιο αργό από το YOLO.

Ακόμα κι αν ανεχτούμε την καθυστέρηση για χάρη του επιχειρήματος, ο υπολογισμός του κόστους λέει μια σκληρή ιστορία.

Πόσες εικόνες επεξεργάζεται καθημερινά μια γραμμή παραγωγής;

Υποθέτοντας ένα τεμάχιο εργασίας κάθε 3 δευτερόλεπτα και 20 ώρες καθημερινής λειτουργίας, μια γραμμή δημιουργεί περίπου 24.000 εικόνες επιθεώρησης την ημέρα.

Για το GPT-4V API, η τιμή μονάδας κυμαινόταν από 0,01 $ έως 0,03 $ ανά εικόνα, ανάλογα με την ανάλυση και την κατανάλωση διακριτικού:

• Ημερήσιο κόστος ανά γραμμή: $240–$720
• Μηνιαίο κόστος ανά γραμμή: 7.200$–21.600$
• Ετήσιο κόστος ανά γραμμή: $86.400–$259.200

Αυτό αντιστοιχεί μόνο σε μία γραμμή, ενώ ο πελάτης μας διαχειριζόταν 12 γραμμές παραγωγής — μια δαπάνη δυσβάσταχτη για τους κατασκευαστές.

Τι γίνεται με τα αυτο-φιλοξενούμενα μοντέλα ανοιχτού κώδικα;

Μια μοναδική GPU A100 αποδίδει περίπου 1–2 QPS (ερωτήματα ανά δευτερόλεπτο). Μια μεμονωμένη γραμμή κορυφώνεται σε περίπου 0,3 QPS, φαινομενικά διαχειρίσιμη με μία κάρτα για πολλές γραμμές.

Ωστόσο, λαμβάνοντας υπόψη τους διακομιστές, τον χώρο IDC και τη συντήρηση, το ετήσιο λειτουργικό κόστος για μια ανάπτυξη A100 ανέρχεται σε εκατοντάδες χιλιάδες RMB.

Αντίθετα, μια εγκατάσταση YOLO απαιτεί μόνο ένα κουτί υπολογιστών άκρων που κοστίζει μερικές χιλιάδες RMB για την υποστήριξη μιας πλήρους γραμμής παραγωγής.

Το χάσμα κόστους εκτείνεται σε δύο τάξεις μεγέθους.

Αυτό αποδείχθηκε το πιο απογοητευτικό εμπόδιο μας.

Η βιομηχανική επιθεώρηση απαιτεί απόλυτο ντετερμινισμό: πανομοιότυπες εικόνες πρέπει να αποδίδουν τα ίδια αποτελέσματα επιθεώρησης κάθε φορά, διαφορετικά ο τυποποιημένος ποιοτικός έλεγχος και η ιχνηλασιμότητα καθίστανται αδύνατες.

Τα πολυτροπικά μεγάλα μοντέλα, ωστόσο, παράγουν πιθανολογικά αποτελέσματα.

Πραγματοποιήσαμε μια ελεγχόμενη δοκιμή: τροφοδοτώντας την ίδια ελαττωματική εικόνα με πανομοιότυπη προτροπή στο GPT-4V δέκα ξεχωριστές φορές. Τα αποτελέσματα διέφεραν δραστικά:

• 7 σειρές έδειξαν ότι το προϊόν είναι ελαττωματικό
• 2 σειρές επισήμαναν ότι ήταν ύποπτο ελαττωματικό που απαιτούσε μη αυτόματο έλεγχο
• 1 εκτέλεση ισχυρίστηκε ότι δεν υπήρχαν εμφανή ελαττώματα

Όλα από την ίδια ακριβώς είσοδο και προτροπή.

Μια τέτοια τυχαιότητα είναι μοιραία για τον ποιοτικό έλεγχο του εργοστασίου. Οι επιθεωρητές δεν μπορούν να ενεργήσουν με "70% πιθανότητα ελαττώματος" - κάθε τεμάχιο εργασίας χρειάζεται μια οριστική ετυμηγορία OK ή NG.

Ορισμένοι προτείνουν τη ρύθμιση της θερμοκρασίας στο 0 για συνέπεια. Δοκιμάσαμε αυτήν τη μέθοδο, η οποία βελτίωσε τη σταθερότητα, αλλά απέτυχε να εγγυηθεί 100% πανομοιότυπες εξόδους. Μεγάλα μοντέλα παράγουν αποτελέσματα μέσω μηχανισμών δειγματοληψίας και μικρές αποκλίσεις παραμένουν για ακμές ακόμη και με θερμοκρασία = 0.

Η απόδοση του πολυτροπικού μοντέλου εξαρτάται εξ ολοκλήρου από την έγκαιρη σχεδίαση, την οποία ξοδέψαμε εκτεταμένο ανθρώπινο δυναμικό για τη βελτιστοποίηση για την ενίσχυση της ακρίβειας και της σταθερότητας.

Σύντομα ανακαλύψαμε ότι τα μηνύματα είναι εξαιρετικά ευαίσθητα στις αλλαγές διατύπωσης.

Τρεις προτροπές με σχεδόν πανομοιότυπα βασικά αιτήματα παρείχαν πολύ διαφορετικά αποτελέσματα επιθεώρησης:

Προτροπή Α: "Ελέγξτε εάν υπάρχουν ελαττώματα επιφάνειας σε αυτήν την εικόνα."

Προτροπή Β: "Εξετάστε προσεκτικά την επιφάνεια του προϊόντος και εντοπίστε γρατσουνιές, κοιλώματα, ξένα σώματα και άλλα ελαττώματα."

Προτροπή Γ: "Λειτουργήστε ως επαγγελματίας επιθεωρητής ποιότητας. Εντοπίστε και ταξινομήστε τυχόν ελαττώματα εμφάνισης στο προϊόν σε αυτήν την εικόνα."

Ακόμη χειρότερα, οι προτροπές που έχουν βελτιωθεί για το προϊόν Α χάνουν την αποτελεσματικότητά τους όταν εφαρμόζονται στο προϊόν Β, απαιτώντας πλήρη επανεξέταση της λογικής άμεσης λειτουργίας για κάθε νέα παραλλαγή προϊόντος.

Πώς διαφέρει αυτό από την επανεκπαίδευση μοντέλων YOLO για νέα προϊόντα;

Η εκπαίδευση YOLO βασίζεται σε μετρήσιμες μετρήσεις αξιολόγησης για να σηματοδοτήσει ξεκάθαρα πότε το μοντέλο πληροί τα πρότυπα. Ο γρήγορος συντονισμός εξαρτάται εξ ολοκλήρου από υποκειμενικές δοκιμές και σφάλματα, χωρίς σαφές σημείο αναφοράς για βέλτιστη απόδοση.

Η ψευδαίσθηση είναι ένα καλά τεκμηριωμένο ελάττωμα των μεγάλων γλωσσικών και πολυτροπικών μοντέλων: το σύστημα επινοεί με σιγουριά λεπτομέρειες που δεν υπάρχουν.

Στη βιομηχανική επιθεώρηση, αυτό εκδηλώνεται ως τρεις τυπικές αστοχίες:

1. Επισήμανση προϊόντων χωρίς ελαττώματα ως ελαττωματικά
2. Εσφαλμένη δήλωση θέσεων ελαττωμάτων (π.χ. εντοπισμός γρατσουνιών στα αριστερά όταν εμφανίζονται στα δεξιά)
3. Εσφαλμένη ταξινόμηση τύπων ελαττωμάτων (π.χ. επισήμανση λακκών ως γρατσουνιές)

Μια περίπτωση δοκιμής αποτελεί παράδειγμα της σοβαρότητας: μια εντελώς άψογη εικόνα προϊόντος πυροδότησε μια εξαιρετικά λεπτομερή κατασκευασμένη ανάλυση: «Εντοπίζεται μια ρηχή γρατσουνιά μήκους περίπου 3 χιλιοστών στην κάτω δεξιά γωνία, συνιστάται αξιολόγηση λειτουργικών επιπτώσεων».

Μετά από στενή οπτική εξέταση, δεν υπήρχε κανένα σημάδι ή γρατσουνιά σε αυτήν την περιοχή.

Εάν τέτοιου είδους παραισθήσεις διεισδύσουν στις γραμμές μαζικής παραγωγής, ακολουθούν σοβαρές συνέπειες: είτε τα ελαττωματικά προϊόντα περνούν από μη ανιχνευμένα (χαμένη επιθεώρηση) είτε τα πιστοποιημένα προϊόντα απορρίπτονται λανθασμένα (ψευδής απόρριψη).

Καθώς τα API του cloud υποφέρουν από υψηλή καθυστέρηση και υπερβολικό κόστος, η αυτο-φιλοξενούμενη ανάπτυξη φαίνεται σαν μια εναλλακτική λύση. Αξιολογήσαμε τις απαιτήσεις υλικού και λογισμικού για τα κύρια πολυτροπικά μοντέλα ανοιχτού κώδικα:

Το YOLOv8-m λειτουργεί ομαλά ακόμη και σε GTX 1080 με 8 GB VRAM.

Μπορεί να αναπτυχθεί ακόμη και σε υπολογιστικό υλικό αιχμής, όπως μονάδες NVIDIA Jetson με κατανάλωση ενέργειας μόλις δεκάδων watt.

Το κατώφλι υπολογιστικών πόρων διαφέρει κατά μια ολόκληρη τάξη μεγέθους.

Για τα περισσότερα εργοστάσια, η εγκατάσταση ενός διακομιστή A100 στον όροφο παραγωγής δεν είναι πρακτική τόσο από άποψη κεφαλαιουχικών δαπανών όσο και από άποψη καθημερινής λειτουργίας και συντήρησης.

Αφού σκοντάψαμε σε όλες τις παραπάνω παγίδες, επιστρέψαμε για να σκεφτούμε ένα θεμελιώδες ερώτημα:

Ποιες βασικές δυνατότητες απαιτούνται ουσιαστικά από τη βιομηχανική οπτική επιθεώρηση;

1. Ντετερμινιστική Έξοδος

   Οι ίδιες εικόνες πρέπει να αποδίδουν 100% συνεπή αποτελέσματα. Αυτό αποτελεί τη βάση του τυποποιημένου ποιοτικού ελέγχου και της πλήρους ιχνηλασιμότητας. Τα πιθανολογικά αποτελέσματα είναι απαράδεκτα.

2. Εξαιρετικά χαμηλή καθυστέρηση

   Απόκριση σε επίπεδο χιλιοστού του δευτερολέπτου. Ο χρόνος takt γραμμής παραγωγής είναι άκαμπτος και η επιθεώρηση δεν μπορεί να γίνει εμπόδιο.

   Ένας χρόνος συμπερασμάτων 10 ms και ένας χρόνος συμπερασμάτων 1.000 ms αντιπροσωπεύουν εντελώς διαφορετικές επιχειρησιακές πραγματικότητες.

3. Υψηλή απόδοση

   Πόσα καρέ μπορούν να υποβληθούν σε επεξεργασία ανά δευτερόλεπτο; Πόσα τεμάχια εργασίας μπορούν να επιθεωρηθούν καθημερινά;

   Το υπολογιστικό κόστος πρέπει να παραμείνει ελεγχόμενο, αποφεύγοντας ετήσιες δαπάνες εκατοντάδων χιλιάδων δολαρίων ΗΠΑ για μία μόνο γραμμή παραγωγής.

4. Συμβατότητα ανάπτυξης Edge

   Τα εργοστασιακά δικτυακά περιβάλλοντα είναι πολύπλοκα. Πολλά εργαστήρια δεν διαθέτουν σταθερές ή προσβάσιμες συνδέσεις στο Διαδίκτυο.

   Τα μοντέλα πρέπει να λειτουργούν τοπικά σε συσκευές αιχμής αντί να βασίζονται σε API cloud.

5. Ερμηνεύσιμα Αποτελέσματα Επιθεώρησης

   Όταν εντοπιστεί ένα ελάττωμα, το σύστημα πρέπει να ενημερώνει με σαφήνεια τους επιθεωρητές για την ακριβή τοποθεσία και την κατηγορία του.

   Στην ιδανική περίπτωση, θα πρέπει να εξάγει συντεταγμένες ελαττωμάτων, εμβαδόν και βαθμολογίες εμπιστοσύνης για την ενοποίηση του συστήματος κατάντη.

6. Ελεγχόμενα έξοδα συντήρησης

   Τα προϊόντα αναβαθμίζονται και τα πρότυπα επιθεώρησης αναθεωρούνται σε τακτική βάση.

   Το κόστος προσαρμογής για κάθε επανάληψη πρέπει να είναι διαχειρίσιμο, χωρίς πλήρη ανακατασκευή κάθε φορά.

Η αντιστοίχιση αυτών των έξι βασικών απαιτήσεων σε σχέση με τις δύο τεχνικές διαδρομές αποκαλύπτει μια σαφή αντίθεση:

• Ντετερμινισμός: 100% συνεπείς εξόδους με την ίδια είσοδο
• Χαμηλή καθυστέρηση: συμπέρασμα 10–30 χιλιοστών του δευτερολέπτου
• Υψηλή απόδοση: Δεκάδες έως πάνω από εκατό QPS ανά μεμονωμένη GPU
• Edge-deployable: Πλήρως συμβατό με υλικό Jetson και βιομηχανικούς υπολογιστές
• Ερμηνεύσιμα αποτελέσματα: Οριοθετημένα πλαίσια, κατηγορίες ελαττωμάτων και τιμές εμπιστοσύνης
• Χαμηλό κόστος συντήρησης: Ώριμες αλυσίδες εργαλείων για σταδιακή εκπαίδευση και μεταφορά μάθησης

• Ντετερμινισμός: Εγγενώς πιθανολογικό αποτέλεσμα
• Περιορισμός καθυστέρησης: Συμπέρασμα δεύτερης κλίμακας
• Όριο απόδοσης: Η μεμονωμένη GPU υποστηρίζει μόνο μονοψήφιο QPS
• Εμπόδιο ανάπτυξης άκρων: Απαιτεί GPU υψηλής τεχνολογίας κατηγορίας A100
• Κενό ερμηνείας: Οι ακατέργαστες περιγραφές φυσικής γλώσσας απαιτούν δευτερεύουσα ανάλυση
• Απρόβλεπτη συντήρηση: Η άμεση μηχανική στερείται ποσοτικοποιήσιμων προτύπων βελτιστοποίησης

Μπορούν λοιπόν τα πολυτροπικά μεγάλα μοντέλα να αντικαταστήσουν το YOLO; Το συμπέρασμα είναι αδιαμφισβήτητο:

Στο τρέχον στάδιο τεχνικής ωριμότητας, τα πολυτροπικά μεγάλα μοντέλα είναι ακατάλληλα ως η κύρια λύση για βιομηχανική οπτική επιθεώρηση.

Τα δυνατά του σημεία, συμπεριλαμβανομένης της μηδενικής συλλογιστικής, της βαθιάς σημασιολογικής κατανόησης και της ισχυρής γενίκευσης προσφέρουν μικρή πρακτική αξία στις γραμμές παραγωγής. Εν τω μεταξύ, τα κρίσιμα ελαττώματα του — υψηλή καθυστέρηση, απαγορευτικό κόστος και ασταθείς εκροές — είναι καταστροφικά για τον βιομηχανικό ποιοτικό έλεγχο.

Αυτό δεν σημαίνει ότι τα πολυτροπικά μεγάλα μοντέλα είναι εντελώς άχρηστα για βιομηχανική οπτική επιθεώρηση.

Το κλειδί βρίσκεται στον εντοπισμό της κατάλληλης θέσης τους.

Μετά από δύο χρόνια δοκιμών πεδίου, συνοψίσαμε τέσσερα σενάρια όπου τα πολυτροπικά μεγάλα μοντέλα δημιουργούν απτή αξία:

Ο σχολιασμός αποτελεί τον μεγαλύτερο παράγοντα κόστους των παραδοσιακών έργων επιθεώρησης.

Μια εργασία βιομηχανικής όρασης συνήθως απαιτεί χιλιάδες έως δεκάδες χιλιάδες σχολιασμένες εικόνες. Η εξωτερική ανάθεση υπηρεσιών σχολιασμού κοστίζει αρκετά δέκατα έως αρκετά δολάρια ΗΠΑ ανά καρέ, με τα έξοδα επισήμανσης να αντιστοιχούν στο 30%-50% της συνολικής επένδυσης του έργου.

Τα πολυτροπικά μεγάλα μοντέλα παρέχουν δυνατότητα προεπισήμανσης:

Το μοντέλο δημιουργεί προκαταρκτικές μάσκες σχολιασμού και κουτιά από ακατέργαστες εικόνες. Το ανθρώπινο προσωπικό χρειάζεται μόνο να επανεξετάσει και να αναθεωρήσει τα αποτελέσματα αντί να επισημαίνει από την αρχή.

Οι δοκιμές πεδίου μας αποδεικνύουν ότι αυτή η ροή εργασίας ενισχύει την αποτελεσματικότητα των σχολιασμών κατά 3–5 φορές, μειώνοντας τον μέσο χρόνο επισήμανσης ανά εικόνα από 30 δευτερόλεπτα σε λιγότερο από 10 δευτερόλεπτα.

Το ανώτατο όριο απόδοσης των μοντέλων YOLO είναι απλό: μπορούν να αναγνωρίσουν μόνο τύπους ελαττωμάτων που εμφανίζονται στα σύνολα δεδομένων εκπαίδευσης.

Πρωτόγνωρα σπάνια ελαττώματα θα ενεργοποιήσουν τη μη ανίχνευση από το YOLO.

Παρόλο που τέτοιες ανωμαλίες μακράς ουράς συμβαίνουν σπάνια, συχνά σηματοδοτούν σοβαρές μη φυσιολογικές συνθήκες κατασκευής, εγκυμονώντας υψηλότερους λειτουργικούς κινδύνους.

Τα πολυτροπικά μεγάλα μοντέλα λειτουργούν ως εφεδρικό επίπεδο επαλήθευσης:

Όταν το YOLO εξάγει μια οριακή βαθμολογία εμπιστοσύνης (περίπου 0,3–0,7, η γκρίζα ζώνη αβεβαιότητας), η αντίστοιχη εικόνα αποστέλλεται στο πολυτροπικό μοντέλο για δευτερεύουσα κρίση.

Η ισχύς μηδενικής γενίκευσης των μεγάλων μοντέλων καλύπτει αυτές τις αφανείς σπάνιες ανωμαλίες.

Σύμφωνα με αυτόν τον μηχανισμό, μόνο το 5%–10% όλων των εικόνων προωθούνται στο πολυτροπικό μοντέλο, διατηρώντας το συνολικό κόστος διαχειρίσιμο ενώ βελτιώνεται δραστικά η κάλυψη των ελαττωμάτων της μακριάς ουράς.

Το YOLO εξάγει μόνο δομημένα δεδομένα: οριοθετημένα πλαίσια, κατηγορίες ελαττωμάτων και βαθμολογίες εμπιστοσύνης.

Αν και επαρκούν για βιομηχανικά συστήματα υποστήριξης, αυτές οι ακατέργαστες μετρήσεις δεν είναι διαισθητικές για τους ανθρώπινους επιθεωρητές, οι οποίοι χρειάζονται απαντήσεις σε πρακτικά ερωτήματα: Πόσο σοβαρό είναι το ελάττωμα; Τι το προκάλεσε; Ποια διορθωτικά μέτρα πρέπει να ληφθούν;

Τα πολυτροπικά μεγάλα μοντέλα εκτελούν δημιουργία σημασιολογικής αναφοράς:

Εισαγωγή: Συντεταγμένες ελαττωμάτων, ετικέτες ταξινόμησης, μοντέλο προϊόντος και παράμετροι διαδικασίας κατασκευής

Έξοδος: Έκθεση επιθεώρησης φυσικής γλώσσας, π.χ. «Εντοπίζεται μια γρατσουνιά 5 χιλιοστών στην αριστερή άκρη του προϊόντος, που πιθανότατα προκαλείται από τριβή του καλουπιού· συνιστάται η συντήρηση του καλουπιού».

Αυτή η εργασία δεν είναι ευαίσθητη σε λανθάνουσα κατάσταση (οι αναφορές μπορούν να δημιουργηθούν ασύγχρονα) και οικονομικά αποδοτική (εκτελείται μόνο σε μη συμμορφούμενα προϊόντα NG με περιορισμένο όγκο).

Οι πελάτες περιστασιακά αντιμετωπίζουν αυστηρές προθεσμίες: νέα προϊόντα προγραμματίζονται για μαζική παραγωγή την επόμενη εβδομάδα με μόνο δεκάδες ελαττωματικές εικόνες δειγμάτων, ανεπαρκείς για πλήρη εκπαίδευση YOLO.

Η παραδοσιακή ροή εργασίας δεν μπορεί να ξεκινήσει την επιθεώρηση κάτω από τέτοια περιορισμένα δεδομένα.

Τα πολυτροπικά μεγάλα μοντέλα χρησιμεύουν ως μια μεταβατική προσωρινή λύση:

Η δυνατότητα μηδενικής βολής επιτρέπει την άμεση ανάπτυξη με αποδεκτή αλλά ατελή ακρίβεια, ξεπερνώντας κατά πολύ την πλήρη χειροκίνητη επιθεώρηση. Τα δεδομένα μπορούν να συλλέγονται συνεχώς κατά τη διάρκεια της πιλοτικής λειτουργίας για την εκπαίδευση ενός επίσημου μοντέλου YOLO για μακροχρόνια χρήση μόλις συγκεντρωθούν επαρκή δείγματα.

Με βάση την παραπάνω ανάλυση, έχουμε υιοθετήσει μια υβριδική αρχιτεκτονική διπλού καναλιού για πρόσφατα βιομηχανικά έργα:

• Διαχειρίζεται πάνω από το 95% όλων των φόρτων εργασίας επιθεώρησης
• Αναπτύχθηκε τοπικά σε υλικό άκρων με καθυστέρηση συμπερασμάτων 10–20 ms
• Εξάγει δομημένα οριοθετημένα πλαίσια, τύπους ελαττωμάτων και βαθμολογίες εμπιστοσύνης

• Επεξεργάζεται μόνο οριακές εικόνες χαμηλής εμπιστοσύνης εντός της γκρίζας ζώνης
• Κλήση ασύγχρονης χωρίς διακοπή της παροχής της κύριας γραμμής
• Λειτουργίες για επαναληπτική επαλήθευση ελαττωμάτων μακράς ουράς, δημιουργία σημασιολογικής αναφοράς και βοηθητική επισήμανση

Βασικές αρχές σχεδιασμού αυτού του υβριδικού πλαισίου:

1. Το YOLO λειτουργεί ως το βασικό πρωτεύον σύστημα. Τα πολυτροπικά μοντέλα χρησιμεύουν ως βοηθητικά εργαλεία — αποφύγετε την αντιστροφή των ρόλων τους
2. Μετατόπιση δεδομένων αντί για σειριακή επεξεργασία: τα πολυτροπικά μοντέλα παραμένουν εκτός της κρίσιμης διαδρομής παραγωγής και δεν επηρεάζουν την καθυστέρηση ή την απόδοση της κύριας γραμμής
3. Διαχωρισμός επισκεψιμότητας βάσει εμπιστοσύνης: αποτελέσματα υψηλής εμπιστοσύνης περνούν απευθείας, ενώ διφορούμενα δείγματα προωθούνται για δευτερεύουσα πολυτροπική επικύρωση
4. Προβλέψιμος έλεγχος κόστους: μόνο ένα μικρό κλάσμα εικόνων καταναλώνει υπολογιστικούς πόρους πολυτροπικών μοντέλων

Ακολουθεί ένα συνοπτικό δέντρο αποφάσεων για ομάδες που επιλέγουν αλγόριθμους βιομηχανικής οπτικής επιθεώρησης:

1. Απαίτηση καθυστέρησης
   • Απαιτούμενο συμπέρασμα <100ms → Επιλέξτε YOLO
   • Η καθυστέρηση δεύτερης κλίμακας είναι αποδεκτή → Τα πολυτροπικά μεγάλα μοντέλα είναι βιώσιμα
2. Απαίτηση απόδοσης
   • Πάνω από 1 καρέ ανά δευτερόλεπτο → Επιλέξτε YOLO
   • Μόνο εκατοντάδες εικόνες που υποβάλλονται σε επεξεργασία καθημερινά → Τα πολυτροπικά μεγάλα μοντέλα είναι βιώσιμα
3. Περιβάλλον Ανάπτυξης
   • Απαιτείται ανάπτυξη εκτός σύνδεσης Edge → Επιλέξτε YOLO
   • Διαθέσιμοι σταθεροί αποκλειστικοί πόροι υπολογιστικού νέφους → Τα πολυτροπικά μεγάλα μοντέλα είναι βιώσιμα
4. Διαθεσιμότητα δεδομένων
   • Χιλιάδες σχολιασμένα δείγματα σε ετοιμότητα → Επιλέξτε YOLO
   • Μόνο δεκάδες δείγματα με χρονοδιάγραμμα επείγουσας έναρξης → Υιοθετήστε πολυτροπικά μοντέλα ως προσωρινή μετάβαση
5. Περιορισμοί προϋπολογισμού
   • Ετήσιος προϋπολογισμός λειτουργίας μιας γραμμής κάτω από 100.000 RMB → Επιλέξτε YOLO
   • Μεγάλος οικονομικός προϋπολογισμός → Συνιστάται η υβριδική αρχιτεκτονική

Για τη συντριπτική πλειοψηφία των βιομηχανικών σεναρίων, το YOLO θα παραμείνει η βέλτιστη επιλογή.

Τα πολυτροπικά μεγάλα μοντέλα είναι κατάλληλα μόνο ως πρωταρχικές λύσεις υπό συγκεκριμένες συνθήκες: ανοχή λανθάνουσας κατάστασης, χαμηλή ζήτηση απόδοσης, σταθερή υποστήριξη υπολογιστικού νέφους και ακραία σπανιότητα δεδομένων.

Η πιο ρεαλιστική λύση του κλάδου είναι η υβριδική αρχιτεκτονική:

• Η YOLO αναλαμβάνει βασικές εργασίες επιθεώρησης σε πραγματικό χρόνο
• Τα πολυτροπικά μεγάλα μοντέλα παρέχουν βοηθητική αξία στον σχολιασμό, την εναλλακτική επαλήθευση και την αυτοματοποιημένη σύνταξη αναφορών
• Αξιοποιήστε τα αντίστοιχα δυνατά σημεία και των δύο τεχνολογιών διατηρώντας παράλληλα τον έλεγχο του κόστους

Επανεξετάζοντας την αρχική ερώτηση: Μπορούν τα πολυτροπικά μεγάλα μοντέλα να αντικαταστήσουν το YOLO;

Μετά από δύο χρόνια πρακτικής δοκιμής και λάθους, το συμπέρασμά μας είναι σαφές:

Αυτή είναι η λάθος πλαισίωση της ερώτησης.

Δεν πρόκειται για έναν ανταγωνισμό μηδενικού αθροίσματος «Το Α αντικαθιστά το Β», αλλά για κάθε τεχνολογία που καταλαμβάνει τη δική της μοναδική οικολογική θέση.

Τα πολυτροπικά μεγάλα μοντέλα διαθέτουν τρομερές δυνατότητες, ωστόσο τα βασικά τους πλεονεκτήματα - συλλογισμός μηδενικής βολής, βαθιά σημασιολογική κατανόηση και ευρεία γενίκευση - προσφέρουν περιορισμένη αξία για τις ροές εργασιών επιθεώρησης βασικής παραγωγής.

Εν τω μεταξύ, τα εγγενή τους μειονεκτήματα: υψηλή καθυστέρηση, υπερβολικό λειτουργικό κόστος και ασταθείς εκροές, είναι ακριβώς τα αδιαπραγμάτευτα σημεία πόνου που δεν μπορεί να ανεχτεί η βιομηχανική κατασκευή.

Η ουσία της τεχνικής επιλογής δεν είναι να κυνηγάμε την πιο σύγχρονη τεχνολογία, αλλά να ταιριάζουμε τη λύση με τις απαιτήσεις του πραγματικού σεναρίου.

Η σειρά YOLO έχει αναπτυχθεί ευρέως σε βιομηχανική οπτική επιθεώρηση εδώ και χρόνια και η κατάστασή της ως de facto πρότυπο είναι επαρκώς δικαιολογημένη.

Τα πολυτροπικά μεγάλα μοντέλα είναι ισχυρά συμπληρωματικά εργαλεία, ωστόσο δεν μπορούν να αντικατασταθούν πλήρως με την τρέχουσα τεχνική ωριμότητα.

Ίσως σε τρία ή πέντε χρόνια, το τοπίο θα αλλάξει: η ταχύτητα συμπερασμάτων θα βελτιωθεί δραστικά, το κόστος εγκατάστασης θα μειωθεί απότομα και το ζήτημα του ντετερμινισμού θα επιλυθεί πλήρως.

Μόνο τότε μπορούμε να επανεξετάσουμε τη συζήτηση για την πλήρη αντικατάσταση.