Hur man snabbt utformar och installerar smarta system för maskinell bildbehandling

Behovet av maskinell bildbehandling ökar inom en mängd tillämpningar, inklusive säkerhet, trafik och stadskameror, detaljhandelsanalys, automatiserad inspektion, processtyrning och bildstyrd robotteknik. Maskinell bildbehandling är komplicerat att implementera och kräver integrering av olika tekniker och delsystem, inklusive högeffektiv hårdvara och avancerad programvara för artificiell intelligens/maskinininlärning (AI/ML). Det börjar med optimering av videoinspelningstekniken och bild-I/O för att uppfylla tillämpningens behov och sträcker sig till flera bildbehandlingspipelines för effektiv anslutning. Den är i slutänden beroende av att det inbyggda bildbehandlingsystemet kan utföra bildbaserade analyser i realtid med hjälp av högeffektiv hårdvara, som t.ex. FPGA:er (field programmable gate arrays), SOM-moduler (systems on modules), SoC:er (systems on chips), och till och med MPSoC:er (multiprocessor systems on chips) för att köra den nödvändiga AI/ML-programvaran för bildbehandling och igenkänning. Detta kan vara en komplicerad, dyr och tidskrävande process som ger många möjligheter till kostnadsöverskridanden och förseningar i tidsplanen.

Istället för att börja från noll kan konstruktörer använda sig av en välbestyckad, högeffektiv utvecklingsplattform som gör det snabbare att nå marknaden, kontrollerar kostnaderna och minskar utvecklingsriskerna, samtidigt som den har stöd för en hög grad av flexibilitet och prestanda i tillämpningen. En SOM-baserad utvecklingsplattform kan erbjuda en integrerad hård- och mjukvarumiljö som gör att utvecklare kan fokusera på anpassning av tillämpningar och spara upp till nio månaders utvecklingstid. Utöver utvecklingsmiljön finns samma SOM-arkitektur tillgänglig i produktionsoptimerade konfigurationer för kommersiella och industriella miljöer, vilket ökar tillämpningens tillförlitlighet och kvalitet, för att ytterligare minska riskerna och skynda på marknadsintroduktionen.

Artikeln inleds med en genomgång av de utmaningar som är förknippade med utvecklingen av högeffektiva system för bildbehandling, presenterar sedan den omfattande utvecklingsmiljö som erbjuds av startpaketet Kria KV260 vision AI från AMD Xilinx och avslutas med exempel på produktionsklara SOM-moduler baserade på plattformen Kira 26 som är utformade för att kunna anslutas till ett tilläggskort med lösningsspecifik kringutrustning.

Det börjar med optimering av datatyper

Behoven av algoritmer för djupinlärning utvecklas. Alla tillämpningar behöver inte beräkningar med hög precision. Datatyper med lägre precision, t.ex. INT8, eller anpassade dataformat används. GPU-baserade system kan få problem med att försöka ändra arkitekturer som är optimerade för data med hög precision för att på ett effektivt sätt kunna hantera dataformat med lägre precision. SOM-modulen Kria K26 kan konfigureras om, vilket gör det möjligt att ge stöd för ett brett utbud av datatyper från FP32 till INT8 och andra. Möjligheten till omkonfigurering leder även till en lägre total energiförbrukning. Operationer optimerade för INT8 förbrukar exempelvis, en storleksordning mindre energi jämfört med en FP32-operation (figur 1).

Figur 1: En storleksordning mindre energi krävs för INT8-operationer (8b Add) jämfört med FP32-operationer (32b Add). (Bildkälla: AMD Xilinx)

Optimal arkitektur för minimal strömförbrukning

Konstruktioner som implementerats baserat på en flerkärnig GPU- eller CPU-arkitektur kan vara strömslukande baserat på typiska strömförbrukningsmönster:

• 30 % för kärnorna
• 30 % för internminnet (L1, L2, L3)
• 40 % för det externa minnet (t.ex. DDR)

GPU:er kräver ofta åtkomst till ineffektivt DDR-minne för att stödja programmerbarhet och kan vara en flaskhals för beräkningar med krav på hög bandbredd. Arkitekturen Zynq MPSoC som används i SOM-modulen Kria K26 stöder utvecklingen av tillämpningar med liten eller ingen tillgång till externt minne. I en typisk fordonstillämpning kräver exempelvis kommunikationen mellan GPU:n och olika moduler flera åtkomster till externt DDR-minne, medan den Zynq MPSoC-baserade lösningen innehåller en pipeline som är utformad för att undvika de flesta DDR-åtkomster (figur 2).

Figur 2: I den här typiska fordonstillämpningen kräver GPU:n flera åtkomster till DDR-minne för kommunikation mellan de olika modulerna (till vänster), medan arkitekturen med en Zynq MPSoC-pipeline (till höger) undviker de flesta åtkomsterna till DDR-minnet. (Bildkälla: AMD Xilinx)

Beskärning utnyttjar fördelarna

De neurala nätverkens prestanda på K26 SOM kan förbättras med hjälp av ett AI-optimeringsverktyg som möjliggör optimering och rensning av data. Det är mycket vanligt att neurala nätverk har för många parametrar, vilket leder till höga nivåer av redundans som kan optimeras med hjälp av datarensning och modellkomprimering. Användning av Xilinx AI Optimizer kan resultera i en modell med 50 gånger mindre komplexitet, med en nominell inverkan på modellens noggrannhet. Som exempel förfinades en SSD-detektor (single-shot detector) plus en CNN-arkitektur (VGG convolution neural net) med 117 Giga Operations (Gops) genom 11 iterationer av rensning med AI Optimizer. Före optimeringen körde modellen 18 bilder per sekund (BPS) på en Zynq UltraScale+ MPSoC. Efter 11 iterationer - den 12:e körningen av modellen - minskade komplexiteten från 117 Gops till 11,6 Gops (10X), prestandan ökade från 18 till 103 FPS (5X) och noggrannheten sjönk från 61,55 genomsnittlig precision (mAP) för objektsökning till 60,4 mAP (endast 1 % lägre) (figur 3).

Figur 3: Efter relativt få iterationer kan rensningen minska modellens komplexitet (Gop) med 10 gånger och förbättra prestandan (BPS) med 5 gånger, med endast 1 % minskning av noggrannheten (mAP). (Bildkälla: AMD Xilinx)

Exempel på reella tillämpningar

En maskininlärningstillämpning för att upptäcka och känna igen bilars registreringsskyltar, även kallad identifering av registreringsskylt (ANPR), utvecklades baserat på programvara för bildanalys från Uncanny Vision. ANPR används i automatiserade vägtullssystem, övervakning av motorvägar, säkra grindar, åtkomst till parkeringsplatser och andra tillämpningar. Denna ANPR-tillämpning innehåller en AI-baserad pipeline som avkodar videon och förbehandlar bilden, följt av detektering med ML och teckenigenkänning med OCR (figur 4).

Figur 4: Typiskt bildbehandlingsflöde för en AI-baserad ANPR-tillämpning. (Bildkälla: AMD Xilinx)

För att implementera ANPR krävs en eller flera H.264- eller H.265-kodade RTSP-flöden (real-time streaming protocol) som är avkodade eller okomprimerade. De avkodade bildrutorna skalas, beskärs, konverteras i färgrymd och normaliseras (förbehandlas) och skickas sedan till algoritmen för detektering med ML. Implementeringar med högeffektiv ANPR kräver en AI-pipeline i flera steg. I det första steget upptäcks och lokaliseras fordonet i bilden, vilket skapar ett intresseområde (ROI). Samtidigt optimerar andra algoritmer bildkvaliteten för att sedan använda algoritmen för teckenigenkänning med OCR och spåra fordonets rörelse i flera bilder. Intresseområdet med fordonet beskärs ytterligare för att generera intresseområdet för registreringsskylten som sedan behandlas av OCR-algoritmen för att konstatera tecknen på registreringsskylten. Jämfört med andra kommersiella SOM-moduler baserade på GPU:er eller CPU:er kördes ANPR-tillämpningen från Uncanny Vision två till tre gånger snabbare på SOM-modulen Kira KV260 och kostade mindre än 100 dollar per RTSP-flöde.

Utvecklingsmiljö för smart bildbehandling

Utvecklare av tillämpningar med smart bildbehandling såsom t.ex. trafik- och stadskameror, detaljhandelsanalys, säkerhet, industriell automation och robotteknik kan använda sig av utvecklingsmiljön Kria K26 SOM AI Starter. Miljön är baserad på MPSoC-arkitekturen Zynq® UltraScale+™ och har ett växande bibliotek med programvarupaket för tillämpningar (figur 5). SOM-modulen AI Starter innehåller en fyrkärnig Arm Cortex-A53 processor, över 250 000 logiska celler och en H.264/265-videocodec. SOM-modulen innehåller även 4 GB DDR4-minne, 245 I/O:n och 1,4 tera-ops AI-beräkning för att stödja skapandet av högeffektiva AI-tillämpningar för bildbehandling som erbjuder mer än tre gånger högre prestanda med lägre latens och strömförbrukning jämfört med andra hårdvarutillämpningar. Med de förtillverkade programmen kan de första konstruktionerna genomföras på mindre än en timme.

Figur 5: Startpaketet Kria KV260 vision AI är en omfattande utvecklingsmiljö för tillämpningar med maskinell bildbehandling. (Bildkälla: AMD Xilinx)

För att snabbt få igång utvecklingsprocessen med SOM-modulen Kria K26 erbjuder AMD Xilinx startpaketet KV260 vision AI som innehåller en nätadapter, Ethernet-kabel, microSD-kort, USB-kabel, HDMI-kabel och en kameramodul (figur 6). Om hela startpaketet inte behövs kan utvecklare bara köpa den valfria nätadaptern för att börja använda SOM-modulen Kira K26.

Figur 6: Startpaketet KV260 vision AI innehåller: (övre raden, från vänster till höger) nätadapter, Ethernet-kabel, microSD-kort och (nedre raden, från vänster till höger) USB-kabel, HDMI-kabel, kameramodul. (Bild: AMD Xilinx)

En annan faktor som skyndar på utvecklingen är den omfattande mängden funktioner, inklusive 1,8 V, 3,3 V, och differentiella I/O:n med fyra 6 Gbit/s transceivrar och fyra 12,5 Gbit/s transceivrar. Funktionerna gör det möjligt att utveckla tillämpningar med ett större antal bildsensorer per SOM och många variationer av sensorgränssnitt som MIPI, LVDS, SLVS och SLVS-EC, som inte alltid stöds av tillämpningsspecifika standardprodukter (ASSP) eller GPU:er. Utvecklare kan även implementera DisplayPort, HDMI, PCIe, USB2.0/3.0 och användardefinierade standarder med den inbyggda programmerbara logiken.

Slutligen har utvecklingen av AI-tillämpningar förenklats och gjorts mer lättillgänglig genom att koppla den omfattande hårdvarufunktionen och programvarumiljön i K26 SOM till produktionsklara tillämpningar för bildbehandling. Dessa bildbehandlingstillämpningar kan implementeras utan konstruktion av FPGA-hårdvara och gör det möjligt för mjukvaruutvecklare att snabbt integrera anpassade AI-modeller, tillämpningskod och till och med ändra bildbehandlingspipeline. Den enhetliga mjukvaruutvecklingsplattformen Vitis och biblioteken från Xilinx stöder vanliga konstruktionsmiljöer, t.ex. ramverken TensorFlow, Pytorch och Café, samt flera programmeringsspråk som C, C++, OpenCL™ och Python. Det finns även en inbyggd appbutik för tillämpningar i molnkanten som använder Kria SOM-moduler från Xilinx och dess partners i ekosystemet. Xilinx erbjudanden är gratis, har öppen källkod och omfattar smart kameraspårning och ansiktsdetektering, behandling av naturligt språk med smart bildbehandling med mera.

Produktionsoptimerade Kira 26 SOM-moduler

När utvecklingsprocessen har slutförts finns det produktionsklara versioner av K26 SOM som är utformade för att kunna anslutas till ett tilläggskort med lösningsspecifik kringutrustning som kan påskynda övergången till tillverkning (figur 7). Den grundläggande K26 SOM-modulen är en enhet av kommersiell kvalitet med en temperaturklassificering för förgreningstemperaturen på 0 °C till +85 °C, mätt av den interna temperatursensorn. Det finns även en industriell version av K26 SOM är klassificerad för drift från -40 °C till +100 °C.

Den industriella marknaden kräver lång livslängd i tuffa miljöer. Den industriella Kria SOM-modulen är konstruerad för tio års drift vid 100 °C och 80 % relativ luftfuktighet och tål stötar på upp till 40 g och 5 g RMS-vibrationer (root mean square). Den har även en minsta produktionstillgänglighet på tio år för att stödja långa produktlivscykler.

Figur 7: Produktionsoptimerade Kira 26 SOM-moduler för industriella och kommersiella miljöer är utformade för att kunna anslutas till ett tilläggskort med lösningsspecifik kringutrustning. (Bild: DigiKey)

Sammanfattning

Konstruktörer av tillämpningar för maskinell bildbehandling, som t.ex. säkerhets-, trafik- och stadskameror, detaljhandelsanalys, automatiserad inspektion, processkontroll och bildstyrd robotteknik, kan använda sig av startpaketet Kria K26 SOM AI för att påskynda marknadsintroduktionen, hjälpa till att kontrollera kostnaderna och minska utvecklingsriskerna. Denna SOM-baserade utvecklingsplattform är en integrerad hård- och mjukvarumiljö som gör att utvecklare kan fokusera på anpassning av tillämpningar och spara upp till nio månaders utvecklingstid. Samma SOM-arkitektur finns tillgänglig i produktionsoptimerade konfigurationer för kommersiella och industriella miljöer, vilket ytterligare påskyndar marknadsintroduktionen. Den industriella versionen har en minsta produktionstillgänglighet på 10 år för att stödja långa produktlivscykler.