Förbättra fabrikssäkerheten och produktiviteten genom att och enkelt snabbt lägga till maskinvision i industriella system

Maskinkonstruktörer inom industriell automation förväntas implementera någon form av maskinsyn för att bestämma avståndet till alla objekt i ett specifikt synfält. Anledningarna till att implementera denna form av maskinsyn kan variera, från att känna förändringar eller intrång i den allmänna miljön, till att avståndsbestämma föremål på en produktionslinje eller övergripande operatörs- eller robotskydd mot faror. Särskilt ofta är det inomhusfordon i industriella lager som implementerar maskinsyn för automatiserad körning, lokalisering och identifiering av föremål, samt för att upptäcka och undvika hinder.

Den vanligaste metoden för maskinsyn inomhus för att detektera objektavstånd är ljusdetektering och avståndsbestämning (LiDAR) som använder laserljus för att mäta avståndet mellan föremål. LiDAR mäter returtiden och våglängden för det reflekterade laserljuset för att bestämma avståndet från varje punkt. LiDAR-maskinsynsalgoritmer är dock mycket komplexa och har en brant inlärningskurva, vilket kräver att experter inom maskinsyn kodar applikationen.

Denna artikel visar utvecklare hur man använder en nyckelfärdig LiDAR-kamera frånIntel för att att ge applikationer möjlighet att detektera avstånden till objekt i synfältet. Därigenom kan man snabbt lägga till maskinsynsfunktionalitet i nya eller befintliga system, utan att behöva lära sig komplexiteten i tekniken och algoritmerna som maskinsyn bygger på. Den visar sedan hur du parar ihop Intel LiDAR-kameran med en enkortsdator frånUDOO med hjälp av en snabb USB 3.1-anslutning.

Maskinsyn i industriella automationsmiljöer inomhus

Industriella automationsmiljöer inomhus blir alltmer dynamiska och mer utrustning tillkommer ständigt på golvet, och detsamma gäller operatörer och leveranser. Alla maskiner, sensorer och ökade automationsnivåer är avsedda att öka effektiviteten och samtidigt säkerställa operatörernas säkerhet.

I många fall är de ytterligare sensorerna avsedda att upptäcka objekt, inklusive människor, i ett målområde. Ett föremål på en produktionslinje kan detekteras på många sätt, bl.a. med en enkel ljussensor som detekterar en förändring i det omgivande ljuset till följd av att ett föremål passerar, en mekanisk brytare som trycks ned av objektets vikt eller en ljusstråle över en produktionslinje som bryts när en produkt rullar förbi. Även om dessa metoder är lämpliga för grundläggande objektdetektering har ökad sofistikering inom automation krävt mer komplex visuell detektering som liknar det mänskliga ögat.

Maskinsyn är ungefär jämförbart med att lägga till funktioner till maskiner som kan att identifiera olika färger, skilja föremål från varandra och känna igen flera rörelser. En vanlig och mycket praktisk typ av maskinsyn är dock att detektera avståndet till alla föremål inom ett synfält.

Det finns två vanliga metoder för att utföra avståndsdetektering för flera föremål. Den första är radar, som för en inomhusmiljö har den direkta olägenheten att vara farligt för mänskliga operatörer som exponeras konstant för högfrekventa signaler. I utomhusmiljöer studsar radarfrekvenserna mot föremål innan de sprider sig ofarligt i den omgivande miljön. När det används inomhus studsar radarsignalerna upprepade gånger mot flera föremål, vilket resulterar i intensiv elektromagnetisk störning (EMI). Långvarig exponering kan ha långsiktiga hälsoeffekter på människor.

Den andra vanliga metoden för att utföra avståndsdetektering till flera objekt i ett synfält är avståndsbestämning med laser, även kallat LiDAR. En eller flera laserljusstrålar riktas mot objekten till vilka avståndet ska mätas. Tiden det tar för laserstrålen att reflekteras tillbaka till en receptor vid dess utgångspunkt, samt eventuell fasförskjutning av strålen, jämförs med tiden och fasen för den emitterade laserstrålen. En algoritm beräknar avståndet till föremålen baserat på tid och fasskillnad och omvandlar den till centimeter eller tum.

Beräkningen av tiden och fasskillnaden för en enda laserstråle för att detektera ett föremål är ganska enkel. En mer komplex maskinsynstillämpning innebär dock att man beräknar avståndet till dussintals föremål i ett synfält. Att kombinera dessa beräkningar till att skapa en visuell karta över avstånden är inte trivialt och kan ta mycket utvecklingstid i anspråk.

Maskinsyn med avståndsdetektering

En praktisk lösning för en maskinsynstillämpning som snabbt kan komma igång är Intels högupplösta L515 LiDAR-djupkamera RealSense82638L515G1PRQ (Figur 1). Kameran är 61 mm i diameter och 26 mm i djup och innehåller en LiDAR-bilddjupsanordning, RGB-kamera (röd, grön, blå) och en masströghetsmätare (IMU). LiDAR-kameran kan returnera en 1024 x 768 eller en 1920 x 1080 bitmappsbild där varje pixel representerar avståndet till objektspunkten från kameran.

Figur 1: Intel RealSense L515 är en fristående LiDAR-kamera med hög upplösning som också har en RGB-kamera och IMU. Den ansluts enkelt till en dator med USB 3.1. (Bildkälla: Intel)

Intel L515 LiDAR-kameran returnerar en bitmappsbild av området i sitt synfält. Istället för att returnera en typisk fotografisk bild av området returnerar LiDAR-kameran en bild där RGB-värdet för varje pixel representerar avståndet från varje pixelpunkt till Intel L515-kameran. Kameran har ett fokusomfång mellan 0,25 till 9 meter. Den innehåller också en standard RGB-bildkamera på 2 megapixlar (MP) som är användbar under utvecklingsarbete. Den rekommenderas för miljöer med inomhusbelysning, eftersom den inte har utvecklats för att fungera i kraftigt solljus.

En exempelbild från Intel L515 visas i figur 2. Kamerabilden är centrerad på en växt i förgrunden och är uppdelad i två sektioner. Vänster sida visar en vanlig RGB-kamerabild av växten och bakgrunden i naturliga färger. Den högra sidan är en visuell representation av avståndet till varje föremål från kameran. Växten i förgrunden visas som blå nyanser, medan väggen i bakgrunden visa som ljust orange. Till höger är väggen längre bort från kameracentret, så bilden blir djupare i röda nyanser.

Figur 2: Intel L515 LiDAR-kameran returnerar både en RGB-bild (vänster) och en bitmappsbild (höger) som representerar avståndet från ett föremål till kameran. Föremål närmare kameran visas som blåa medan mer avlägsna visas som djupröda. (Bildkälla: Intel)

Med hjälp av denna information kan mjukvara bearbeta bilddata för att bestämma avståndet mellan föremål och kamera.

Med sin kompakta storlek och höga integrationsnivå är Intel L515 LiDAR-kameran lämplig för industriella automationstillämpningar inomhus där djupavkänning genom maskinsyn snabbt måste implementeras i nya eller befintliga system. För mobila system innehåller Intel L515-kameran en IMU som kan känna av ± 4g acceleration och ett gyroskop som kan känna av upp till ± 1000˚/s rotation. Detta är lämpligt för de flesta inomhusfordon eller robotar som används i industriella automationsanläggningar. Försiktighet måste iakttas vid kodning av firmware för IMU:n eftersom ett fordon eller en robot som träffar ett hinder tillfälligt kan utsättas för mer än 4g s, ett undantag som måste tas hänsyn till.

Maskinsyn i ett komplett system

Intel L515 kan kopplas till en dator eller enkortdators med ett snabbt USB 3.1-gränssnitt. Kamerahöljet har en USB Type-C®-kontakt, så standardkablar med Type C-kontakter kan användas för att underlätta integrationen. Eftersom bearbetning av maskinsynsbilder kan vara beräkningsintensivt, rekommenderas det att ha hög prestanda i reserv så att bilddatamängder kan bearbetas i realtid om det behövs. UDOOKTMX-UDOOBL-V8G.00 Bolt V8 är en enkortsdator med hög prestanda baserad på en fyrkärnig processor som körs med 2,0 GHz (med 3,6 GHz boost) och stöds av upp till 32 Gbyte DRAM. Som programminne kan den använda en M.2 SSD-enhet och stödjer också ett konventionellt SATA-3-hårddiskgränssnitt.

Figur 3: UDOO Bolt V8 är en kraftfull enkortsdator med en fyrkärnig processor som körs i upp till 3,6 GHz. Den stöder externa enhetsgränssnitten M.2 och SATA-3, har plats för upp till 32 GB DRAM och har en USB 3.1 Type C-kontakt för hopkoppling med Intel RealSense L515 LiDAR-kameran. (Bildkälla: ODOO)

UDOO Bolt V8 har två HDMI 1.4-videogränssnitt för anslutning till en bildskärm. För nätverk kan den ansluta till ett fabriksnätverk via trådbundet Gigabit Ethernet genom en inbyggd RJ-45-kontakt. Wi-Fi och Bluetooth stöds också. Stereoljud stöds via en 3,5 mm standardkontakt. Enkortsdatorn kan köra alla 64-bitars x86-kompatibla operativsystem, inklusive Microsoft Windows och alla 64-bitars Linux-distributioner. Denna kraftfulla enkortsdator behöver en strömförsörjning på 19 volt/65 watt för att klara 2 GHz prestanda.

För dataalgoritmer för maskinsyn har UDOO Bolt V8 gott om processorkraft. Den kan ta in data från Intel RealSense L515 via ett snabbt USB 3.1 Type C-gränssnitt och kan vid behov visa bilden på en bildskärm ansluten till något av HDMI-gränssnitten. Ljudsignaleringar eller -varningar kan avges av högtalare som är anslutna till någon av ljudutgångarna.

Slutsats

Maskinsyn med djupavkänning är ett snabbt växande fält som kan kräva komplex kodning och hårdvara om de byggs från grunden. Att integrera ett maskinsynssystem med nyckelfärdiga lösningar som utför djupberäkningar i förprogrammerad firmware sparar tid och pengar, vilket resulterar i ett maskinsynssystem med hög prestanda som snabbt och tillförlitligt kan sättas i arbete i en industriell automationsmiljö.