Autonominis dronas su infraraudonųjų spindulių kamera, padedantis pirmiesiems atsakovams: 7 žingsniai

2024 Autorius: John Day | [email protected]. Paskutinį kartą keistas: 2024-01-30 10:46

Remiantis Pasaulio sveikatos organizacijos ataskaita, kasmet dėl stichinių nelaimių žūva apie 90 000 žmonių ir nukenčia beveik 160 milijonų žmonių visame pasaulyje. Stichinės nelaimės apima žemės drebėjimus, cunamius, ugnikalnių išsiveržimus, nuošliaužas, uraganus, potvynius, gaisrus, karščio bangas ir sausras. Laikas yra esminis dalykas, nes išgyvenimo tikimybė su kiekviena minute pradeda mažėti. Pirmiesiems gelbėtojams gali kilti sunkumų suradus išgyvenusius namus sugadintuose namuose, o ieškant jų kyla pavojus jų gyvybei. Turint sistemą, galinčią nuotoliniu būdu surasti žmones, labai padidėtų greitis, kuriuo pirmieji gelbėtojai galėtų juos evakuoti iš pastatų. Ištyręs kitas sistemas, sužinojau, kad kai kurios bendrovės sukūrė sausumos robotus arba sukūrė bepiločius orlaivius, kurie gali sekti žmones, bet veikia tik už pastatų ribų. Gylio kamerų ir specialių infraraudonųjų spindulių kamerų derinys leidžia tiksliai sekti patalpų plotą ir aptikti temperatūros pokyčius, atspindinčius ugnį, žmones ir gyvūnus. Nepilotuojamoje orlaivyje (UAV) įdiegę jutiklius su pasirinktu algoritmu, bus galima savarankiškai apžiūrėti namus ir nustatyti žmonių bei gyvūnų vietą, kad jie būtų kuo greičiau išgelbėti.

Prašau balsuoti už mane optikos konkurse!

1 žingsnis: projektavimo reikalavimai

Ištyręs turimas technologijas, su mašinų matymo ekspertais ir pirmuoju atsakovu aptariau galimus sprendimus, kad surastume geriausią metodą, kaip aptikti išgyvenusius pavojingose vietose. Toliau pateiktoje informacijoje išvardytos svarbiausios reikalingos sistemos funkcijos ir dizaino elementai.

• Regėjimo apdorojimas - sistema turi užtikrinti greitą keitimosi informacija tarp jutiklių ir dirbtinio intelekto (AI) apdorojimo greitį. Pavyzdžiui, sistema turi sugebėti aptikti sienas ir kliūtis, kad jų išvengtų, taip pat surasti žmones, kuriems gresia pavojus.
• Autonominė - sistema turi sugebėti veikti be vartotojo ar operatoriaus įvesties. Personalas, turintis minimalią patirtį naudojant UAV technologiją, turėtų turėti galimybę paspausti vieną ar kelis mygtukus, kad sistema pradėtų nuskaityti pati.
• Diapazonas - diapazonas yra atstumas tarp sistemos ir visų kitų arti esančių objektų. Sistema turėtų sugebėti aptikti koridorius ir įėjimus bent iš 5 metrų. Idealus minimalus atstumas yra 0,25 m, kad būtų galima aptikti artimus objektus. Kuo didesnis aptikimo diapazonas, tuo trumpesnis išgyvenusiųjų aptikimo laikas.
• Navigacijos ir aptikimo tikslumas - sistema turėtų sugebėti tiksliai rasti visus įėjimus ir nesimušti į jokius objektus, taip pat aptikti staigų objektų atsiradimą. Sistema turi sugebėti rasti skirtumą tarp žmonių ir negyvų objektų per įvairius jutiklius.
• Veikimo trukmė - sistema turėtų veikti 10 minučių ar ilgiau, priklausomai nuo to, kiek kambarių reikia nuskaityti.
• Greitis - jis turėtų sugebėti nuskaityti visą pastatą per mažiau nei 10 minučių.

2 žingsnis: įrangos pasirinkimas: mobilumo metodas

Keturkopteris buvo pasirinktas per nuotolinio valdymo automobilį, nes nors keturkojis yra trapus, jį lengviau valdyti ir keisti aukštį, kad būtų išvengta kliūčių. Keturkopteris gali laikyti visus jutiklius ir juos stabilizuoti, kad jie būtų tikslesni judant į skirtingas patalpas. Sraigtai pagaminti iš anglies pluošto, kurie yra atsparūs karščiui. Jutikliai nukreipiami nuo sienų, kad būtų išvengta nelaimingų atsitikimų.

• Nuotolinio valdymo sausumos transporto priemonė

  • Argumentai "už" - gali greitai judėti nenukritę ir neturi įtakos temperatūrai
  • Trūkumai - transporto priemonė dėtų jutiklius žemai į žemę, vienu metu padengdama mažiau ploto ir gali būti užblokuota kliūčių

• Keturkopteris

  • Argumentai "už" - pakelia jutiklius į orą, kad gautumėte 360 laipsnių aplinkos vaizdą
  • Suvart - jei jis patenka į sieną, jis gali nukristi ir neatsigauti

3 žingsnis: įrangos pasirinkimas: mikrovaldikliai

Pagrindiniai du reikalavimai, keliami mikrovaldikliams, yra maži, kad būtų sumažintas naudingasis kvadratinio kopterio krovinys ir greitis greitai apdoroti įvestą informaciją. „Rock64“ir „DJI Naza“derinys yra puikus mikrovaldiklių derinys, nes „Rock64“turi pakankamai apdorojimo galios, kad galėtų greitai aptikti žmones ir neleisti keturkojui patekti į sienas ir kliūtis. „DJI Naza“tai puikiai pagyrina atlikdamas visą stabilizavimą ir variklio valdymą, kurio negali atlikti „Rock64“. Mikrovaldikliai palaiko ryšį per nuoseklųjį prievadą ir prireikus leidžia valdyti vartotoją. „Raspberry Pi“būtų buvusi gera alternatyva, tačiau kadangi „Rock64“turėjo geresnį procesorių ir geresnį ryšį su kitoje lentelėje išvardytais jutikliais, „Pi“nebuvo pasirinktas. „Intel Edison“ir „Pixhawk“nebuvo pasirinkti, nes trūko palaikymo ir ryšio.

• Raspberry Pi

  • Argumentai "už" - gali aptikti sienas ir fiksuotus objektus
  • Trūkumai - stengiasi neatsilikti nuo visų jutiklių duomenų, todėl nemato įėjimų pakankamai greitai. Negali išvesti variklio signalų ir neturi stabilizatorių, skirtų kvadratiniam kompiuteriui

• Rokas64

  • Argumentai "už" - gali aptikti sienas ir įėjimus su nedideliu vėlavimu.
  • Suvart - taip pat gali nukreipti sistemą visame name, nesusidurdamas su visais jutikliais. Nepavyksta pakankamai greitai siųsti signalų, kad būtų galima valdyti variklio greitį, ir neturi stabilizatorių, skirtų kvadratiniam kopijavimui

• „Intel Edison“

  • Argumentai "už" - gali aptikti sienas ir įėjimus su tam tikru vėlavimu
  • Suvart - senesnės technologijos, daugeliui jutiklių prireiktų naujų bibliotekų, o tai sukuria labai daug laiko
• DJI Naza
  • Argumentai "už" - turi integruotą giroskopą, akselerometrą ir magnetometrą, kad keturkojis būtų stabilus ore, mikrokoreguojant variklio greitį
  • Suvart - negalima atlikti jokio regėjimo apdorojimo

• Pixhawk

  • Argumentai "už" - kompaktiškas ir suderinamas su projekte naudojamais jutikliais, naudojant bendrosios paskirties įvesties išvestį (GPIO)
  • Suvart - negalima atlikti jokio regėjimo apdorojimo

4 žingsnis: įrangos pasirinkimas: jutikliai

Norint gauti visą informaciją, reikalingą žmonėms surasti pavojingose vietose, naudojamas kelių jutiklių derinys. Du pasirinkti pagrindiniai jutikliai yra stereofoninė infraraudonųjų spindulių kamera kartu su „SOUN Navigation And Ranging“(SONAR). Po kelių bandymų nusprendžiau naudoti „Realsense D435“kamerą, nes ji yra maža ir gali tiksliai sekti atstumus iki 20 metrų. Jis veikia 90 kadrų per sekundę greičiu, o tai leidžia atlikti daugybę matavimų prieš priimant sprendimą, kur yra objektai ir kuria kryptimi nukreipti kvadrokopterį. Sistemos viršuje ir apačioje yra „SONAR“jutikliai, kad keturkojis galėtų žinoti, kiek aukštai ar žemai leidžiama nusileisti prieš kontaktuojant su paviršiumi. Taip pat vienas yra nukreiptas į priekį, kad sistema galėtų aptikti tokius objektus kaip stiklas, kurio stereo infraraudonųjų spindulių kameros jutiklis negali aptikti. Žmonės ir gyvūnai aptinkami naudojant judesio ir objektų atpažinimo algoritmus. FLIR kamera bus įdiegta siekiant padėti stereo infraraudonųjų spindulių kamerai sekti, kas gyvena ir kas ne, kad padidintų nuskaitymo efektyvumą nepalankiomis sąlygomis.

• „Kinect V1“

  • Argumentai "už" - gali lengvai sekti 3D objektus iki 6 metrų
  • Trūkumai -Turi tik 1 infraraudonųjų spindulių jutiklį ir yra per sunkus keturkopiniam kompiuteriui

• „Realsense D435“

  • Argumentai "už" - turi 2 infraraudonųjų spindulių kameras ir raudoną, žalią, mėlyną, gylio (RGB -D) kamerą, skirtą didelio tikslumo 3D objektų aptikimui iki 25 metrų atstumu. Jis yra 6 cm pločio, todėl jį lengva įdėti į keturkojį
  • Suvart - gali įkaisti ir gali prireikti aušinimo ventiliatoriaus

• LIDAR

  • Argumentai "už" - spindulys, galintis stebėti vietas iki 40 metrų atstumu
  • Minusai - Šiluma aplinkoje gali turėti įtakos matavimo tikslumui

• SONAR

  • Argumentai "už" - spindulys, kuris gali sekti 15 m atstumu, bet gali aptikti skaidrius objektus, tokius kaip stiklas ir akrilas
  • Trūkumai - tik taškai vienoje matymo linijoje, bet kvadratinis kompiuteris gali juos perkelti į nuskaitymo sritį

• Ultragarsinis

  • Argumentai "už" - turi atstumą iki 3 m ir yra labai nebrangūs
  • Trūkumai - tik taškai vienoje matymo linijoje ir labai lengvai gali būti už atstumo jutimo ribų
• FLIR kamera
  • Argumentai "už" - gali be trukdžių fotografuoti giliai per dūmus ir gali aptikti gyvus žmones pagal šilumos parašus
  • Suvart - jei kas nors trukdo jutikliams, atstumo skaičiavimai gali būti neteisingai apskaičiuoti

• PIR jutiklis

  • Argumentai "už" - gali aptikti temperatūros pokyčius
  • Suvart - neįmanoma tiksliai nustatyti, kur yra temperatūros skirtumas

5 žingsnis: įrangos pasirinkimas: programinė įranga

Naudojau „Realsense SDK“kartu su robotų operacine sistema (ROS), kad sukurtų vientisą integraciją tarp visų jutiklių su mikrovaldikliu. SDK suteikė nuolatinį taškinio debesies duomenų srautą, kuris idealiai tinka sekti visus objektus ir kvadratinio kopijavimo ribas. ROS padėjo man nusiųsti visus jutiklių duomenis į mano sukurtą programą, kuri įgyvendina dirbtinį intelektą. PG susideda iš objektų aptikimo algoritmų ir judesio aptikimo algoritmų, leidžiančių kvadratiniam kompiuteriui rasti judėjimą savo aplinkoje. Kontrolierius naudoja impulsų pločio moduliaciją (PWM), kad valdytų keturkojo padėtį.

• Freenect

  • Argumentai "už" - turi žemesnį prieigos lygį, kad galėtumėte viską kontroliuoti
  • Suvart - palaiko tik „Kinect V1“

• „Realsense“SDK

  • Argumentai "už" - gali lengvai sukurti taško debesies duomenis iš informacijos srauto iš "Realsense" kameros
  • Suvart - palaiko tik „Realsense D435“fotoaparatą

• FLIR Linux tvarkyklė

  • Argumentai "už" - gali nuskaityti duomenų srautą iš FLIR kameros
  • Minusai - dokumentai yra labai riboti

• Robotų operacinė sistema (ROS)

  • Argumentai už - Operacinė sistema idealiai tinka programuoti fotoaparato funkcijas
  • Minusai - norint efektyviai rinkti duomenis, reikia įdiegti greitą SD kortelę

6 žingsnis: sistemos kūrimas

Prietaiso „akys“yra „Realsense D435“stereofoninis infraraudonųjų spindulių jutiklis, kuris yra iš karto parduodamas jutiklis, dažniausiai naudojamas robotinėms programoms, tokioms kaip 3D žemėlapiai (1 pav.). Kai šis jutiklis yra sumontuotas ant kvadratinio kopijavimo įrenginio, infraraudonųjų spindulių kamera gali nukreipti ir leisti keturkojui judėti savarankiškai. Fotoaparato generuojami duomenys vadinami taškiniu debesiu, kurį sudaro erdvės taškų serija, turinti informaciją apie tam tikro objekto padėtį kameros vizijoje. Šį taškinį debesį galima paversti gylio žemėlapiu, kuriame spalvos rodomos kaip skirtingi gyliai (2 pav.). Raudona yra toliau, o mėlyna - arčiau metrų.

Siekiant užtikrinti, kad ši sistema būtų vientisa, buvo naudojama atviro kodo operacinė sistema, vadinama ROS, kuri paprastai naudojama robotams. Tai leidžia valdyti žemo lygio įrenginį ir pasiekti visus jutiklius bei kaupti duomenis, kuriuos naudos kitos programos. ROS palaikys ryšį su „Realsense“SDK, kuris leidžia įjungti ir išjungti skirtingas kameras, kad būtų galima stebėti, kiek objektai yra toli nuo sistemos. Ryšys tarp abiejų leidžia man pasiekti duomenų srautą iš fotoaparato, kuris sukuria taškinį debesį. Taškinio debesies informacija gali nustatyti, kur ribos ir objektai yra 30 metrų atstumu ir 2 cm tikslumu. Kiti jutikliai, tokie kaip „SONAR“jutikliai ir „DJI Naza“valdiklyje įtaisyti jutikliai, leidžia tiksliau nustatyti keturkojį. Mano programinė įranga naudoja AI algoritmus, kad pasiektų taškinį debesį ir lokalizuodama sukurtų visos įrenginį supančios erdvės žemėlapį. Kai sistema bus paleista ir pradės nuskaityti, ji keliaus koridoriais ir ras įėjimus į kitus kambarius, kur ji galės nušluoti kambarį, specialiai ieškodama žmonių. Sistema kartoja šį procesą, kol bus nuskaityti visi kambariai. Šiuo metu keturkojis gali skristi maždaug 10 minučių, to pakanka visiškam valymui, tačiau jį galima patobulinti naudojant skirtingas akumuliatorių sistemas. Pirmieji reaguotojai gaus pranešimus, kai žmonės bus pastebėti, kad jie galėtų sutelkti savo pastangas į pasirinktus pastatus.

7 žingsnis: diskusija ir išvados

Po daugelio bandymų sukūriau veikiantį prototipą, kuris atitiko 1 lentelėje išvardytus reikalavimus. Naudojant stereo infraraudonųjų spindulių fotoaparatą „Realsense D435“su „Realsense SDK“, buvo sukurtas aukštos raiškos kvadratinio kopterio priekio žemėlapis. Iš pradžių turėjau problemų dėl to, kad infraraudonųjų spindulių kamera negalėjo aptikti tam tikrų objektų, tokių kaip stiklas. Pridėjęs SONAR jutiklį, galėjau įveikti šią problemą. „Rock64“ir „DJI Naza“derinys buvo sėkmingas, nes sistema sugebėjo stabilizuoti kvadrokopterį, tuo pačiu sugebėdama aptikti objektus ir sienas pagal specialiai sukurtus kompiuterio vizijos algoritmus, naudojant „OpenCV“. Nors dabartinė sistema yra funkcionali ir atitinka reikalavimus, jai gali būti naudingi kai kurie būsimi prototipai.

Šią sistemą būtų galima patobulinti naudojant aukštesnės kokybės kameras, kad būtų galima tiksliau aptikti žmones. Kai kurios brangesnės FLIR kameros turi galimybę aptikti šilumos parašus, kurie gali padėti tiksliau aptikti. Sistema taip pat galėtų veikti įvairiose aplinkose, pavyzdžiui, patalpose, kurios yra dulkėtos ir užpildytos dūmais. Naudojant naujas technologijas ir atsparumą ugniai, ši sistema galėtų būti siunčiama į degančius namus ir greitai aptikti žmonių buvimo vietą, kad pirmieji gelbėtojai galėtų išgelbėti išgyvenusius.

Ačiū, kad skaitote! Nepamirškite balsuoti už mane optikos konkurse!