Žvaigždžių atpažinimas naudojant kompiuterio viziją („OpenCV“): 11 žingsnių (su paveikslėliais)

2024 Autorius: John Day | [email protected]. Paskutinį kartą keistas: 2024-01-30 10:45

Šioje instrukcijoje jums bus aprašyta, kaip sukurti kompiuterinę vizijos programą, kuri automatiškai atpažintų žvaigždžių raštus vaizde. Šis metodas naudoja „OpenCV“(atviro kodo kompiuterinės vizijos) biblioteką, kad sukurtų apmokytų HAAR kaskadų rinkinį, kuris gali būti naudojamas atpažinti konkrečius žvaigždžių modelius. Nors šis vadovas yra žvaigždžių modelio atpažinimo kontekste, mano aprašytą „OpenCV“procesą galima pritaikyti ir kitoms programoms - taigi, tikiuosi, jis bus naudingas!

Projektas apibendrintas šiame vaizdo įraše:

Kodėl aš parašiau tai pamokomą?

1. Manau, kad mano kuriamas žvaigždžių modelio identifikavimo metodas gali būti pritaikytas daugeliui mėgėjų astronomijos projektų - nesvarbu, ar tai yra teleskopo orientacija, automatinė vaizdo klasifikacija, ar net galiausiai žvaigždžių jutiklis atvirame šaltinyje ar mėgėjiškame „CubeSat“.
2. Čia yra daug gerų „OpenCV“instrukcijų, tačiau net ir man pasirodė, kad iš pradžių tai buvo labai sunku išmokti, todėl tikiuosi, kad šis vadovas bus gera nuoroda kitiems žmonėms, norintiems apmokyti „OpenCV“HAAR klasifikatorius (nebūtinai tai susiję su galbūt astronomija!).
3. Aš pats nesu apmokytas programuotojas, todėl šis projektas tikrai paskatino mano supratimą. Tikimės, kad rašydami šią instrukciją kiti, labiau patyrę kūrėjai bus įkvėpti dirbti su šia koncepcija ir prisidėti prie „GitHub“ir šio pamokomo dalyko komentaruose šiame puslapyje.
4. Mėgėjų astronomija ir orientacijos metodai mane labai domina, žr.

Šio „Instructable“viršelio nuotrauka yra 3U „CubeSat“dizaino koncepcija, kurios kūrime aš dalyvavau. Aš tai panaudojau norėdamas iliustruoti šį pamokomą dalyką, nes originali kompiuterio regėjimo žvaigždžių atpažinimo sistemos programa turėjo būti skirta mėgėjų gaminamiems „CubeSats“, naudojant „Raspberry Pi V2“kamerą, orientacijos jutikliui. Manau, kad yra daug kitų galimų kompiuterinio regėjimo žvaigždžių atpažinimo programų, tačiau manau, kad tai yra šauniausia!

Mažas žodynėlis:

Mokymasis apie kompiuterinį matymą sulėtėja dėl kvailų naudojamų specialistų terminų, todėl čia apibrėžsiu kai kuriuos iš jų:

Kaskadas - klasifikatorius, išmokytas identifikuoti konkretų tikslinį objektą.

Atskaitos žymeklis - žymeklis, pridedantis vaizdinio vaizdo tašką.

HAAR - į „Haar“panašios savybės yra tam tikra vaizdo funkcija, naudojama klasifikatoriaus mokymui.

„OpenCV“- atviro kodo kompiuterinė vizija, kompiuterinio matymo įrankių biblioteka.

„Stellarium“- atvirojo kodo astronomijos programinė įranga.

1 žingsnis: Reikalavimai

„OpenCV“yra „Linux“pagrįsta biblioteka, taigi, nors tariamai įmanoma ją gerai valdyti sistemoje „Windows“, jums bus daug lengviau ją paleisti „Linux“aplinkoje (atimk tai iš manęs ir daug dienų, kol ji visiškai veiks Langai!). Kaip eksperimentą aš atsisiunčiau ir paleidau „OpenCV“savo „Raspberry Pi 3B+“, kuris buvo sėkmingas, nors klasifikatoriaus mokymas yra labai daug RAM reikalaujantis procesas, todėl, jei norite tai padaryti bet kokiu greičiu, rekomenduojamas maršrutas yra samdyti „Linux“virtualų serverį (kuris iš tikrųjų gali būti stebėtinai nebrangus) kelias dienas/savaites/mėnesius ir naudokite tai kaip specialią aplinką, kurioje galite vykdyti klasifikatoriaus mokymus. Serverį galėsite valdyti iš „Windows“kompiuterio naudodami SSH klientą, pvz., „Putty“. Kai kaskados bus išmokytos naudojant VPS, jas galima atsisiųsti į „Windows“kompiuterį, o „Python“galima naudoti vaizdo atpažinimo programai paleisti „Windows“aplinkoje.

„Linux“virtualus serveris:

Norint atlikti HAAR kaskadinius mokymo procesus, reikalingas „Linux Virtual Server“(VPS). Iš pradžių samdžiau serverį su 8 GB RAM ir „Ubuntu 16.04.6 (LTS) x64“, o vėliau antrą, kad padvigubinčiau greitį, kuriuo galėčiau treniruotis kaskadomis, nors jums reikės tik vieno

Programinė įranga:

• „Stellarium“- tai virtuali planetariumo/astronomijos programinė įranga, laisvai prieinama. Jis bus naudojamas imituotiems žvaigždžių vaizdams rinkti, kad būtų galima naudoti bandymams.
• Glaistas - tai SSH klientas, naudojamas valdyti VPS per komandinę eilutę.
• WinSCP - tai naudojama failų perkėlimui iš „Windows“kompiuterio.

2 žingsnis: VPS sąranka

Yra nedidelis sąrankos procesas, skirtas VPS paleisti ir paleisti. Pirmą kartą jums gali prireikti šiek tiek laiko, tačiau tai nėra pernelyg sudėtinga, jei atidžiai atliksite veiksmus. Ši pamoka man buvo puiki nuoroda, aš rekomenduočiau ir jums tai perskaityti, kai dirbate su šia instrukcija. Tai apima „Linux“komandų eilutės eilutės ypatybes, kurių būtina laikytis.

Apytiksliai procesas apima:

1. „Linux“serverio sukūrimas naudojant teisingą „Ubuntu“versiją.
2. Serverio atnaujinimas ir atnaujinimas.
3. Sukurti darbo srities katalogą, į kurį įdiegta „OpenCV“.
4. Kai kurių pagrindinių dalykų, būtent kompiliatoriaus, įvairių bibliotekų ir „Python“įrišimų, įdiegimas.

Po šio etapo esate pasirengęs pradėti ruoštis mokymo procesui.

3 žingsnis: procesas

Visas kompiuterinio matymo procesas naudojant HAAR kaskadas iš pradžių yra gana painus, todėl šiame žingsnyje šiek tiek išsamiau aprašoma logika:

Pagrindinis procesas

1. Yra neigiamas vaizdo duomenų rinkinys, susidedantis iš kelių tūkstančių vaizdų, kuriuose nėra dominančio objekto. Tai reikės įkelti į VPS.
2. Sukuriamas vienas teigiamas vaizdas, kuriame yra dominantis objektas. Tai taip pat reikės įkelti į VPS.
3. Vienintelis teigiamas vaizdas yra iškraipytas, iškreiptas, pasuktas ir tt, pasirinktų parametrų rinkiniu ir uždengtas pasirinkus neigiamus vaizdus. Tai yra dirbtinis būdas sukurti didelį teigiamą duomenų rinkinį iš vieno vaizdo. (Kitoms realaus pasaulio programoms, pvz., Katės identifikavimui, galite tiesiog naudoti kelis tūkstančius kačių vaizdų, tačiau šis metodas ne visada tinka, jei neturite tokio didelio teigiamų vaizdų rinkinio. Čia naudojamas dirbtinis metodas bus mažiau efektyvus, tačiau tai yra vienintelė galimybė tokiais atvejais.)
4. Treniruočių procesas vyksta etapais. Kiekvienas etapas mokys kaskadą, kad atvaizdų rinkiniuose būtų galima nustatyti skirtingas HAAR tipo ypatybes. Kiekvienas etapas užtrunka eksponentiškai ilgiau, o klasifikatoriaus efektyvumas kiekvieną kartą didėja (taip pat galima per daug treniruotis, kad žinotumėte!).
5. Viena apmokyta kaskada galės ieškoti vieno tikslo objekto. Jei norite identifikuoti kelis unikalius objektus, kiekvienam iš jų reikės apmokytos kaskados. Šiuo atveju aš išmokau apie 50 skirtingų kaskadų, skirtų unikaliems žvaigždžių blizgesiams, sukurti rinkinį, kuris galėtų apimti šiaurinį dangaus pusrutulį.
6. Galiausiai naudojama aptikimo programa, kuri paleidžia kiekvieną rinkinio kaskadą prieš įvesties vaizdą. Kaskados įvesties vaizde ieškos nurodyto tikslo objekto.
7. Jei pavyks, tikslinis objektas bus identifikuotas įvesties vaizde.

n.b. jei jis naudojamas, pavyzdžiui, palydovo orientacijos kontekste, vaizdas būtų užfiksuotas naudojant vidinę kamerą. Bus atpažintos ryškiausios to vaizdo žvaigždės ir tose vietose uždengti žymekliai. Tada šis vaizdas pateikiamas apmokytų kaskadų rinkiniui, kuris patikrins, ar įvesties atvaizde yra kokių nors tikslinių objektų. Jei aptinkamas tikras teigiamas rezultatas, tada žinomo žvaigždyno kampinė padėtis nustatoma palydovo korpuso ašių atžvilgiu.

4 žingsnis: neigiami ir teigiami

Neigiami

Tikrai pagrindinis kaskadinio mokymo aspektas yra turėti kuo didesnį neigiamų vaizdų duomenų rinkinį. Mes kalbame apie tūkstančius, idealiu atveju - apie dešimtis tūkstančių vaizdų. Visiškai nesvarbu, ką juose yra, siekiama tik pateikti įvairią vaizdinę informaciją. Aplanke „Klasifikatoriaus mokymas“yra daugybė skirtingų mano surinktų neigiamų vaizdų duomenų rinkinių. Iš pradžių juos sudarė tik imituoti žvaigždžių lauko vaizdai, surinkti iš „Stellarium“, tačiau vėliau aš papildžiau duomenų rinkinį su kuo daugiau atsitiktinių imčių vaizdų (taip, įskaitant mano atostogų nuotraukas …). Didžiausias duomenų rinkinys apima beveik 9000 vaizdų, tai buvo didžiausias iki šiol sukurtas vaizdas. Naudodami tai sutaupysite patys sudarydami.

Teigiamas

Teigiamas vaizdas (tai yra tikslinis žvaigždės modelis, kurį kaskadas bus išmokytas atpažinti) prasideda kaip žvaigždės modelio „Stellarium“ekrano kopija. Tada „Python“programa nustato ryškiausias vaizdo žvaigždes ir uždengia žymes (paaiškinta vėliau šioje instrukcijoje) ant šių žvaigždžių pozicijų. Tada šis vaizdas sumažinamas iki 50x50 pikselių. Tai nedaug, tačiau kaskadoms reikalingas treniruočių laikas didės eksponentiškai, nes šis dydis didės, todėl tai yra geras kompromisas tarp kokybės ir laiko.

5 žingsnis: žvaigždžių kontrolė

„GitHub“saugyklos aplanke „Stellarium Scripts“yra trys mano parašytos programos, skirtos kontroliuoti „Stellarium“naudojimą. Norėdami juos naudoti, įdėkite juos į „Stellarium“diegimo aplanko scenarijų aplanką. Norėdami juos paleisti, galite atidaryti scenarijų langą „Stellarium“meniu arba tiesiog dukart spustelėdami programą aplanke „Scripts“, kuri paleis „Stellarium“ir iškart paleis pasirinktą programą.

thesis_4 ir thesis_5 užfiksuoja apie 2000 vaizdų atitinkamai iš šiaurinio ir pietinio dangaus pusrutulių. Jie buvo naudojami neigiamų vaizdų duomenų bazėms formuoti, teigiamam vaizdui ugdyti. Skirtumas tarp šiaurės ir pietų buvo paprastas būdas užtikrinti, kad tikslinės (teigiamos) žvaigždės modelio nebūtų neigiamame duomenų rinkinyje, mokant šiaurės pusrutulio žvaigždžių modelius prieš pietinio dangaus pusrutulio vaizdo duomenų rinkinį ir atvirkščiai. (Jei neigiamo vaizdo duomenų rinkinyje taip pat yra teigiamas vaizdas, tai paveiks klasifikatoriaus kokybę).

„thesis_setup“taip pat yra naudingas - taip „Stellarium“yra tinkamas fotografuoti - vaizdai, naudojami imituojant vaizdą iš kosmoso. Jis automatiškai atlieka veiksmus, tokius kaip meniu, tinklelio linijų, etikečių ir tt slėpimas, kad kiekvieną kartą, kai norėsite paimti vaizdą, sutaupytumėte to, ko reikia.

6 žingsnis: „Rocket Man“

Pirmosios mano treniruotos kaskados negalėjo teisingai nustatyti jokių žvaigždžių modelių. Jie buvo labai nepatikimi ir labai linkę į klaidingus teigiamus rezultatus. Mano prielaida buvo ta, kad „Stellarium“žvaigždžių lauko vaizduose (iš esmės tik baltuose taškuose juodame fone) tiesiog nebuvo pakankamai vaizdinės informacijos, kad būtų pakankamai HAAR tipo funkcijų sėkmingam klasifikatoriaus mokymui. Manau, kad buvo vėlyvas vakaras, bet nusprendžiau išbandyti idėją parašyti programą, kuri automatiškai padėtų mažą miniatiūros vaizdą virš kiekvienos ryškios žvaigždės lauko žvaigždės vietoje.

Eltonas

Tai buvo kvailas testas, tačiau prie kiekvienos ryškios žvaigždės vietos pridedant nedidelį Eltono Johno veido paveikslėlį, išmokant klasifikatorių prieš šį teigiamą vaizdą, o tada palyginant kaskadas prieš pradinį vaizdą, buvo daug veiksmingiau teisingai rasti teisingas modelis. Aš žinojau, kad aš kažkuo užsiimu!

7 žingsnis: pagrindiniai žymekliai

Nors „Eltonai“įrodė teoriją, man reikėjo žymeklio, kuris turėtų visą sukimosi simetriją, kad žvaigždžių raštas atrodytų vienodas, nesvarbu, kokia kryptimi jis buvo pateiktas. Aš išbandžiau daugybę žymeklių tipų ir sužinojau, kad apačioje dešinėje esantis tipas buvo efektyviausias su kontrastingais juodais ir baltais žiedais. Python programa, pateikta teigiamame „GitHub“repo aplanke, parodo, kaip nustatomos ryškiausios tam tikro vaizdo žvaigždės, ir šie žymekliai automatiškai uždengiami tose vietose. Dabar sukūrėme pagrindinių žvaigždžių modelių, nuo kurių galima treniruotis, vaizdą.

8 žingsnis: Kaskadų naudojimas

Išmokę kaskadų rinkinį, turite žinoti, kaip juos panaudoti, norint identifikuoti paveikslėlyje esantį objektą!

Pažvelkite į „GitHub“aplanką „Star Identification“, kuriame rasite programą „cascade_test19.py“. Ši patraukliai pavadinta programa paima kaskadų rinkinį iš tam tikro aplanko ir paleidžia jas visas prieš įvesties vaizdą ir praneša apie atliktus aptikimus. Funkcija „detectMultiScale“yra jos esmė, todėl aptikimo procesą apibrėžia įvairūs argumentai. Jų keitimas yra labai svarbus kaskadinio klasifikatoriaus veikimui, o daugiau apie tai galima diskutuoti kitame žingsnyje, kuriame mes ieškome, kaip pašalinti klaidingus teigiamus rezultatus.

Tai būtų galima pritaikyti palydovinėje orientacinėje sistemoje, susiejant pikselių reikšmę ribojimo langelio centre su nustatytos žvaigždės briaunos dangaus Ra/Dec koordinatėmis, o tada susiejant su kampiniu poslinkiu nuo vaizdo centro (fotoaparatas ašis). Iš to, naudojant objektyvo iškraipymo supratimą (apytiksliai iki gnomoninės projekcijos), palydovo kampą galima rasti tik iš dviejų teigiamų identifikacijų.

9 žingsnis: kaip išlikti pozityviam klaidingų teigiamų dalykų atžvilgiu

Šie du vaizdai rodo kaskados rinkinio testavimo rezultatus pagal identišką vaizdą, tačiau su skirtingais parametrais. Akivaizdu, kad pirmajame paveikslėlyje yra tikroji tapatybė, bet taip pat daugybė klaidingų teigiamų rezultatų, o antrame paveikslėlyje yra tik teisinga identifikacija.

„GitHub“repos „Star Identification“aplanke esanti programa „cascade_test19.py“rezultatams rūšiuoti naudoja du metodus. Pirma, „detectMultiScale“funkcinis parametras nustato minimalų ir maksimalų rezultato dydį, kurį galima rasti. Raspberry Pi V2 kamera) yra žinoma. Antra, kodas parinks rezultatą su didžiausiu ribojimo langeliu (neviršijant ankstesnių ribų). Bandymų metu buvo nustatyta, kad tai yra tikras teigiamas rezultatas. Trečia, programoje nustatytas minimalus „levelWeights“(faktiškai „pasitikėjimo vertė“), kurio reikia, kad šis ID būtų laikomas tikru teigiamu. Taikant šį metodą, kaskados buvo veiksmingos ieškant teisingo rezultato.

Taip pat, kaip ir žvaigždžių lauko vaizdai, aš taip pat išbandžiau tai su savo stalo nuotraukomis, pavyzdžiui, mokydamas kaskadas, skirtas atpažinti mano nešiojamąjį kompiuterį, puodelį ir pan., Kad pašalinčiau klaidingus teigiamus rezultatus. Pirmiau minėti metodai buvo veiksmingi bet kokiomis aplinkybėmis, o tai padrąsino.

10 žingsnis: diskusija

Tobulinimo sritys

Man tai buvo sudėtingas projektas ir tikrai paskatino suprasti šią temą. Iš viso buvo dirbama kelis mėnesius beveik visą darbo dieną, kad projektas pasiektų šį tašką, kai galiu juo pasidalyti su jumis, tačiau dar reikia daug nuveikti, kad būtų pagerintas metodo veikimas. Esant tokioms sąlygoms, jis gali gerai veikti. Aš stengiausi nustatyti, kuriose srityse reikia atlikti papildomą darbą, ir tikiuosi, kad artimiausiais mėnesiais galėsiu skirti laiko šioms problemoms spręsti. Jie yra:

Kampas - tai sudėtinga sritis, idėja, kad klasifikatorių rezultatai turi būti besisukantys nekintami, t. Y. Patikimumas turėtų nustatyti tikslinės žvaigždės modelį, neatsižvelgiant į tai, kokiu kampu jis pateikia vaizdą, kuriame yra tikslinės žvaigždės brūkšnys. Kaskados, apmokytos naudojant įvesties vaizdą viena orientacija, negalėsime atpažinti to vaizdo atsitiktinėmis kryptimis, todėl teigiamo vaizdo kampo dispersija turi būti įtraukta į mokymo procesą, kad būtų apmokytos kaskados, kurios gali priimti įvesties kampų diapazoną. Parametras „maxzangle“kaskados mokymo komandose pateikiamas argumentas radianais, kuris kontroliuoja kampo ribą, kuria įvestas teigiamas vaizdas bus padengtas pateiktais neigiamais vaizdais, todėl gautame teigiamo vaizdo rinkinyje bus įvairios orientacijos teigiamas įvaizdis. Tačiau didėjant šiam maksimaliam kampui, kaskados priėmimo koeficientas (plačiai tariant, kokybė) smarkiai sumažės. Manau, kad sprendimas yra treniruoti kaskadas naudojant žymiai didesnę neigiamų vaizdų duomenų bazę, nei aš naudojau, kad būtų užtikrinta, jog net ir naudojant didelę orientacijos sklaidą galima sukurti geros kokybės kaskadų klasifikatorių.

Kitas galimas sprendimas būtų išmokyti keletą kaskadų konkrečiam tikslui, kiekviena kaskada valdytų tam tikrą viso 360 laipsnių sukimosi dalį. Tokiu būdu kiekvienos pakopos kokybė gali būti išlaikyta aukšto lygio, tačiau, kita vertus, tai sukels daug daugiau kaskadų, taigi ir atpažinimo procesas bus lėtesnis.

Parametras „levelWeight“, kuris yra funkcijos „detectMultiScale“teikiama vertė, yra analogiškas atlikto aptikimo patikimumo vertei. Tai išnagrinėjus, buvo sukurta aukščiau pateikta diagrama, kurioje parodyta, kaip teigiamai identifikuojant pasitikėjimas smarkiai mažėja didėjant vaizdo orientacijai bet kuria kryptimi, patvirtinant mintis, kad tai silpnoji vieta.

Pikselių išdėstymas - daug paprastesnis, bet taip pat problemiškas taškų išdėstymo taškas, kurį iliustruoja šie du vaizdai, rodantys padidintą žvaigždės vaizdo vaizdą, kad būtų aiškiai matomi atskiri dviejų žvaigždžių pikseliai. Erozijos procesas, naudojamas programoje šveičiant visas, išskyrus ryškiausias vaizdo žvaigždes, išlaikys pirmąją žvaigždę, o antrąją pašalins, nepaisant to, kad jos yra vienodo ryškumo. Taip yra todėl, kad pirmoji žvaigždė yra sutelkta į pikselį, o antroji nėra tokia. Erozijos funkcija pašalina koncentrinius pikselių žiedus iš aplink centrinį grupės tašką, todėl pirmoji žvaigždė turės centrinį pikselį išgyventi erozijos funkciją, tačiau antroji žvaigždė bus visiškai pašalinta iš vaizdo. Todėl atskaitos žymekliai bus dedami tik ant pirmosios žvaigždės, o ne antrosios. Dėl to atsiras nenuoseklumų, dėl kurių ryškios žvaigždės tam tikrame žvaigždžių lauke gaus žymenis (taigi ir bus lyginamos su apmokytais klasifikatoriais) - todėl gali būti, kad teisingas teigiamas stebėjimas nebus įmanomas.

11 žingsnis: paskutinis žodis

Dėkojame, kad perskaitėte mano instrukciją, tikiuosi, kad šis projektas jums pasirodė įdomus. Tai buvo labai įdomus procesas, praėjo daugiau nei metai nuo tada, kai pradėjau rengti šią koncepciją, ir iki šiol džiaugiuosi rezultatais. Iš mano perskaitytos literatūros tai yra gana originali koncepcija, kuri, tobulėjant, tikrai gali būti pritaikyta įvairiose mėgėjų astronomijos programose ar daugiau.

Šis projektas man buvo staigi mokymosi kreivė, todėl tikiuosi, kad kai kurie skaitytojai, turintys daugiau programavimo patirties, gali būti įkvėpti prisidėti prie projekto tęsinio per „GitHub“puslapį, ir mes galime toliau plėtoti šį atvirojo kodo įrankį. Nekantriai lauksiu jūsų komentarų, bet neužduokite per daug sunkių klausimų!

Antroji vieta kosmoso iššūkyje