Kvantimetrinis vaizdo apdorojimas: 5 žingsniai

2024 Autorius: John Day | [email protected]. Paskutinį kartą keistas: 2024-01-30 10:48

(Aukščiau pateiktas paveikslėlis iliustruoja esamo vaizdo apdorojimo metodo palyginimą su kvantimetriniu vaizdo apdorojimu. Atkreipkite dėmesį į patobulintą rezultatą. Viršuje dešinėje rodomi keisti artefaktai, atsirandantys dėl neteisingos prielaidos, kad nuotraukos matuoja kažką, pvz., Šviesą. Apatiniame dešiniajame paveikslėlyje rodomas geresnis rezultatas, padarius tą patį kiekybiškai.)

Šioje instrukcijoje sužinosite, kaip labai pagerinti esamų vaizdo ar regos jutiklių sistemų našumą, naudojant labai paprastą koncepciją: kvantimetrinį vaizdo jutimą

Kvantimetrinis vaizdo apdorojimas labai pagerina bet kurį iš šių būdų:

• Esamas vaizdo apdorojimas, pvz., Vaizdo debluringas;
• Mašinų mokymasis, kompiuterio vizija ir modelio atpažinimas;
• Nešiojamas veido atpažinimo įrenginys (žr. Http://wearcam.org/vmp.pdf), AI ir HI regėjimas ir kt.

Pagrindinė idėja yra kiekybiškai iš anksto apdoroti ir apdoroti vaizdus taip:

1. Išplėskite vaizdo ar vaizdų dinaminį diapazoną;
2. Apdorokite vaizdą ar vaizdus, kaip įprastai;
3. Suspauskite vaizdo ar vaizdų dinaminį diapazoną (t. Y. Anuliuoti 1 veiksmą).

Ankstesnėse instrukcijose dėstiau kai kuriuos HDR (didelio dinaminio diapazono) ir kvantimetrinio jutimo aspektus, pvz. tiesiškumas, superpozicija ir kt.

Dabar panaudokime šias žinias.

Atlikite bet kokį esamą procesą, kurį norite naudoti. Pavyzdys, kurį aš parodysiu, yra vaizdo debluringas, bet jūs taip pat galite jį naudoti beveik bet kam kitam.

1 veiksmas: išplėskite savo vaizdo ar vaizdų dinaminį diapazoną

(Skaičiai pritaikyti iš „Intelligent Image Processing“, John Wiley ir Sons Interscience Series, Steve Mann, 2001 m. Lapkritis)

Pirmasis žingsnis yra išplėsti įvesties vaizdo dinaminį diapazoną.

Idealiu atveju pirmiausia turėtumėte nustatyti fotoaparato atsako funkciją f ir tada vaizdui taikyti atvirkštinį atsaką, f atvirkštinį.

Įprastos kameros yra suspaudžiamos dinaminio diapazono, todėl paprastai norime taikyti išplėstinę funkciją.

Jei nežinote atsakymo funkcijos, pirmiausia pabandykite ką nors paprasto, pvz., Įkelti vaizdą į vaizdų masyvą, perkelti kintamuosius į duomenų tipą, pvz., (Plūdės) arba (dvigubas), ir padidinti kiekvieną pikselio vertę iki eksponento, pavyzdžiui, kaip, pavyzdžiui, kiekvienos pikselio vertės kvadratas.

Pagrindimas:

Kodėl mes tai darome?

Atsakymas yra tas, kad dauguma kamerų suspaudžia savo dinaminį diapazoną. Taip yra todėl, kad dauguma vaizdinės medžiagos išplečia dinaminį diapazoną. Tai atsitiktinai: katodinių spindulių televizoriaus ekrano skleidžiamas šviesos kiekis yra maždaug lygus įtampai, pakeltai iki 2,22 laipsnio, taigi, kai vaizdo įtampos įvestis yra maždaug perpus, skleidžiamos šviesos kiekis yra daug mažiau nei pusė.

Fotografijos laikmenos taip pat yra dinamiško diapazono. Pavyzdžiui, fotografinė „neutrali“pilka kortelė skleidžia 18% krintančios šviesos (ne 50% krintančios šviesos). Manoma, kad tiek šviesos (18%) yra atsakymo viduryje. Taigi, kaip matote, jei pažvelgsime į išvesties grafiką kaip įvesties funkciją, vaizdinė laikmena elgsis taip, lyg būtų idealūs linijiniai ekranai, kuriuose yra dinaminio diapazono plėtiklis prieš idealų tiesinį atsaką.

Viršuje esančiame paveikslėlyje galite matyti ekraną, įterptą į punktyrinę liniją, ir tai prilygsta plėtiniui prieš idealų linijinį ekraną.

Kadangi ekranai iš esmės yra platūs, kameros turi būti suprojektuotos taip, kad būtų suspaudžiamos, kad vaizdai gerai atrodytų esamuose ekranuose.

Senais laikais, kai buvo tūkstančiai televizijos imtuvų ekranų ir tik viena ar dvi transliavimo stotys (pvz., Tik viena ar dvi televizijos kameros), buvo lengviau išspręsti, kaip į kamerą įdėti suspaudžiantį netiesiškumą, nei prisiminti visus televizorius ir įdėkite po vieną į kiekvieną televizoriaus imtuvą.

Atsitiktinai tai taip pat padėjo sumažinti triukšmą. Garso įraše mes tai vadiname „Dolby“(„sudėtinga“) ir suteikiame už tai patentą. Vaizdo įraše viskas įvyko visiškai atsitiktinai. Stockhamas pasiūlė, kad prieš apdorodami vaizdus turėtume paimti logaritmą ir tada paimti antilogą. Jis nesuprato, kad dauguma fotoaparatų ir ekranų tai jau daro atsitiktinai. Vietoj to, aš pasiūliau, kad mes elgiamės visiškai priešingai nei pasiūlė Stockhamas. (Žr. „Pažangus vaizdo apdorojimas“, John Wiley ir Sons Interscience Series, 109-111 psl.)

Apatiniame paveikslėlyje matote siūlomą antihomomorfinį (kvantimetrinį) vaizdo apdorojimą, kuriame pridėjome dinaminio diapazono išplėtimo ir suspaudimo žingsnį.

2 veiksmas: apdorokite vaizdus arba atlikite kompiuterio viziją, mašinų mokymąsi ar pan

Antrasis žingsnis po dinaminio diapazono išplėtimo yra vaizdų apdorojimas.

Mano atveju aš tiesiog atlikau vaizdo dekonvoliuciją su neryškumo funkcija, t.

Yra dvi plačios kvantimetrinio vaizdo jutimo kategorijos:

• Padėti žmonėms pamatyti;
• Pagalbinės mašinos žr.

Jei bandome padėti žmonėms pamatyti (tai yra pavyzdys, kurį čia rodau), mes dar nebaigėme: turime perkelti apdorotą rezultatą atgal į vaizdų erdvę.

Jei padedame mašinoms matyti (pvz., Veido atpažinimą), dabar viskas baigta (nebūtina pereiti prie 3 veiksmo).

3 žingsnis: Iš naujo suspauskite rezultato dinaminį diapazoną

Kai dirbame išplėstame dinaminiame diapazone, sakoma, kad esame „šviesos erdvėje“(kvantimetrinėje vaizdų erdvėje).

2 veiksmo pabaigoje mes esame šviesos erdvėje ir turime grįžti į vaizdų erdvę.

Taigi šis 3 žingsnis skirtas grįžti į vaizdų erdvę.

Norėdami atlikti 3 veiksmą, tiesiog suspauskite 2 veiksmo išvesties dinaminį diapazoną.

Jei žinote fotoaparato atsako funkciją, tiesiog pritaikykite ją, kad gautumėte rezultatą, f (p (q)).

Jei nežinote fotoaparato atsako funkcijos, tiesiog gerai atspėkite.

Jei atlikdami 1 veiksmą suskaidėte vaizdo taškus kvadratu, dabar laikas paimti kiekvieno vaizdo pikselio kvadratinę šaknį ir grįžti prie savo spėjimo dėl vaizdų erdvės.

4 žingsnis: galbūt norėsite išbandyti kitus variantus

Blurring yra tik vienas iš daugelio galimų pavyzdžių. Pavyzdžiui, apsvarstykite kelių ekspozicijų derinimą.

Padarykite bet kokias dvi nuotraukas, tokias kaip dvi, kurias turiu aukščiau. Vienas buvo paimtas dieną, o kitas - naktį.

Sujunkite juos, kad padarytumėte prieblandos vaizdą.

Jei tik palyginate juos kartu, tai atrodo kaip šiukšlės. Išbandykite tai patys!

Bet jei pirmiausia išplėsite kiekvieno vaizdo dinaminį diapazoną, tada pridėsite jį, o tada suspausite sumos dinaminį diapazoną, jis atrodo puikiai.

Palyginkite vaizdų apdorojimą (vaizdų pridėjimą) su kvantimetriniu vaizdų apdorojimu (išplėtimu, pridėjimu ir suspaudimu).

Mano kodą ir daugiau pavyzdinės medžiagos galite atsisiųsti iš čia:

5 veiksmas: eikite toliau: dabar išbandykite naudodami HDR vaizdo kompozicijas

(Viršuje vaizdas: HDR suvirinimo šalmas naudoja kvantimetrinį vaizdo apdorojimą papildytos realybės perdangoms. Žr. „Slashgear 2012“, rugsėjo 12 d.)

Apibendrinant:

užfiksuokite vaizdą ir atlikite šiuos veiksmus:

1. išplėsti vaizdo dinaminį diapazoną;
2. apdoroti vaizdą;
3. suspausti rezultato dinaminį diapazoną.

Ir jei norite dar geresnio rezultato, pabandykite atlikti šiuos veiksmus:

užfiksuoti daugybę skirtingai eksponuotų vaizdų;

1. išplėsti dinaminį diapazoną į šviesos erdvę, kaip nurodyta mano ankstesniame „Instructable on HDR“;
2. apdoroti gautą kvantimetrinį vaizdą q šviesos erdvėje;
3. suspausti dinaminį diapazoną naudojant tonografiją.

Smagiai praleiskite laiką ir spustelėkite „Aš tai padariau“ir paskelbkite savo rezultatus, ir aš mielai pakomentuosiu ar suteiksiu konstruktyvios pagalbos.