Fotogrametrijos naudojimas modeliams kurti: 9 žingsniai

2024 Autorius: John Day | [email protected]. Paskutinį kartą keistas: 2024-01-30 10:45

Kas aš esu?

Aš esu Samuelis Conklinas ir antrokas E. L. Meyers vidurinė mokykla. Pastaruosius porą mėnesių eksperimentavau su fotogrametrija ir tikiuosi jums padėti, jei nuspręsite atkurti šį produktą. Man įdomu pamatyti, kaip kiti žmonės gali naudoti šią naują ir nuolat tobulėjančią technologiją.

Kas yra virtuali realybė ir „SteamVR“?

Virtuali realybė yra nauja meninės išraiškos ir patirties forma. Tai vis dar nauja technologijų riba, nes daugybė įmonių ir žmonių stengiasi tobulinti terpę. Jūs darote sau didelę meškos paslaugą, jei niekada nebandėte VR, nes ji visiškai apima vartotojo regėjimo ir garso pojūtį. Viena iš pagrindinių virtualios realybės platformų yra „Valve“„SteamVR“. „SteamVR“leidžia vartotojams nemokamai nemokamai dalytis aplinka ir kurti elementus. Jis dažniausiai yra atviro šaltinio ir leidžia begalę laisvų rankų įrangos. Tai apima, bet neapsiribojant, „HTC Vive“seriją, „Oculus Rifts“, „Oculus Quest“, „Valve Index“, „Windows Mixed Reality“ir kt. „SteamVR“yra platforma, kurią naudojame kurdami savo aplinką.

Kas yra fotogrametrija ir kaip ji gali būti naudojama?

Fotogrametrija yra nuotraukų ar vaizdo įrašų darymo ir vaizdų pavertimo 3D modeliu procesas. Garsiausias šios technologijos naudojimo pavyzdys yra „Google“žemė. „Google“naudoja palydovinius vaizdus ir gatvių vaizdus kraštovaizdžiams ir pastatams atkurti. Žvelgiant į „Google“žemę, akivaizdu, kad jie turėjo nedaug vaizdų, iš kurių galima dirbti, todėl kai kurie pastatai atrodys netinkamai. Tinkamai naudojama fotogrametrija yra labai įtikinamas 3D modelių kūrimo būdas. Šis projektas naudoja šią technologiją, kad išsaugotų istorinius orientyrus. Erozija ir poveikis elementams reiškia, kad istoriniai orientyrai ilgainiui sunyks ir žmonės apie juos pamirš. Naudodami fotogrametriją, galime viską išsaugoti skaitmeniniu būdu, todėl ateities kartos galės patirti ir įvertinti šias struktūras. Tai taip pat reiškia, kad daugiau žmonių visame pasaulyje galėtų patirti kitų kultūrų be išlaidų ar rizikos keliauti.

Kokių reikmenų man reikia?

Šiam projektui naudojau „Reality Capture“, „SteamVR“ir „Krita“. Yra „Autodesk“, „Agisoft“ir „Zephyr“programos, kurias galima naudoti vietoj „Reality Capture“, jei neturite reikiamo „Nvidia“GPU, kad jį paleistumėte. Vietoj „Krita“galima naudoti „Photoshop“ar kitas nuotraukų redagavimo programas, tačiau kadangi ja naudotis galima nemokamai ir viešai, nusprendžiau ją naudoti šiam projektui. Jums taip pat reikės „Desktop VR“laisvų rankų įrangos, kurią galima prijungti tiesiai prie kompiuterio. Galiausiai reikia aukštos kokybės fotoaparato. Mobilioji kamera yra tinkama, bet aš naudoju „Nikon D7000“, nes „Reality Capture“gali automatiškai aptikti fotoaparato diafragmą, o tai lemia aukštesnės kokybės modelius.

1 žingsnis: Fotografavimas

Tai yra svarbiausia šio projekto dalis, nes jūs turite tai padaryti teisingai vienu metu. Jei to nepadarysite, turėsite grįžti į vietą ir viską pakartoti.

Pirmiausia turite rasti tinkamą vietą ir struktūrą. Struktūra turėtų būti didelė ir lengvai atpažįstama. Tai reiškia, kad fotogrametrijos programinė įranga galės aptikti struktūros ir fono skirtumus.

Paprastai fotografuoti apsiniaukusią dieną yra geriausias būdas. Taip yra todėl, kad saulėta diena gali per daug eksponuoti kai kurias nuotraukas, o kitas - nepakankamai. Tai taip pat gali sukelti nepageidaujamų šešėlių. Modelis, kuriame yra mažai šešėlių arba jų nėra, palengvins apšvietimą lygio tobulinimo skyriuje. Be to, programinės įrangos spalvų balansas turi išlikti tas pats su kiekviena nuotrauka, nes ji naudoja spalvas objekto dydžiui apskaičiuoti. Tačiau fotografavimas apsiniaukusią dieną pagerins struktūros kokybę. Danguje esantys debesys veiks kaip natūralus fotoaparato difuzorius. Tai paskirsto šviesą tolygiau ir reiškia, kad modelis taps tikslus atvaizdavimo proceso metu.

Paskutinis patarimas - padaryti kuo daugiau nuotraukų. Dauguma programų pasirenka, kurias nuotraukas ji naudos galutiniam produktui. Padarius daugiau nuotraukų, viskas bus tiksliau ir suteiks programai šiek tiek kvėpavimo. Turėjau apie 150–300 kiekvieno modelio nuotraukų.

2 žingsnis: Darbo su fotogrametrijos programine įranga pradžia

Dabar mes importuosime nuotraukas į programinę įrangą. Atminkite, kad „Reality Capture“reikalinga „Nvidia“vaizdo plokštė. Be jo negalite praeiti skyriaus „Lygiuoti vaizdus“.

Jei turite aplanką su visais vaizdais, kuriuos norite naudoti, viršutiniame kairiajame kampe pasirinkite parinktį Aplankas. Tai pateks į failų tvarkyklę ir galėsite pasirinkti aplanką. Įvestys leis jums pasirinkti atskiras nuotraukas naudojant failų tvarkyklę.

Toliau pradėsime modelio kūrimo procesą. Ekrano viršuje, skiltyje Darbo eiga, yra skyrius Procesas. Norime paspausti didesnį mygtuką Pradėti. Tai pradės derinti vaizdus. Ketvirtoje nuotraukoje trumpai parodyta, kas vyksta šio proceso metu. Jis atpažins kairę elnio akį ir palygins atstumą su kitomis nuotraukomis. Ji ir toliau lygins skirtingas nuotraukas, kol neatliks visų galimų derinių. Šis žingsnis baigtas, jei matote mažus taškus, panašius į struktūrą.

3 žingsnis: apskaičiuokite ir supaprastinkite

Kitas žingsnis - apskaičiuoti modelį. Norėdami tai padaryti, skyriuje Procesas spustelėkite „Apskaičiuoti modelį“. Tai tiesiogiai pavers viską, kas randama nuotraukose, į 3D formą. Rezultatai yra artimi tam, kaip norime, kad modelis atrodytų, tačiau su šia modelio versija yra trys problemos. Pirma, modelyje yra skylių, kurios nėra realaus gyvenimo struktūroje. Antra, paviršius yra per daug nelygus. Kadangi programa apytiksliai apskaičiuoja, kai kurie lygūs paviršiai neteisingai padarys nelygius. Trečia, trikampių yra per daug. Kiekvienas „Reality Capture“modelis sukurtas naudojant mažus trikampius. Kiekvienas trikampis žymi mažą modelio paviršių. Norime, kad modeliui optimizuoti būtų kuo mažiau trikampių. Jei trikampių yra per daug, tai gali sukelti tam tikrų našumo problemų.

Šias problemas galima išspręsti naudojant įrankį „Supaprastinti“. Po modelio skaičiavimo etapo visi modeliai turės 3 000 000 trikampių, ir mes galime pasirinkti, kad šis skaičius būtų didesnis arba mažesnis. Visiems modeliams, tokiems kaip šiame projekte, aš sumažinau trikampių skaičių iki 1 000 000. Rezultatą galima rasti antrame paveikslėlyje, kur visi nelygūs paviršiai yra lygesni ir yra mažiau skylių. Be to, esant mažiau trikampių, našumas bus geresnis, kai pateksime į VR.

4 žingsnis: spalva ir tekstūra

Dabar modeliui reikės spalvos ir tekstūros, kad jis taptų dar tikresnis gyvenimui. Šios dvi dalys yra panašios tuo, ką jos pasiekia, tačiau skiriasi tuo, kaip jos veikia. Naudojant spalvą, kurią rasite skyriuje Procesas, programa modelio spalvas nuspalvins. Įrankis nufotografuos modeliui sukurti ir apjuos vaizdus aplink skirtingus modelio paviršius. Kita vertus, tekstūra nuspalvins supaprastintas modelio dalis. Žvelgiant į pirmąjį vaizdą, aiškiai matyti, kaip programa apvyniojo vaizdus aplink modelį, tačiau antrame po tekstūros proceso dabar aštrios vaizdų pusės yra išlygintos.

5 veiksmas: eksportavimas ir „SteamVR“

„Reality Capture“modelius perkelsime į „SteamVR“. Ekrano viršuje, skiltyje Eksportuoti, pasirinkite „Mesh“, esančią šalia skyriaus „Procesas“. Turėtumėte pamatyti šį iššokantįjį langą, leidžiantį pakeisti modelio nustatymus ir parametrus. Geriausia, jei visi nustatymai yra numatyti pagal numatytuosius nustatymus, išskyrus tekstūros formato JPEG pakeitimą. Dabar programa eksportuos failą OBJ formatu, kuris yra tinklinis failas, ir JPEG, kuris yra modelio tekstūros failas. Atskaitos tikslais JPEG turėtų atrodyti kaip antrasis šio veiksmo vaizdas.

Dabar turime importuoti savo modelius į „SteamVR“. Pirmiausia atidarykite „SteamVR“, tada eikite į „Sukurti/modifikuoti aplinką“, esančią skirtuke „Seminaras“. Dabar bus atidaryti „SteamVR“dirbtuvių įrankiai. Pasirinkite Sukurti tuščią priedą ir spustelėkite Paleidimo įrankiai.

Dabar bus atidaryta išteklių naršyklė su įvairiomis medžiagomis ir modeliais. Viršuje kairėje yra piktograma su plaktuko simboliu. Tai yra integruotas „SteamVR Hammer“redaktorius, suteikiantis galimybę kurti žemėlapius. Žemėlapiai yra aplinka, kurioje VR vartotojas gyvens žaidimo metu.

6 veiksmas: sukurkite „SteamVR“žemėlapį

Kai „Hamam“redaktorius atidarytas „SteamVR“, dabar galime sukurti kubą. Norime sukurti kubą, kad galėtume pradėti kurti aplinką. Programa leidžia pakeisti kubo dydį prieš jį pritvirtinant. Šiuo metu matomi tik išoriniai kubo paviršiai. Paspaudus CTRL+F, visi paviršiai bus apversti ir kubą pavers kambariu. Be to, turėsite pridėti objektą, pavadintą info_player_start, kuris nurodys „Hammer“, kur įkels programą įkėlus programą.

Kad kambarys taptų tikroviškesnis, taip pat turime pridėti tekstūrų. Naudodami medžiagos redaktorių galime pridėti keletą pasirinktinių vaizdų. Tai apskrito piktograma turto naršyklės „Hammer“mygtuko dešinėje. Pasirinkę medžiagos redaktorių, pateksite į naują langą, kuriame galėsite importuoti vaizdą, kad jis taptų tekstūra. Galite naudoti savo atvaizdus arba gauti vaizdų iš akcijų tekstūros svetainių, tokių kaip textures.com. Spustelėkite failo mygtuką, esantį po spalvų pasirinkimu, kad pasirinktumėte norimą naudoti vaizdą. Pasirinkę vaizdą, būtinai jį išsaugokite paspausdami diskelio piktogramą, esančią viršutiniame kairiajame „Material Editor“lango kampe. Dabar uždarykite medžiagos redaktorių ir grįžkite į išteklių naršyklę. Čia ieškokite tekstūros failo, kurį norite naudoti, tada spustelėkite ir vilkite jį į plaktuko redaktorių. Šiame lange galite pritaikyti tekstūrą skirtingiems kubo paviršiams.

Mes taip pat turime pridėti kambario apšvietimą. Norėdami tai padaryti, į savo žemėlapį įdedame „light_omni“arba „light_spot“, kuris yra objekto skiltyje, esančioje žemėlapio rodinio kairėje. „Light_omni“skleis šviesą visomis kryptimis, o „light_spot“- viena konkrečia kryptimi. Šiam projektui aš panaudojau bent du šviesos_taškus kiekvienam objektui ir vieną šviesą_nami, kad padėtų apšviesti kambarį.

7 žingsnis: mūsų objektų pridėjimas prie žemėlapio

Dabar atėjo laikas pradėti perkelti objektus į mūsų žemėlapį. Išteklių naršyklėje, medžiagos redaktoriaus piktogramos dešinėje, yra modelio redaktorius, panašus į humanoidinę piktogramą. Atidarę modelių redaktorių, turėsite galimybę naršyti arba sukurti naują VDML, kuris yra „Hammer Editor“OBJ failo versija. Pasirinkite parinktį sukurti naują VDML ir jums reikės sukurti aplanką. Šiame aplanke bus saugomas VDML failas. Įsitikinkite, kad jis yra aplanke „Pridėti“ir paspauskite „Tęsti“.

Taip būsite nukreipti į ekraną su savo modeliu, kurio tekstūra balta. Norėdami pridėti šio modelio tekstūrą, kairėje esančioje įrankių juostoje pasirinkite Medžiagos. Tai pateks į medžiagos redaktorių ir galėsite pasirinkti JPEG iš „Reality Capture“eksporto. Būtinai išsaugokite tekstūrą ir modelį spustelėdami diskelio piktogramą. Grįžkite į „Hammer Editor“.

„Hammer“galite nuvilkti modelį iš išteklių naršyklės į žemėlapį. Modelis greičiausiai bus mažas ir turėsite jį pakeisti. Paspaudę klaviatūros klavišą T, galite pakeisti jo vietą žemėlapyje. Paspaudus E, modelio proporcijos pasikeis, o R - jį pasuks.

8 žingsnis: objekto etikečių kūrimas

Šalia kiekvieno orientyro matomos objektų etiketės pateikia kontekstą ir istoriją, kad pagerintų naudotojo patirtį. Savo objektų etiketėse aš tiesiog fotografavau informacines lentas kiekvienoje vietoje, kad galėčiau lengvai įrašyti svarbią informaciją, kurią norėjau naudoti vėliau. Tada aš sukūriau nemokamą nuotraukų redagavimo programinę įrangą „Krita“, norėdamas sukurti objektų etiketes, įskaitant papildomus vaizdus ir tekstą.

„Miner Park“ir „Inchor“kambario pusėje nebuvo jokių problemų pridedant etiketes kaip tekstūras. Tiesiog pridėkite juos prie savo išteklių naršyklės per medžiagų redaktorių ir pridėkite vaizdą prie bloko, kurį galima sukurti naudojant plaktuko redaktorių. Kilo problemų, kai sukūriau lentas kitai kambario pusei. Visas tekstas ir vaizdai buvo atgal ir nebuvo aiškaus būdo pakeisti tekstūrą redaktoriuje. Norėdami tai išspręsti, grįžau į Kritą ir pakeičiau elnių ir lokio lentas, ir, laimei, tai išsprendė problemą.

Be to, pridėjau įvairių Wilkes-Barre vaizdų, nes norėjau sukurti kambarį, kuriame būtų butiko muziejaus pojūtis ir atmosfera.

9 žingsnis: Išvada

Apibendrinant galima pasakyti, kad tiek virtualioji realybė, tiek fotogrametrija gali labai pagerinti daugybę pramonės šakų, įskaitant, bet neapsiribojant, sportą, nekilnojamąjį turtą ir teismo mediciną. Šiandien naudoju fotogrametriją, kad išsaugočiau keletą mažų, bet svarbių gimtojo miesto vietos istorijos dalių. VR ir fotogrametrija vis dar yra eksperimentinės technologijos, kurios kartais gali kelti iššūkį. Nepaisant tam tikrų trūkumų, abiejų procesų novatoriškas panaudojimas yra įdomus ir neribotas. Dėkoju, kad skaitėte apie šį projektą, ir tikiuosi, kad tai įkvėpė išbandyti kažką naujo naudojant virtualią realybę.

Projekto atsisiuntimo nuorodą rasite čia.