„Magicbit“duomenų vizualizavimas naudojant AWS: 5 žingsniai

2024 Autorius: John Day | [email protected]. Paskutinį kartą keistas: 2024-01-30 10:44

Duomenys, surinkti iš jutiklių, prijungtų prie „Magicbit“, bus paskelbti „AWS IOT“branduolyje per MQTT, kad būtų galima vizualizuoti grafiškai realiu laiku. Šiame projekte, kuris grindžiamas ESP32, mes naudojame „Magicbit“kaip kūrimo lentą. Todėl šiame projekte gali būti naudojama bet kuri ESP32 kūrimo plokštė.

Priedai:

„Magicbit“

1 žingsnis: istorija

Šis projektas skirtas prijungti „Magicbit“įrenginį prie „AWS Cloud“per MQTT. Duomenys, siunčiami per MQTT, analizuojami ir vizualizuojami debesyje naudojant AWS paslaugas. Taigi pradėkime

Pirmiausia eikite į „AWS Console“ir prisijunkite. Mokymosi tikslais galite naudoti nemokamą pakopos parinktį, kurią siūlo AWS. Šiam projektui to pakaks.

Kad būtų lengviau, projektą padalinsiu į dvi dalis.

Tai bus pirmasis mūsų projekto etapas. Pirmojo etapo pabaigoje duomenys bus saugomi S3 grupėse.

AWS paslaugos, kurios bus naudojamos pirmame skyriuje,

• „Kinesis“žarna
• AWS klijai
• AWS S3

Pirmiausia eikite į „AWS Kinesis“paslaugą.

Pasirinkite „Kinesis Data Firehose“, kaip parodyta žemiau, ir spustelėkite „Sukurti“

Tada būsite nukreipti į 1 „Firehose“paslaugos kūrimo veiksmą. Įveskite pristatymo srauto pavadinimą ir pasirinkite Tiesioginis pardavimas arba Kiti šaltiniai. Spustelėkite Pirmyn.

2 veiksmo lange palikite viską kaip numatytąjį ir spustelėkite kitą. Sukūrę „AWS Glue Service“, grįšime redaguoti šio veiksmo.

3 veiksme pasirinkite S3 kibirą, jei jį sukūrėte anksčiau. Priešingu atveju spustelėkite sukurti ir sukurti segmentą. S3 priešdėlio skiltyje naudokite dest/, o klaidos priešdėlyje įveskite error/. Galite įvesti bet kurį pirmiau minėtų dviejų pavadinimą. Tačiau patogumui mes ir toliau vadinsime bendrą pavadinimą. Pasirinktame segmente būtinai sukurkite aplanką pavadinimu dest. Spustelėkite Pirmyn.

4 veiksme pasirinkite minimalų buferio dydį ir buferio intervalą duomenų perdavimui realiuoju laiku. Skiltyje Leidimas pasirinkite Sukurti arba atnaujinti IAM vaidmenįKinesisFirehoseServiceRole. Palikite viską pagal numatytuosius nustatymus. Spustelėkite kitą.

Kitame skyriuje bus rodoma atliktų pakeitimų apžvalga. Spustelėkite Gerai. Tada turėsite veikiančią „Kinesis Firehose“.

Jei sėkmingai sukūrėte „Firehose“paslaugą, gausite kažką panašaus.

2 žingsnis: išbandykite žarnyną ir S3 kibirą

Norėdami patikrinti, ar židinys ir S3 kaušas veikia tinkamai, konsolėje pasirinkite IOT šerdį. Būsite nukreipti į tokį puslapį. Pasirinkite taisyklę ir sukurkite taisyklę.

Kas yra AWS IOT taisyklė?

Jis naudojamas bet kokiems MQTT gautiems duomenims persiųsti į tam tikrą paslaugą. Šiame pavyzdyje mes persiųsime „Kinesis Firehose“.

Pasirinkite taisyklės pavadinimą. Palikite taisyklės ir užklausos pareiškimą tokį, koks yra. Tai mums sako, kad viskas, kas paskelbta „iot/topic“temoje, bus persiųsta į „kinesis Firehose“pagal šią taisyklę.

Skiltyje Nustatykite vieną ar daugiau veiksmų spustelėkite Pridėti veiksmą. Pasirinkite Siųsti pranešimą „Amazon Kinesis Firehose Stream“. Pasirinkite konfigūruoti. Tada pasirinkite anksčiau sukurto židinio srauto pavadinimą. Tada spustelėkite Sukurti vaidmenį ir sukurkite vaidmenį. Dabar sėkmingai sukūrėte vaidmenį AWS.

Bet koks jūsų paskelbtas pranešimas bus persiųstas per „Kinesis Firehose“į S3 grupes.

Atminkite, kad „Firehose“siunčia duomenis, kai jo buferis yra užpildytas arba kai pasiekiamas buferio intervalas. Minimalus buferio intervalas yra 60 sek.

Dabar galime pereiti prie antrosios projekto dalies. Tai bus mūsų duomenų srauto diagrama.

3 žingsnis: AWS klijų konfigūravimas

Kodėl mums reikia AWS klijų ir AWS Athena?

S3 grupėse saugomi duomenys negali būti tiesiogiai naudojami kaip įvestis į „AWS Quicksight“. Pirmiausia turime sutvarkyti duomenis lentelių pavidalu. Tam naudojame dvi aukščiau paminėtas paslaugas.

Eikite į „AWS Glue“. Šoninėje įrankių juostoje pasirinkite Tikrintuvas. Tada pasirinkite Pridėti tikrintuvą.

Pirmajame žingsnyje įveskite tikrintuvo pavadinimą. Spustelėkite kitą. Kitame žingsnyje palikite jį kaip numatytąjį. Trečiame žingsnyje įveskite kelią į pasirinktą S3 kibirą. Kitą langą palikite kaip numatytąjį. Penktame lange įveskite bet kurį IAM vaidmenį. Kitame žingsnyje pasirinkite paslaugos teikimo dažnumą.

Patartina išskleidžiamajame laukelyje pasirinkti pasirinktinį ir pasirinkti minimalų laiką.

Kitame veiksme spustelėkite Pridėti duomenų bazę, tada kitą. Spustelėkite Baigti.

Dabar turėtume integruoti savo „Kinesis Firehose“žarną į AWS klijus, kuriuos sukūrėme.

Eikite į mūsų sukurtą „AWS Kinesis“židinį ir spustelėkite „Redaguoti“.

Slinkite žemyn iki skyriaus Konvertuoti įrašo formatą ir pasirinkite Įgalinta.

Pasirinkite išvesties formatą kaip „Apache Parquet“. Likusiai informacijai užpildykite savo sukurtos klijų duomenų bazės duomenis. Duomenų bazėje reikia sukurti lentelę ir pavadinimą įtraukti į šį skyrių. Spustelėkite Išsaugoti.

4 žingsnis: AWS Athena konfigūravimas

Pasirinkite duomenų bazę ir sukurtą duomenų lentelę. Užklausos skyriuje šį kodą reikia pridėti.

lentelės pavadinimą reikia pakeisti faktiniu jūsų sukurtos klijų lentelės pavadinimu.

Spustelėkite Vykdyti užklausą. Jei jis veikia, duomenys, saugomi AWS S3 segmente, turėtų būti rodomi kaip duomenų lentelė.

Dabar esame pasirengę vizualizuoti gautus duomenis.

5 veiksmas: „QuickSight“konfigūravimas

Eikite į „AWS Quicksight“

Viršutiniame dešiniajame kampe spustelėkite Nauja analizė, tada spustelėkite Naujas duomenų rinkinys.

Iš sąrašo pasirinkite Athena. Iššokančioje kortelėje įveskite bet kurį duomenų šaltinio pavadinimą.

Išskleidžiamajame lauke ir atitinkamoje lentelėje pasirinkite klijų duomenų bazę. Tai nuves jus į šį puslapį.

Vilkite ir numeskite bet kurį lauką iš laukų sąrašo ir pasirinkite bet kokį vaizdinį tipą.

Dabar galite vizualizuoti bet kokius duomenis, siunčiamus iš „MagicBit“, naudodami AWS paslaugas !!!

Nepamirškite, kad atitinkamiems S3 segmentams būtų suteikta prieiga prie greitojo stebėjimo, kad būtų galima vizualizuoti juose esančius duomenis.