2 dalis. „ThinkBioT“modelis su „Google AutoML“: 8 žingsniai

2024 Autorius: John Day | [email protected]. Paskutinį kartą keistas: 2024-01-30 10:46

„ThinkBioT“sukurtas „Plug and Play“su „Edge TPU“suderinamais „TensorFlow Lite“modeliais.

Šioje dokumentacijoje aptarsime spektrogramų kūrimą, jūsų duomenų formatavimą ir „Google AutoML“naudojimą.

Šioje pamokoje esantis kodas bus parašytas „bash“, todėl bus suderinamas su keliomis platformomis.

Priklausomybės

• Tačiau prieš pradėdami turėsite įdiegti „Sox“komandų eilutės garso programą, suderinamą su „Windows“, „Mac“ir „Linux“įrenginiais.
• Jei naudojate „Windows“įrenginį, lengviausias būdas paleisti „bash“scenarijus yra naudojant „Git“, todėl rekomenduočiau atsisiųsti ir įdiegti, nes tai naudinga daugeliu atžvilgių,
• Norėdami redaguoti kodą, naudokite mėgstamą redaktorių arba įdiekite „NotePad ++“, skirtą „Windows“, arba „Atom“kitoms operacinėms sistemoms.

** Jei turite esamą „TensorFlow“modelį arba norėtumėte išbandyti mokymąsi perkelti naudodami esamą modelį, žr. „Google Coral“dokumentaciją.

1 veiksmas: nustatykite „Google Cloud Storage Bucket“

1. Prisijunkite prie savo „Gmail“paskyros (arba sukurkite ją, jei neturite „Google“paskyros)

2. Eikite į projektų parinkimo puslapį ir sukurkite naują modelio ir spektrogramos failų projektą. Turėsite įgalinti atsiskaitymą, kad galėtumėte toliau tobulėti.

3. Apsilankykite https://cloud.google.com/storage/ ir puslapio viršuje paspauskite mygtuką „Sukurti grupę“.

4. Įveskite pageidaujamą segmento pavadinimą ir sukurkite grupę, kurioje priimami numatytieji nustatymai.

2 veiksmas: suformatuokite savo duomenis ir sukurkite duomenų rinkinį Csv

Sukūriau naudingą scenarijų, kad sukurtumėte failą „dataset.csv“, reikalingą jūsų modeliui sukurti. Duomenų rinkinio failas susieja jūsų segmente esančius vaizdus su duomenų rinkinio etiketėmis.

1. Atsisiųskite „ThinkBioT“saugyklą iš „GitHub“ir

2. Nukopijuokite failą tbt_spect_example.sh iš įrankių katalogo į naują darbalaukio aplanką.

3. Pridėkite garso failus, kuriuos norėtumėte naudoti savo modelyje, įdėdami juos į aplankus, pažymėtus jų etikete (ty į tai, į ką norėtumėte, kad jie būtų surūšiuoti. Pavyzdžiui, jei norite identifikuoti šunis ar kates, galite turėti aplanką šuo, su žievės garsais ARBA aplankas pavadinimu katė su kačių garsais ir pan.

4. Atidarykite „tbt_spect_example.sh“naudodami „Notepad ++“ir pakeiskite „yourbucknamename“54 eilutėje „Google“saugyklos segmento pavadinimu. Pavyzdžiui, jei jūsų segmentas buvo vadinamas myModelBucket, eilutė bus pakeista į

kibiras = "gs: // myModelBucket/spectro-data/"

5. Vykdykite kodą įvesdami savo „Bash“terminale šį kodą, kuris bus paleistas ir sukurs jūsų etikečių csv failą ir katalogą, vadinamą spektro duomenimis, ant jūsų stalo su gautomis spektrogramomis.

sh tbt_spect_example.sh

3 veiksmas: įkelkite savo spektrogramas į savo kibirą

Yra keletas būdų, kaip įkelti į „Google“saugyklą, lengviausia įkelti tiesioginį aplankų įkėlimą;

1. „Google“saugyklos puslapyje spustelėkite savo segmento pavadinimą.

2. Pasirinkite mygtuką „UPLOAD FOLDER“ir įkelkite katalogą „spectro-data/“, sukurtą paskutiniame veiksme.

ARBA

2. Jei turite daug failų, kuriuos rankiniu būdu sukuriate „spectro-data/“katalogą pasirinkdami „CREATE FOLDER“, tada eikite į aplanką ir pasirinkite „UPLOAD FILES“. Tai gali būti puiki galimybė dideliems duomenų rinkiniams, nes galite įkelti spektrogramas dalimis, net naudodami kelis kompiuterius, kad padidintumėte įkėlimo greitį.

ARBA

2. Jei esate patyręs vartotojas, galite įkelti ir per „Google Cloud Shell“;

gsutil cp spectro-data/* gs: // your-bucket-name/spectro-data/

Dabar turėtumėte turėti pilną kibirą gražių spektrogramų!

4 veiksmas: įkelkite duomenų rinkinį į grupę

Dabar turime įkelti „model-labels.csv“failą į „spektro-data/“katalogą „Google“saugykloje. Tai iš esmės yra tas pats, kas paskutinis veiksmas, o jūs įkeliate tik vieną failą, o ne daugelį.

1. „Google“saugyklos puslapyje spustelėkite savo segmento pavadinimą.

2. Pasirinkite mygtuką „UPLOAD FILE“ir įkelkite anksčiau sukurtą modelio labels.csv failą.

5 veiksmas: sukurkite duomenų rinkinį

1. Pirmiausia turėsite rasti „AutoML VIsion“API, tai gali būti šiek tiek sudėtinga! Lengviausias būdas yra ieškoti „automl vision“„Google Cloud“saugyklos paieškos juostoje (nuotraukoje).

2. Kai spustelėsite API nuorodą, turėsite įgalinti API.

3. Dabar būsite „AutoML Vision“prietaisų skydelyje (pavaizduota), spustelėkite naujo duomenų rinkinio mygtuką, pasirinkite „Single label“ir „Select a CSV file“. Tada į saugyklos grupę įtraukite nuorodą į savo modelio labels.csv failą. Jei sekėte šią pamoką, ji bus tokia, kaip nurodyta toliau

gs: //yourBucketName/spectro-data/model-labelsBal.csv

4. Tada paspauskite „Tęsti“, kad sukurtumėte duomenų rinkinį. Sukurti gali prireikti šiek tiek laiko.

6 veiksmas: sukurkite savo „AutoML“modelį

Gavę el. Laišką, kuriame pranešama, kad duomenų rinkinys buvo sukurtas, esate pasiruošę sukurti naują modelį.

1. Paspauskite TRAIN mygtuką
2. Pasirinkite modelio tipą: „Edge“ir „Model latentity“įvertinimai: „Edge TPU“ir iš pradžių palikite kitas parinktis kaip numatytuosius, sunku išbandyti, o vėliau.
3. Dabar jūsų modelis bus apmokytas, užtruks šiek tiek laiko ir gausite el. Laišką, kai jis bus paruoštas atsisiųsti.

Pastaba: jei treniruočių mygtukas nepasiekiamas, gali kilti problemų dėl duomenų rinkinio. Jei turite mažiau nei 10 kiekvienos klasės (etiketės), sistema neleis jums mokyti modelio, todėl gali tekti pridėti papildomų vaizdų. Jei reikia paaiškinimo, verta pažvelgti į „Google AutoML Video“.

7 žingsnis: išbandykite savo modelį

Gavę modelio užbaigimo el. Laišką, spustelėkite nuorodą, kad grįžtumėte į „AutoML Vision“API.

1. Dabar galėsite peržiūrėti savo modelio rezultatus ir painiavos matricą.

2. Kitas žingsnis - išbandyti savo modelį, eikite į „TEST & USE“arba „PREDICT“, keistai atrodo, kad yra 2 vartotojo GUI, kurios abi aš pavaizdavau, tačiau abi parinktys turi tą pačią funkciją.

3. Dabar galite įkelti bandomąją spektrogramą. Norėdami sukurti vieną spektrogramą, galite naudoti „ThinkBioT Github“programą tbt_make_one_spect.sh. Tiesiog įmeskite jį į aplanką su wav, kurį norite konvertuoti į spektrogramą, atidarykite „Git Bash“langą (arba terminalą) ir naudokite žemiau esantį kodą, pakeisdami savo failo pavadinimą.

sh tbt_make_one_spect.sh jūsų WavName.wav

4. Dabar tiesiog įkelkite spektrogramą ir patikrinkite savo rezultatą!

8 veiksmas: įdiekite savo modelį į „ThinkBioT“

Norėdami naudoti savo naują blizgantį modelį, tiesiog nuleiskite modelį ir txt failą į CModel aplanką;

pi> ThinkBioT> ClassProcess> CModel

Dabar esate pasiruošę naudoti „ThinkBioT“:)

** NB ** Jei naudojate savo modelį už „ThinkBioT“sistemos ribų, turėsite redaguoti etiketės dokumentą, kad kiekvienos eilutės pradžioje pridėtumėte skiriamųjų ženklų, nes naujausia „tflite“vertėjų integruota „readlabels“funkcija daro prielaidą, kad jie yra. Aš parašiau pasirinktinę funkciją „ThinkBioT“sistemoje classify_spect.py kaip kūrinį, kurį galite naudoti naudodami savo kodą:)

def ReadLabelFile (file_path):

skaitiklis = 0 su atidarytu (failo kelias, 'r', kodavimas = 'utf-8') kaip f: lines = f.readlines () ret = {} eilutės eilutėse: ret [int (counter)] = line.strip () skaitiklis = skaitiklis + 1 grįžimas ret