DEMAC, 3D atspausdintas modulinis „Beowulf“klasteris: 23 žingsniai (su nuotraukomis)

2024 Autorius: John Day | [email protected]. Paskutinį kartą keistas: 2024-01-30 10:45

Didelio našumo skaičiavimas (HPC) - tai galimybė apdoroti duomenis ir atlikti sudėtingus skaičiavimus dideliu greičiu, tai yra „superkompiuterių“taikymas skaičiavimo problemoms, kurios yra per didelės standartiniams kompiuteriams arba užtruks per ilgai. „Top500“yra sąrašas, kuris skelbiamas du kartus per metus ir yra vienas greičiausių ir galingiausių kompiuterių pasaulyje. Šalys ir didelės organizacijos išleidžia milijonus išteklių, kad šios sistemos būtų sukurtos ir veiktų, kad mokslininkas galėtų pasinaudoti naujausiomis technologijomis ir išspręsti sudėtingas problemas.

Prieš daugelį metų kompiuteriai pagerino savo našumą, padidindami procesoriaus greitį. Kai susidūrėme su tokio požiūrio sulėtėjimu, kūrėjai nusprendė, kad norint toliau didinti kompiuterių našumą, keli branduoliai (arba skaičiavimo įrenginiai) turėtų būti supakuoti kartu. Kelių skaičiavimo išteklių ir šių išteklių valdymo mechanizmų sujungimą kompiuterių moksle vadiname „paralelizmu“. Turėti kelis branduolius, atliekančius kelias užduotis, skamba kaip geras būdas pagerinti kompiuterio našumą … tačiau iškyla didelis klausimas: kaip mes efektyviau naudojame šiuos išteklius?

Dėl šių klausimų kompiuterių mokslininkas buvo užimtas, yra keli būdai, kaip pasakyti kompiuteriui, kaip tai padaryti, ir dar daugiau būdų pasakyti keliems kompiuteriams, kaip tai padaryti. Šio projekto tikslas - sukurti prieinamą platformą, kurioje kiekvienas galėtų eksperimentuoti su labai lygiagrečia mašina, išbandyti esamus modelius, kad juos būtų galima pritaikyti savo projektuose, sukurti naujus ir kūrybingus būdus, kaip išspręsti skaičiavimo problemas, arba tiesiog naudoti ją kaip būdą mokyti kitus apie kompiuterius. Tikimės, kad jums patiks dirbti su DEMAC tiek, kiek turime.

DEMAC

„Delaware Modular Assembly Cluster“(DEMAC) yra išplėstas įterptųjų sistemų (kortelės dydžio kompiuterių) masyvas ir 3D atspausdintų rėmelių rinkinys, skirtas plokštėms ir papildomai aparatinei įrangai, užtikrinančiai maitinimą, aušinimą ir prieigą prie tinklo, apimti.

Kiekvienas įrenginys ar įterpta sistema yra mažas kompiuteris, „Parallella Board“, jungiantis dviejų branduolių ARM procesoriaus, 16 branduolių bendro procesoriaus, vadinamo „Epiphany“, ir įterpto FPGA išteklius su visiško atviro kodo kamino lankstumu. Kalnas yra namuose pagamintas 3D spausdintas rėmas, leidžiantis įgyvendinti nebrangiai ir padidinti struktūrą. Jis suprojektuotas taip, kad tilptų 4 standartinio dydžio stelažo vienetai (kaip ir kompiuterių serverių kambariuose).

Ši instrukcija apima:

- Reikalingų medžiagų sąrašas

- Instrukcijos, kaip spausdinti 3D rėmelius

- Instrukcijos surinkti ir prijungti dalis

- Vadovas, kaip atsisiųsti ir įdiegti reikiamą programinę įrangą

- Aprašymas, kaip prisijungti prie grupės ir su ja bendrauti

- A "Kodėl mes tai darome?" skyrius

Kas mes esame?

Mes esame CAPSL (kompiuterių architektūra ir lygiagreti laboratorija) iš Delavero universiteto. Manome, kad skaičiavimo ateitis turėtų turėti tvirtą duomenų srauto teorijos pagrindą (kurį paaiškinsime vėliau šioje instrukcijoje, jei jus domina).

Prekės

Šiame sąraše aprašomos medžiagos, reikalingos 4 plokščių klasteriui sukurti

- 4 „Parallella“lentos (jas galite įsigyti iš „DigiKey“ar kitų pardavėjų, daugiau informacijos rasite jų svetainėje

-4 „micro-SD“kortelės su mažiausiai 16 GB (čia yra labai pigus 10 pakuočių ar kažkas panašaus į šiuos lankstesnius derinius)

- 4 mikro USB kabeliai, kurių ilgis ne mažesnis kaip 30 cm (1 pėda) (rekomenduoju šiuos)

- USB įkroviklis [su mažiausiai 4 A tipo prievadais] (rekomenduoju šį, turintį 6 prievadus arba tą patį formos koeficientą, nes maitinimo dėklas yra skirtas tam)

- aušinimo ventiliatorius [maksimalus dydis 100 mm x 100 mm x 15 mm] (rekomenduoju šį, nes jis yra pigus ir veikia, bet kiti, turintys panašaus dydžio ir kabelio konfigūraciją)

- Aušinimo ventiliatoriaus maitinimo šaltinis (jei jūsų konfigūracija skirta daugiau nei 8 plokštėms, rekomenduoju šią ar kažką panašaus [AC 100 V/ 240 V to DC 12 V 10 A 120 W], kuris turi gražų metalinį korpusą ir kurį taip pat galima pritvirtinti prie jungiklio) (Jei ketinate prijungti tik du ar mažiau ventiliatorių, galite naudoti bet kurį 12 V maitinimo šaltinį, kurio maitinimo šaltinis yra bent 1 A).

- 5 eterneto kabeliai (4 gali būti tokie trumpi, atsižvelgiant į atstumą nuo jungiklio iki plokščių, o vienas turėtų būti pakankamai ilgas, kad jungiklį prijungtumėte prie kompiuterio arba modemo, kad galėtumėte pasiekti grupių tinklą)

>> Svarbi pastaba: būtina aušinimo sistema, kitaip plokštės gali perkaisti! <<<

3D spausdintos dalys

- 4 lentų dėklai (Frame_01)

- 1 lentos korpusas (Frame_02)

- 1 ventiliatoriaus korpusas (Frame_03_B & Frame_03_T)

- 1 maitinimo korpusas (Frame_04)

1 žingsnis: Apie DEMAC

DEMAC yra platesnio vaizdo dalis, lanksti ir plečiama platforma, leidžianti sukurti ir išbandyti naujus programavimo vykdymo modelius (PXM) lygiagrečiam skaičiavimui. PXM yra daugiau nei būdas apibūdinti skaičiavimus, jis yra pagrindas, suteikiantis susitarimą tarp programos išraiškos ir išversimo į bendrą kalbą, kurią gali atlikti mašina. Mes apibūdiname elementų rinkinį, kuris leidžia vartotojui kurti programas ir būdą, kaip organizuoti programos vykdymą. Programa gali būti optimizuota pagal konkrečią architektūrą pagal naudotoją arba automatizuotas įrankis, pagrįstas šiuo bendru pagrindu.

Šios instrukcijos pabaigoje galite sužinoti daugiau apie šį projektą, taip pat galite spustelėti čia, jei norite gauti daugiau informacijos apie DEMAC, arba čia, jei norite gauti daugiau informacijos apie CAPSL)

2 žingsnis: 3D spausdinimas DEMAC

Šiame skyriuje rasite vadovą, kaip 3D spausdinti rėmus, kurie apgaubia kitus komponentus ir teikia struktūrinę paramą. Net jei esate 3D spausdinimo meistras, čia yra keletas patarimų, į kuriuos galite atsižvelgti spausdindami šiuos rėmelius. Visus rėmus galima atspausdinti naudojant 0,4 mm antgalį, kurio aukštis yra 0,3 arba 0,2 (taip pat galite naudoti adaptacinį). Aš viską atspausdinau naudodamas PLA, bet tikrai nesvarbu, ar norite naudoti kitas medžiagas (jei jos užtikrina konstrukcijos stabilumą ir gali toleruoti aukštesnes ar vienodas temperatūras nei PLA).

STL failai:

www.thingiverse.com/thing:4493780

cults3d.com/en/3d-model/various/demac-a-mo…

www.myminifactory.com/object/3d-print-dema…

Lentos dėklas (Frame_01)

Nereikia jokių papildomų atramų. Tai gana paprasta, tiesiog padėkite jį lygiu paviršiumi į spausdinimo paviršių.

Lentos korpusas (Frame_02)

Tam gali prireikti tam tikros atramos per vidurines sijas. Galite teigti, kad gerai sureguliuota mašina/pjaustyklė gali atspausdinti tuos tiltus be papildomos paramos. Jei norite spausdinti be atramų, pirmiausia išbandykite kai kuriuos tiltinius testus nepalankiausiomis sąlygomis, nes mintis buvo tokia, kad jų nereikės. Kita vertus, šoniniai stulpeliai ir sienos pakankamai palaiko juos atspausdinti be papildomų atraminių konstrukcijų.

Ventiliatoriaus korpusas (Frame_03_B & Frame_03_T)

Nereikia jokių papildomų atramų. Tiesiog padėkite abi dalis lygiu paviršiumi į spausdinimo paviršių.

Maitinimo korpusas (Frame_04)

Panašiai kaip „Frame_02“, šiam gali prireikti tam tikros atramos vidurinėse sijose. Taip pat galite pabandyti atspausdinti šią medžiagą be papildomos pagalbinės medžiagos (kaip buvo numatyta). Šoniniai stulpeliai ir sienos suteikia pakankamai atramos, kad juos būtų galima atspausdinti be papildomų atraminių konstrukcijų.

Išvesties aušinimo korpusas (Frame_05_B & Frame_05_T)

Nereikia jokių papildomų atramų. Tiesiog padėkite abi dalis lygiu paviršiumi į spausdinimo paviršių.

3 žingsnis: Surinkite DEMAC

Dabar, kai turite visas reikalingas dalis, laikas pradėti surinkti klasterį.

Nepamirškite pašalinti atraminės medžiagos, kurią galite turėti ant rėmų.

4 žingsnis: uždėkite ventiliatorių ant korpuso

Tiesiog įstumkite ventiliatorių į „Frame_03_B“(su kabeliu dešiniajame apatiniame kampe), apatinė dalis turėtų tilpti į mažas išlenktas sienas, laikančias ventiliatorių.

Pastatykite „Frame_03_T“taip, kad mažos išlenktos sienos būtų nukreiptos žemyn ant „Frame_03_B“(kai ventiliatorius jau yra vietoje). Atsargiai uždėkite plačiausią Frame_03_T dangtelį į platesnį (galinį) Frame_03_B paviršių. Rėmai turi spragtelėti, o dangteliai turi juos laikyti.

5 veiksmas: sujunkite plokštės korpusą su maitinimo korpusu

Padėkite „Frame_02“ant „Frame_04“viršaus, šie du yra sukurti taip, kad susifiksuotų. Apatinėje „Frame_02“dalyje yra nedidelis įlenkimas, kuris tinka „Frame_04“viršuje esančioms jungtims. Taikykite švelnią jėgą juos sujungti.

6 žingsnis: sumontuokite aušinimo įrenginį

„Frame_03“(„B&T“) suprojektuotas taip, kad susilietų su „Frame_02“, padėkite ventiliatorių į plokštes (oro srautas turėtų eiti į „Frame_02“vidų). „Frame_02“stulpeliuose yra nedideli įlenkimai, kurie turėtų atitikti „Frame_03_B“esančius ženklus. Švelniai spauskite konstrukcijos šoninius paviršius, kol spragtelės rėmai.

7 žingsnis: padėkite lentas ant lentų dėklų

„Frame_01“turi 4 kaiščius, atitinkančius „Parallella“plokštės skyles. Lenta turėtų lengvai tilpti į dėklą. Priklausomai nuo jūsų 3D spausdintuvo kalibravimo, jie gali būti per dideli arba per maži, galite naudoti šiek tiek skystų silikoninių klijų, kad juos laikytumėte vietoje, arba šiek tiek paspauskite juos replėmis, kad sumažintumėte skersmenį.

>> Svarbi pastaba: nepamirškite pastatyti radiatorių ant lentos <<<

8 veiksmas: pastumkite lentos dėklus į korpuso korpusą

„Frame_01“kiekviename lygyje pateikia lizdus, kurie telpa į „Frame_02“bėgius. Atminkite, kad yra tik viena pusė, skirta lentos dėklui priimti. Taip pat yra nedidelis guzas, padedantis išlaikyti „Frame_01“vietoje (sąžiningai, tai galėtų šiek tiek pagerinti būsimą versiją).

Stumkite visus 4 lentų padėklus, kai lentos jau yra, po 1 kiekviename lygyje.

9 veiksmas: įdėkite maitinimo šaltinį į maitinimo korpusą

Įdėkite USB maitinimo šaltinį į „Frame_04“taip, kad USB prievadai būtų nukreipti į išorę. Kitoje pusėje yra maža anga maitinimo kabeliui, kuris maitina stebulę.

10 veiksmas: prijunkite ventiliatorių prie aušinimo maitinimo šaltinio

Ventiliatorius dabar turi būti prijungtas prie 12 V maitinimo šaltinio, kuris tiekia energiją aušinimo įrenginiui.

>> Svarbi pastaba: laikykite aušinimo sistemą visą laiką veikiančią, kol plokštės prijungtos prie maitinimo šaltinio <<<

11 veiksmas: sukonfigūruokite OS

1. Atsisiųskite rekomenduojamą OS („Parabuntu“) čia

Yra du lustų pakeitimai (z7010 [P1600/P1601] ir z7020 [P1602/A101040], kuriems reikia skirtingų failų.

Abiejose versijose yra versija be galvos (be grafinės vartotojo sąsajos) ir versija, kuri palaiko HDMI ir grafinę vartotojo sąsają)

Jei norite naudoti HDMI išvestį, nepamirškite įsigyti mini HDMI kabelio.

Galite prisijungti prie versijos be galvos per tinklą.

Daugiau informacijos ir išsamų paaiškinimą rasite čia oficialioje svetainėje.

Štai žingsniai, kaip įdiegti operacinę sistemą naudojant „Linux“platinimą. Tolesniems veiksmams galite naudoti komandas terminale (be simbolio $) arba patikrinti kitas svetainės procedūras.

2. Įdiekite

- Įdėkite „micro-SD“kortelę į įprastą kompiuterį.- Išpakuokite „Ubuntu“vaizdą. Pakeiskite vaizdo pavadinimą [releasename].

$ gunzip -d [išleidimo pavadinimas].img.gz

3. Patikrinkite SD kortelės įrenginio kelią

Tikslus įrenginio kelias į SD kortelę priklauso nuo jūsų „Linux“platinimo ir kompiuterio sąrankos. Norėdami gauti teisingą kelią, naudokite žemiau esančią komandą. Jei išvestyje neaišku, kuris kelias yra teisingas, išbandykite komandą su įdėta SD kortele ir be jos. „Ubuntu“grąžintas kelias gali būti kažkas panašaus į „/dev/mmcblk0p1“.

$ df -h

4. Atjunkite SD kortelę Prieš įrašydami kortelę turėsite išmontuoti visus SD kortelių skaidinius. [Sd-partition-path] gaunamas iš 3 veiksmo komandos „df“.

$ umount [sd-partition-path]

5. Įrašykite „Ubuntu“disko vaizdą „micro-SD“kortelėje

Įrašykite vaizdą į SD kortelę naudodami „dd“įrankį, parodytą žemiau esančiame komandų pavyzdyje. Būkite atsargūs ir įsitikinkite, kad teisingai nurodėte kelią, nes ši komanda yra negrįžtama ir viską perrašys kelyje! „Ubuntu“komandos pavyzdys būtų toks: „sudo dd bs = 4M if = my_release.img of//dev/mmcblk0“. Būkite kantrūs, tai gali užtrukti (daug minučių), priklausomai nuo naudojamo kompiuterio ir SD kortelės.

$ sudo dd bs = 4M, jei = [išleidimo pavadinimas].img iš = [sd-partition-path]

6. Įsitikinkite, kad visi įrašymai į SD kortelę baigti

$ sync

7. Įdėkite SD kortelę į plokštės SD kortelės angą

12 veiksmas: prijunkite plokštę prie maitinimo šaltinio

Norėdami prijungti vieną iš plokščių prie USB šakotuvo, naudokite „miniUSB to USB-A“kabelį. Galite pažymėti prievadus ir kabelius arba nustatyti jungčių tvarką, jei vėliau reikės atjungti plokštę.

13 veiksmas: maršrutizatoriaus nustatymas

Jei diegiate OS be galvos, kai esate dideliame tinkle, turėsite naudoti maršrutizatorių ir prijungti jį prie interneto, „Parallella“plokščių ir asmeninio kompiuterio.

Jei negalite prisijungti prie maršrutizatoriaus, plokštę taip pat galite prijungti tiesiai prie kompiuterio naudodami eterneto kabelį, ši procedūra gali būti šiek tiek sudėtingesnė ir šioje instrukcijoje neaprašyta.

Kai viskas bus prijungta, atidarykite maršrutizatoriaus sąsają, kad sužinotumėte, koks IP adresas pagal numatytuosius nustatymus suteikiamas jūsų „Parallella“. Ieškokite skirtuko „Tinklas“. Tada raskite skyrių, pavadintą DHCP klientų sąrašas. Ten turėtumėte pamatyti savo „Parallella“plokštę ir jos IP adresą.

Turėdami šį IP adresą, galite prisijungti prie „Parallella“ir nustatyti statinį IP adresą.

14 veiksmas: prisijungimas prie „Parallella Board“naudojant SSH

Pastaba: šiame skyriuje [numatytasis IP] yra dinaminis IP adresas, kurį radote DHCP klientų sąraše.

Patikrinkite jungtį prie plokštės

$ ping [numatytasis_IP]

SSH į lentą pirmą kartą (numatytasis slaptažodis yra lygiagretus)

$ ssh parallella@[numatytasis_IP]

15 veiksmas: tinklo nustatymas

- Pakeisti pagrindinio kompiuterio pavadinimą: redaguoti /etc /hostname

Čia galite priskirti bet kokį norimą vardą, rekomenduojame naudoti NOPA ##

Kur ## nurodomas lentos numeris (t. Y. 01, 02,…)

- Nustatykite kitų lentų IP adresus: redaguoti /etc /hosts

Nustatykite statinį IP adresą: pridėkite žemiau esantį tekstą /etc/network/interfaces.d/eth0

#Pirmoji tinklo sąsajaauto eth0

iface eth0 inet statinis

adresas 192.168.10.101 #IP turėtų būti maršrutizatoriaus diapazone

tinklo kaukė 255.255.255.0

šliuzas 192.168.10.1 #Tai turėtų būti maršrutizatoriaus adresas

vardų serveris 8.8.8.8

vardų serveris 8.8.4.4

Priskyrę IP prie plokštės, galite iš naujo paleisti ryšį naudodami komandą

$ ifdown eth0; ifup eth0

arba iš naujo paleiskite lentą

16 veiksmas: „Keygen“ir slaptažodžio neturinčios prieigos nustatymas lentose

Kiekviename mazge (įskaitant pagrindinį mazgą) nustatykite privataus viešojo rakto porą. Sukurkite laikiną aplanką, sukurkite naują raktą ir padarykite jį įgaliotu raktu ir pridėkite visus NOPA prie žinomų kompiuterių, kaip parodyta žemiau.

mkdir tmp_sshcd tmp_ssh ssh -keygen -f./id_rsa

#Du kartus paspauskite „Enter“, kad nustatytumėte ir patvirtintumėte tuščią slaptažodį

cp id_rsa.pub Author_keys

i i „seq 0 24“; do j = $ (echo $ i | awk '{printf "%02d / n", $ 0}');

ssh-keyscan NOPA $ J >> žinomi_šeimininkai; padaryta

17 veiksmas: „Sshfs“diegimas

- Naudojant sshfs galima dalytis failais tarp grupių lentų. Vykdykite šią komandą:

$ sudo apt -get install -y sshfs

- Saugiklių grupės tikrinimas / kūrimas

Patikrinkite, ar yra saugiklių grupė:

$ cat /etc /group | grep "saugiklis"

Jei grupė egzistuoja, vykdykite šią komandą

$ bash sudo usermod -a -G saugiklis parallella

- Jei grupės nėra, sukurkite ją ir pridėkite vartotoją

$ sudo grouppridėkite saugiklį

$ sudo usermod -a -G saugiklis parallella

- Išskleiskite failo fuse.config eilutę user_allow_other

$ sudo vim /etc/fuse.conf

18 veiksmas: sukonfigūruokite NFS aplanką

- Pakeiskite failą /etc /fstab

$ sudo vim /etc /fstab

- Pakeiskite turinį toliau pateiktu tekstu

# [failų sistema] [prijungimo taškas] [tipas] [parinktys]

sshfs#parallella@NOPA01:/home/parallella/DEMAC_nfs/home/parallella/DEMAC_nfs saugiklis komentaras = sshfs, noauto, vartotojai, exec, rw, uid = 1000, gid = 1000, allow_other, reconnect, transform_symlinks, BatchMode = yes, nonempty, _netdev, identityfile =/home/parallella/.ssh/id_rsa, default_permissions 0 0

19 veiksmas: prijunkite plokštę prie jungiklio

Pastatykite jungiklį po klasteriu arba kur nors šalia, eterneto kabeliais prijunkite jau sukonfigūruotą plokštę prie jungiklio. Taip pat galite prijungti jungiklį ir kompiuterį prie maršrutizatoriaus, kad galėtumėte pasiekti grupę.

Turėtumėte sugebėti ping ir ssh į lentą, kuri dabar prijungta prie jungiklio su statiniu IP.

Prie failo /etc /hosts taip pat galite pridėti IP ir pagrindinio kompiuterio pavadinimą. Prisijungimui galėsite naudoti pagrindinio kompiuterio pavadinimą, o ne įvesti visą IP adresą.

20 veiksmas: pakartokite 11–19 veiksmus kiekvienai lentai

Atlikite procedūrą, kad sukonfigūruotumėte kiekvienos plokštės OS ir tinklą.

>> Svarbi pastaba: kiekvienai lentai naudokite skirtingus prieglobos pavadinimus ir IP! Jie turėtų būti unikalūs per tinklą! <<<

21 veiksmas: prijunkite išorinius įrenginius

Įsitikinkite, kad ventiliatorius veikia:

Įsitikinkite, kad ventiliatorius gauna maitinimą ir oro srautas patenka į vidų į plokštės korpusą. Ryšys turi būti stabilus ir nepriklausomas nuo kitų elementų. Atminkite, kad netinkamai atvėsus, plokštės gali perkaisti.

Įsitikinkite, kad plokštės prijungtos prie jungiklio:

Šiuo metu jūs turėjote sukonfigūruoti kiekvieną lentą atskirai. Plokštės taip pat turi būti prijungtos prie jungiklio. Jungiklio vadove turėtų būti pateikta informacija, kurią galima naudoti norint patikrinti, ar paleidimo procesas baigtas teisingai, gali būti keletas šviesos diodų, rodančių būseną.

Prijunkite plokštes prie maitinimo šaltinio:

Naudokite „micro-USB to USB-A“kabelį, kad prijungtumėte kiekvieną plokštę prie USB šakotuvo. Galite pažymėti prievadus arba nustatyti tvarką, jei jums reikės atjungti vieną plokštę.

22 žingsnis: pritaikykite maitinimą

1. Ventiliatorius turėtų veikti.

2. Plokštės turi būti prijungtos prie eterneto jungiklio.

3. Patikrinkite, ar plokštės prijungtos prie USB šakotuvo.

4. Maitinkite USB šakotuvą.

5. Įjunkite DEMAC!

6. Pelnas!

23 veiksmas: programinės įrangos ištekliai

MPI (pranešimų perdavimo sąsaja)

MPI yra ryšio protokolas, skirtas programuoti lygiagrečius kompiuterius. Palaikomas ir taškas į tašką, ir kolektyvinis bendravimas.

www.open-mpi.org/

„OpenMP“(„Open Multi-Processing“)

Programų programavimo sąsaja (API) „OpenMP“(„Open Multi-Processing“) palaiko daugiaplatformę bendros atminties daugiaprocesinį programavimą C, C ++ ir „Fortran“platformose daugelyje platformų. Jį sudaro kompiliatorių direktyvų rinkinys, bibliotekos tvarka ir aplinkos kintamieji, turintys įtakos veikimui vykdymo metu.

www.openmp.org/

„Parallella“programinė įranga

Kūrėjai pateikia atvirojo kodo programinės įrangos paketą, įskaitant SDK, skirtą sąsajai su greitintuvu.

www.parallella.org/software/

Taip pat galite rasti vadovus ir išsamesnę informaciją.

Jie taip pat turi „GitHub“saugyklas:

github.com/parallella

Nedvejodami atsisiųskite ir paleiskite kai kuriuos pavyzdžius, vienas iš mano mėgstamiausių yra gyvenimo žaidimas, paremtas garsiuoju Conway gyvenimo žaidimu.

Atsisakymas: Apibrėžimai gali būti nukopijuoti iš Vikipedijos