„Kafka“nustatymas: 4 žingsniai

2024 Autorius: John Day | [email protected]. Paskutinį kartą keistas: 2024-01-30 10:47

Įvadas:

„Apache Kafka“yra atviro kodo keičiamo dydžio ir didelio našumo pranešimų sistema, sukurta „Apache Software Foundation“, parašytos „Scala“. „Apache Kafka“yra specialiai sukurta tam, kad viena grupė galėtų būti pagrindinis duomenų pagrindas didelėje aplinkoje. Jis turi daug didesnį našumą, palyginti su kitomis pranešimų tarpininkų sistemomis, tokiomis kaip „ActiveMQ“ir „RabbitMQ“. Jis gali efektyviai tvarkyti didelius realiojo laiko duomenų kiekius. „Kafka“galite įdiegti viename „Apache“serveryje arba paskirstytoje grupuotoje aplinkoje.

Funkcijos:

Bendrosios „Kafka“savybės yra šios:

Nuolatinis pranešimas diske, kuris užtikrina nuolatinį veikimą.

Didelis našumas su disko struktūromis, palaikančiomis šimtus tūkstančių pranešimų per sekundę.

Paskirstyta sistema lengvai keičiasi be jokių prastovų.

Palaiko kelis abonentus ir automatiškai subalansuoja vartotojus nesėkmės metu.

Ši pamoka parodo, kaip įdiegti ir konfigūruoti „Apache Kafka“„Ubuntu 16.04“serveryje.

Reikalavimai

„Ubuntu 16.04“serveris.

Ne root vartotojo abonementas su super vartotojo privilegija, nustatytas jūsų serveryje.

1 žingsnis: Darbo pradžia ir „Java“diegimas

1) Pradėkime įsitikinti, kad jūsų „Ubuntu 16.04“serveris yra visiškai atnaujintas

Galite atnaujinti savo serverį vykdydami šias komandas:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) „Java“diegimas

Patikrinkite, ar jūsų kompiuteryje yra jau įdiegta „Java“ar numatytoji „Java“versija, naudodami šią komandą:-

java -versija

Net jei turite „Java“, bet žemesnę versiją, turėsite ją atnaujinti.

„Java“galite įdiegti taip:-

sudo apt-get install default-jdk

ARBA

Galite įdiegti „Oracle JDK 8“naudodami „Webupd8“komandos PPA saugyklą.

Norėdami pridėti saugyklą, paleiskite šią komandą:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

2 veiksmas: įdiekite „Zookeeper“

Kas yra Zookeeper?

„Zookeeper“yra centralizuota paslauga, skirta konfigūracijos informacijai prižiūrėti, pavadinimams teikti, paskirstytajai sinchronizacijai ir grupės paslaugoms teikti. Visos šios rūšies paslaugos tam tikra ar kita forma naudojamos paskirstytose programose. Kiekvieną kartą, kai jie įgyvendinami, tenka daug nuveikti, kad būtų pašalintos klaidos ir neišvengiamos lenktynių sąlygos. Dėl tokių paslaugų diegimo sunkumų programos iš pradžių paprastai taupo jas, todėl pasikeitus joms jos tampa trapios ir sunkiai valdomos. Net jei tai daroma teisingai, skirtingos šių paslaugų diegimo programos diegiant tampa sudėtingesnės.

Prieš diegdami „Apache Kafka“, turėsite turėti ir paleisti zookeeper. „ZooKeeper“yra atvirojo kodo paslauga, skirta konfigūracijos informacijai prižiūrėti, paskirstytai sinchronizacijai, pavadinimams ir grupės paslaugoms teikti.

1) Pagal numatytuosius nustatymus „Zookeeper“paketas yra numatytoje „Ubuntu“saugykloje

Galite jį įdiegti vykdydami šią komandą:-

sudo apt-get install zookeeperd

Kai diegimas bus baigtas, jis bus automatiškai paleistas kaip demonas. Pagal numatytuosius nustatymus „Zookeeper“veiks 2181 prievade.

Galite tai išbandyti vykdydami šią komandą:

netstat -ant | grep: 2181

Išvestis turėtų parodyti, kad klausomasi prievado 2181.

3 veiksmas: įdiekite ir paleiskite „Kafka Server“

Dabar, kai įdiegta „Java“ir „ZooKeeper“, laikas atsisiųsti ir išgauti „Kafka“iš „Apache“svetainės.

1) „Kafka“galite atsisiųsti naudodami „curl“arba „wget“: („Kafka“versija 0.10.1.1)

Norėdami atsisiųsti „kafka“sąranką, paleiskite šią komandą:-

curl -O

ARBA

wget

2) Sukurkite „Kafka“katalogą

Tada sukurkite „Kafka“diegimo katalogą:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Išpakuokite atsisiųstą aplanką

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Pakeiskite vartotojo vardą pagal savo vartotojo vardą

4) Paleiskite „kafka“serverį

Kitas žingsnis-paleisti „Kafka“serverį, galite jį paleisti paleisdami scenarijų „kafka-server-start.sh“, esantį kataloge /opt/kafka/kafka_2.11-0.10.1.1/bin/, naudodami šią komandą:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Patikrinkite, ar „Kafka“serveris veikia gerai

Dabar „Kafka“serveris veikia ir klausosi 9092 prievado.

Dabar galime patikrinti klausymo prievadus:

- „ZooKeeper“: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

4 veiksmas: išbandykite „Kafka“serverį

Dabar atėjo laikas patikrinti, ar „Kafka“serveris veikia tinkamai.

1) Sukurkite naują temą

Norėdami išbandyti „Kafka“, sukurkite temos pavyzdį pavadinimu „testavimas“„Apache Kafka“naudodami šią komandą:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh-sukurti-temos testavimą-zookeeper localhost: 2181-1 skirsniai-1 paaiškinimo koeficientas

2) Patikrinkite, ar tema sėkmingai sukurta

Dabar paprašykite „Zookeeper“išvardyti galimas „Apache Kafka“temas vykdydami šią komandą:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Paskelbkite pranešimą naudodami sukurtą temą

aidas "labas pasaulis" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-broker-list localhost: 9092-temos testavimas

4) Gaukite pranešimą sukurta tema

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh-Bootstrap-server localhost: 9092-temos testavimas-nuo pradžios

5) Norėdami išsiųsti failą naudodami temą „kafka“

kafka-console-producer.sh-broker-list localhost: 9092-temos testavimas