Kafkanın qurulması: 4 addım

2024 Müəllif: John Day | [email protected]. Son dəyişdirildi: 2024-01-30 07:45

Giriş:

Apache Kafka, Scala-da yazılmış Apache Software Foundation tərəfindən hazırlanmış açıq mənbə ölçeklenebilir və yüksək ötürmə qabiliyyətli mesajlaşma sistemidir. Apache Kafka, tək bir qrupun böyük bir mühit üçün mərkəzi məlumat bazası olmasına imkan vermək üçün xüsusi olaraq hazırlanmışdır. ActiveMQ və RabbitMQ kimi digər mesaj broker sistemləri ilə müqayisədə daha yüksək məhsuldarlığa malikdir. Böyük həcmli real vaxt məlumatlarını səmərəli idarə edə bilir. Kafka'yı tək Apache serverində və ya paylanmış bir qrup mühitdə yerləşdirə bilərsiniz.

Xüsusiyyətləri:

Kafkanın ümumi xüsusiyyətləri aşağıdakılardır:

Sabit vaxt performansı təmin edən diskdə davamlı mesaj.

Saniyədə yüz minlərlə mesajı dəstəkləyən disk strukturları ilə yüksək ötürmə qabiliyyəti.

Paylanmış sistem heç bir fasilə olmadan asanlıqla ölçülür.

Çox abunəçini dəstəkləyir və uğursuzluq zamanı istehlakçıları avtomatik olaraq balanslaşdırır.

Bu dərslik, Ubuntu 16.04 serverində Apache Kafkanın necə qurulacağını və konfiqurasiya olunacağını göstərir.

Tələblər

Ubuntu 16.04 serveri.

Serverinizdə qurulmuş super istifadəçi imtiyazlı kök olmayan istifadəçi hesabı.

Addım 1: Java -ya başlayın və quraşdırın

1) Ubuntu 16.04 serverinizin tam yenilənmiş olduğundan əmin olmağa başlayaq

Aşağıdakı əmrləri yerinə yetirərək serverinizi yeniləyə bilərsiniz:-

sudo apt -get yeniləmə -y

sudo apt -get upgrade -y

2) Java qurmaq

Aşağıdakı əmrlə maşınınızın artıq quraşdırılmış java olub-olmadığını yoxlayın və ya java-nın standart versiyası olub olmadığını yoxlayın:-

java versiyası

Java -nız olsa da, daha aşağı bir versiya olsa da, onu təkmilləşdirməli olacaqsınız.

Java qura bilərsiniz:-

sudo apt-get install default-jdk

OR

Oracle JDK 8 -i Webupd8 komanda PPA deposundan istifadə edərək quraşdıra bilərsiniz.

Depo əlavə etmək üçün aşağıdakı əmri işlədin:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get oracle-java8-installer -y quraşdırın

Addım 2: Zookeeper qurun

Zookeeper nədir?

Zookeeper, konfiqurasiya məlumatlarını saxlamaq, adlandırmaq, paylanmış sinxronizasiya təmin etmək və qrup xidmətləri təmin etmək üçün mərkəzləşdirilmiş bir xidmətdir. Bütün bu xidmət növləri paylanmış tətbiqlər tərəfindən bu və ya digər şəkildə istifadə olunur. Hər dəfə tətbiq edildikdə qaçılmaz olan səhvləri və yarış şərtlərini düzəltmək üçün bir çox iş var. Bu cür xidmətlərin həyata keçirilməsinin çətinliyi səbəbindən, tətbiqlər əvvəlcə adətən onlara qənaət edir, bu da dəyişikliklər olduqda onları kövrək və idarə etməyi çətinləşdirir. Düzgün yerinə yetirildikdə belə, bu xidmətlərin fərqli tətbiqləri tətbiqlər yerləşdirildikdə idarəetmə çətinliyinə səbəb olur.

Apache Kafka'yı yükləməzdən əvvəl zookeeper -in olması və işləməsi lazımdır. ZooKeeper, konfiqurasiya məlumatlarını saxlamaq, paylanmış sinxronizasiya təmin etmək, adlandırmaq və qrup xidmətləri təmin etmək üçün açıq mənbə xidmətidir.

1) Varsayılan olaraq Zookeeper paketi Ubuntu'nun standart deposunda mövcuddur

Aşağıdakı əmri işlədərək quraşdıra bilərsiniz:-

sudo apt-get zookeeperd qurun

Quraşdırma başa çatdıqdan sonra avtomatik olaraq bir daemon olaraq başlayacaq. Varsayılan olaraq Zookeeper 2181 portunda işləyəcək.

Aşağıdakı əmri işlədərək sınaya bilərsiniz:

netstat -ant | grep: 2181

Çıxış sizə 2181 limanının dinlənildiyini göstərməlidir.

Addım 3: Kafka Serverini Qurun və Başlatın

Java və ZooKeeper quraşdırıldıqdan sonra, Kafkanı Apache veb saytından yükləmək və çıxarmaq vaxtıdır.

1) Kafka'yı yükləmək üçün curl və ya wget istifadə edə bilərsiniz: (Kafka versiyası 0.10.1.1)

Kafka quraşdırmasını yükləmək üçün aşağıdakı əmri işlədin:-

curl -O

OR

wget

2) Kafka üçün bir kataloq yaradın

Sonra, Kafka quraşdırılması üçün bir kataloq yaradın:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Yüklənmiş qovluğu açın

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*İstifadəçi adınızı istifadəçi adınıza uyğun olaraq dəyişdirin

4) Kafka serverini işə salın

Növbəti addım Kafka serverini başlamaqdır, aşağıdakı əmri istifadə edərək /opt/kafka/kafka_2.11-0.10.1.1/bin/ qovluğunda yerləşən kafka-server-start.sh skriptini işə salmaqla başlaya bilərsiniz:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Kafka Serverin yaxşı işlədiyini yoxlayın

İndi 9092 portunda işləyən və dinləyən bir Kafka serveriniz var.

İndi dinləmə limanlarını yoxlaya bilərik:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Addım 4: Kafka Serverinizi sınayın

İndi Kafka serverinin düzgün işlədiyini yoxlamaq vaxtıdır.

1) Yeni bir mövzu yaradın

Kafkanı sınamaq üçün aşağıdakı əmrdən istifadə edərək Apache Kafkada "test" adı ilə bir nümunə mövzu yaradın:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic test --zookeeper localhost: 2181-bölüm 1-replikasiya faktoru 1

2) Mövzunuzun uğurla yaradıldığını yoxlayın

İndi Zookeeper -dən Apache Kafkada mövcud olan mövzuları aşağıdakı əmri işlədərək siyahıya almasını istəyin:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Yaratdığınız mövzudan istifadə edərək mesaj dərc edin

echo "salam dünya" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-broker-list localhost: 9092-mövzulu testlər

4) Yaradılmış mövzu ilə bağlı mesajı alın

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 --topik testlər-əvvəldən

5) Mövzu üzərində kafka istifadə edərək fayl göndərmək

kafka-console-producer.sh-broker siyahısı localhost: 9092-mövzu testi