Menyiapkan Kafka: 4 Langkah

2024 Pengarang: John Day | [email protected]. Terakhir diubah: 2024-01-30 09:55

Pengantar:

Apache Kafka adalah open-source scalable dan sistem pesan throughput tinggi yang dikembangkan oleh Apache Software Foundation yang ditulis dalam Scala. Apache Kafka dirancang khusus untuk memungkinkan satu cluster berfungsi sebagai tulang punggung data pusat untuk lingkungan yang besar. Ini memiliki throughput yang jauh lebih tinggi dibandingkan dengan sistem broker pesan lainnya seperti ActiveMQ dan RabbitMQ. Ia mampu menangani volume besar data real-time secara efisien. Anda dapat menggunakan Kafka di server Apache tunggal atau di lingkungan cluster terdistribusi.

Fitur:

Ciri-ciri umum Kafka adalah sebagai berikut:

Pertahankan pesan pada disk yang memberikan kinerja waktu yang konstan.

Throughput tinggi dengan struktur disk yang mendukung ratusan ribu pesan per detik.

Sistem terdistribusi menskalakan dengan mudah tanpa waktu henti.

Mendukung multi-pelanggan dan secara otomatis menyeimbangkan konsumen selama kegagalan.

Tutorial ini menunjukkan cara menginstal dan mengkonfigurasi Apache Kafka di server Ubuntu 16.04.

Persyaratan

Server Ubuntu 16.04.

Akun pengguna non-root dengan hak istimewa pengguna super diatur di server Anda.

Langkah 1: Memulai dan Menginstal Java

1) Mari kita mulai memastikan bahwa server Ubuntu 16.04 Anda sepenuhnya mutakhir

Anda dapat memperbarui server Anda dengan menjalankan perintah berikut: -

sudo apt-get update -y

sudo apt-get upgrade -y

2) Menginstal Java

Periksa apakah mesin Anda memiliki Java yang sudah diinstal atau memiliki versi default Java dengan perintah berikut: -

versi java

Bahkan jika Anda memiliki Java tetapi versi yang lebih rendah, Anda harus memutakhirkannya.

Anda dapat menginstal Java dengan: -

sudo apt-get install default-jdk

ATAU

Anda dapat menginstal Oracle JDK 8 menggunakan repositori PPA tim Webupd8.

Untuk menambahkan repositori, jalankan perintah berikut: -

sudo add-apt-repository -y ppa:webupd8team/java

sudo apt-get install Oracle-Java8-installer -y

Langkah 2: Instal Zookeeper

Apa itu Zookeeper?

Zookeeper adalah layanan terpusat untuk memelihara informasi konfigurasi, penamaan, menyediakan sinkronisasi terdistribusi, dan menyediakan layanan grup. Semua jenis layanan ini digunakan dalam beberapa bentuk atau lainnya oleh aplikasi terdistribusi. Setiap kali mereka diimplementasikan, ada banyak pekerjaan yang dilakukan untuk memperbaiki bug dan kondisi balapan yang tak terhindarkan. Karena sulitnya mengimplementasikan layanan semacam ini, aplikasi pada awalnya biasanya berhemat, yang membuatnya rapuh dengan adanya perubahan dan sulit untuk dikelola. Bahkan ketika dilakukan dengan benar, implementasi yang berbeda dari layanan ini menyebabkan kompleksitas manajemen saat aplikasi disebarkan.

Sebelum menginstal Apache Kafka, Anda harus memiliki zookeeper yang tersedia dan berjalan. ZooKeeper adalah layanan open source untuk memelihara informasi konfigurasi, menyediakan sinkronisasi terdistribusi, penamaan, dan menyediakan layanan grup.

1) Secara default paket Zookeeper tersedia di repositori default Ubuntu

Anda dapat menginstalnya dengan menjalankan perintah berikut: -

sudo apt-get install zookeeperd

Setelah instalasi selesai, itu akan dimulai sebagai daemon secara otomatis. Secara default Zookeeper akan berjalan pada port 2181.

Anda dapat mengujinya dengan menjalankan perintah berikut:

netstat -semut | grep:2181

Keluaran akan menunjukkan kepada Anda bahwa port 2181 sedang didengarkan.

Langkah 3: Instal dan Mulai Server Kafka

Setelah Java dan ZooKeeper terinstal, sekarang saatnya mengunduh dan mengekstrak Kafka dari situs web Apache.

1)Anda dapat menggunakan curl atau wget untuk mengunduh Kafka:(Kafka versi 0.10.1.1)

Jalankan perintah berikut untuk mengunduh pengaturan kafka: -

curl -O

ATAU

wget

2)Buat direktori untuk Kafka

Selanjutnya, buat direktori untuk instalasi Kafka:

sudo mkdir /opt/kafka

cd /opt/kafka

3) Buka zip folder yang diunduh

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C /opt/kafka/

*Ubah nama pengguna sesuai dengan nama pengguna Anda

4) Mulai server kafka

Langkah selanjutnya adalah memulai server Kafka, Anda dapat memulainya dengan menjalankan skrip kafka-server-start.sh yang terletak di direktori /opt/kafka/kafka_2.11-0.10.1.1/bin/ dengan menggunakan perintah berikut:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Periksa apakah Server Kafka berfungsi dengan baik

Anda sekarang memiliki server Kafka yang berjalan dan mendengarkan pada port 9092.

Sekarang, kita dapat memeriksa port mendengarkan:

- Penjaga Kebun Binatang: 2181

- Kafka: 9092

netstat -semut | grep -E ':2181|:9092'

Langkah 4: Uji Server Kafka Anda

Sekarang, saatnya untuk memverifikasi server Kafka beroperasi dengan benar.

1)Buat topik baru

Untuk menguji Kafka, buat topik sampel dengan nama "pengujian" di Apache Kafka menggunakan perintah berikut:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost:2181 --partitions 1 --replication-factor 1

2) Periksa apakah topik Anda berhasil dibuat

Sekarang, minta Zookeeper untuk membuat daftar topik yang tersedia di Apache Kafka dengan menjalankan perintah berikut:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost:2181

3)Publikasikan pesan menggunakan topik yang Anda buat

gema "halo dunia" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost:9092 --pengujian topik

4) Terima pesan tentang topik yang dibuat

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --pengujian topik –dari awal

5) Untuk mengirim file menggunakan kafka melalui suatu topik

kafka-console-producer.sh --broker-list localhost:9092 –pengujian topik