Memvisualisasikan Data Dari Magicbit di AWS: 5 Langkah

2024 Pengarang: John Day | [email protected]. Terakhir diubah: 2024-01-30 09:53

Data yang dikumpulkan dari sensor yang terhubung ke Magicbit akan dipublikasikan ke inti AWS IOT melalui MQTT untuk divisualisasikan secara grafis secara real time. Kami menggunakan magicbit sebagai papan pengembangan dalam proyek ini yang didasarkan pada ESP32. Oleh karena itu, papan pengembangan ESP32 apa pun dapat digunakan dalam proyek ini.

Perlengkapan:

Magicbit

Langkah 1: Cerita

Proyek ini adalah tentang menghubungkan perangkat Magicbit Anda ke AWS Cloud melalui MQTT. Data yang dikirim melalui MQTT dianalisis dan divisualisasikan di cloud menggunakan layanan AWS. Jadi mari kita mulai

Pertama, Anda harus pergi ke AWS Console dan masuk. Untuk tujuan pembelajaran, Anda dapat menggunakan opsi tingkat gratis yang ditawarkan oleh AWS. Itu akan cukup untuk proyek ini.

Untuk membuatnya lebih sederhana, saya akan membagi proyek menjadi dua bagian.

Ini akan menjadi tahap pertama dari proyek kami. Pada akhir tahap pertama, data akan disimpan di bucket S3.

Layanan AWS yang akan digunakan di bagian pertama,

• Kinesis Firehose
• Lem AWS
• AWS S3

Pertama navigasikan ke layanan AWS Kinesis.

Pilih Kinesis Data Firehose seperti gambar di bawah ini dan klik Create

Kemudian Anda akan diarahkan ke Langkah 1 membuat layanan Firehose. Masukkan nama aliran pengiriman dan pilih Direct Put atau Other Sources. Klik Berikutnya.

Di jendela Langkah 2 biarkan semuanya sebagai default dan klik berikutnya. Setelah membuat AWS Glue Service, kami akan kembali mengedit langkah ini.

Pada Langkah 3 pilih ember S3 jika Anda telah membuatnya sebelumnya. Jika tidak, klik buat dan buat ember. Di bagian awalan S3 gunakan dest/ dan di awalan kesalahan masukkan error/. Anda dapat memasukkan nama apa pun untuk dua di atas. Tapi untuk memudahkan kami akan melanjutkan dengan nama yang sama. Pastikan untuk membuat folder bernama dest di dalam bucket yang Anda pilih. Klik Berikutnya.

Pada Langkah 4 pilih ukuran buffer minimum dan interval buffer untuk transfer data waktu nyata. Di bagian Izin pilih Buat atau perbarui peran IAMKinesisFirehoseServiceRole. Tetap default semuanya. Klik berikutnya.

Di bagian berikutnya, ulasan tentang perubahan yang Anda buat akan ditampilkan. Klik Oke. Maka Anda akan memiliki Kinesis Firehose yang berfungsi.

Jika Anda berhasil membuat layanan Firehose Anda akan mendapatkan sesuatu seperti ini.

Langkah 2: Menguji Firehose dan Bucket S3

Untuk menguji apakah firehose dan bucket S3 berfungsi dengan baik, pilih inti IOT di konsol. Anda akan diarahkan ke halaman seperti ini. Pilih Aturan dan buat aturan.

Apa itu aturan IOT AWS?

Ini digunakan untuk meneruskan data apa pun yang diterima dari MQTT ke layanan tertentu. Dalam contoh ini kita akan meneruskan ke Kinesis Firehose.

Pilih nama untuk Aturan. Biarkan Rule dan Query Statement apa adanya. Ini memberi tahu kita bahwa apa pun yang dipublikasikan ke topik iot/topik akan diteruskan ke kinesis Firehose melalui aturan ini.

Di bawah bagian Setel satu atau lebih tindakan, klik tambahkan tindakan. Pilih Kirim pesan ke Amazon Kinesis Firehose Stream. Pilih konfigurasi. Kemudian pilih nama aliran firehose yang dibuat tadi. Kemudian klik Buat Peran dan buat peran. Sekarang Anda telah berhasil membuat peran di AWS.

Setiap pesan yang Anda publikasikan akan diteruskan melalui keranjang Kinesis Firehose ke S3.

Ingatlah bahwa Firehose mengirimkan data saat buffernya terisi atau saat interval buffer tercapai. Interval buffer minimum adalah 60 detik.

Sekarang kita bisa pindah ke bagian kedua dari proyek. Ini akan menjadi diagram aliran data kami.

Langkah 3: Mengonfigurasi Lem AWS

Mengapa kita membutuhkan AWS Glue dan AWS Athena?

Data yang disimpan di bucket S3 tidak dapat langsung digunakan sebagai input ke AWS Quicksight. Pertama kita perlu mengatur data dalam bentuk tabel. Untuk ini kami menggunakan dua layanan di atas.

Buka Lem AWS. Pilih Crawler di bilah alat samping. Kemudian pilih Tambah Perayap.

Pada langkah pertama masukkan nama untuk crawler Anda. Klik berikutnya. Pada langkah selanjutnya biarkan sebagai default. Pada langkah ketiga, masukkan jalur ke ember S3 yang Anda pilih. Biarkan jendela berikutnya sebagai default. Di jendela kelima, masukkan peran IAM apa pun. Pada langkah selanjutnya memilih frekuensi menjalankan layanan.

Dianjurkan untuk memilih kustom di kotak drop down dan memilih waktu minimum.

Pada langkah selanjutnya klik Add Database dan kemudian next. Klik Selesai.

Sekarang kita harus mengintegrasikan Kinesis Firehose dengan Lem AWS yang kita buat.

Buka firehose AWS Kinesis yang kami buat dan klik edit.

Gulir ke bawah ke bagian Convert Record Format dan pilih Enabled.

Pilih format output sebagai Apache Parket. Untuk detail lainnya, isi detail database Glue yang Anda buat. Sebuah tabel harus dibuat dalam database dan nama harus ditambahkan ke bagian ini. Klik Simpan.

Langkah 4: Mengonfigurasi AWS Athena

Pilih database dan tabel data yang Anda buat. Di bagian kueri kode ini harus ditambahkan.

table-name harus diganti dengan nama sebenarnya dari tabel Glue yang Anda buat.

Klik Jalankan Kueri. Jika berhasil, data yang disimpan di bucket AWS S3 harus ditampilkan sebagai tabel data.

Sekarang kita siap untuk memvisualisasikan data yang kita dapatkan.

Langkah 5: Mengonfigurasi QuickSight

Navigasikan ke AWS Quicksight

Klik Analisis Baru di sudut kanan atas, lalu klik Kumpulan Data Baru.

Pilih Athena dari daftar. Masukkan nama sumber data apa pun pada kartu pop-up.

Pilih database Lem dari kotak drop-down dan tabel yang relevan. Ini akan mengarahkan Anda ke halaman ini.

Seret dan lepas bidang apa pun dari daftar bidang dan pilih jenis visual apa pun.

Sekarang Anda dapat memvisualisasikan data apa pun yang dikirim dari MagicBit Anda Menggunakan layanan AWS!!!

Ingatlah untuk mengizinkan akses quicksight untuk masing-masing bucket S3 guna memvisualisasikan data di dalamnya.