Drone Otonom Dengan Kamera Inframerah untuk Membantu Responden Pertama: 7 Langkah

2024 Pengarang: John Day | [email protected]. Terakhir diubah: 2024-01-30 09:55

Menurut laporan Organisasi Kesehatan Dunia, setiap tahun bencana alam membunuh sekitar 90.000 orang dan mempengaruhi hampir 160 juta orang di seluruh dunia. Bencana alam meliputi gempa bumi, tsunami, letusan gunung berapi, tanah longsor, angin topan, banjir, kebakaran hutan, gelombang panas dan kekeringan. Waktu sangat penting karena peluang untuk bertahan hidup mulai turun setiap menit yang berlalu. Responden pertama dapat mengalami kesulitan menemukan orang yang selamat di rumah yang rusak dan membahayakan nyawa mereka saat mencari mereka. Memiliki sistem yang dapat menemukan orang dari jarak jauh akan sangat meningkatkan kecepatan di mana responden pertama dapat mengevakuasi mereka dari gedung. Setelah meneliti sistem lain, saya menemukan bahwa beberapa perusahaan telah membuat robot yang berbasis di darat atau telah membuat drone yang dapat melacak orang tetapi hanya berfungsi di luar gedung. Kombinasi kamera kedalaman bersama dengan kamera inframerah khusus dapat memungkinkan pelacakan yang akurat dari area dalam ruangan dan deteksi perubahan suhu yang mewakili api, manusia, dan hewan. Dengan menerapkan sensor dengan algoritme khusus pada kendaraan udara tak berawak (UAV), akan memungkinkan untuk memeriksa rumah secara mandiri dan mengidentifikasi lokasi orang dan hewan untuk menyelamatkan mereka secepat mungkin.

Tolong pilih saya dalam kontes Optik!

Langkah 1: Persyaratan Desain

Setelah meneliti teknologi yang tersedia, saya mendiskusikan kemungkinan solusi dengan pakar penglihatan mesin dan responden pertama untuk menemukan metode terbaik untuk mendeteksi orang yang selamat di area berbahaya. Informasi di bawah ini mencantumkan fitur terpenting yang diperlukan dan elemen desain untuk sistem.

• Vision Processing - Sistem perlu menyediakan kecepatan pemrosesan yang cepat untuk pertukaran informasi antara sensor dan respons Artificial Intelligence (AI). Misalnya, sistem harus mampu mendeteksi dinding dan rintangan untuk menghindarinya sekaligus menemukan orang yang berada dalam bahaya.
• Otonom - Sistem harus dapat berfungsi tanpa masukan dari pengguna atau operator. Personil dengan pengalaman minimal dengan teknologi UAV harus dapat menekan satu atau beberapa tombol agar sistem mulai memindai dengan sendirinya.
• Rentang - Rentang adalah jarak antara sistem dan semua objek lain yang berdekatan. Sistem harus dapat mendeteksi lorong dan pintu masuk dari jarak minimal 5 meter. Kisaran minimum yang ideal adalah 0,25 m agar objek yang dekat dapat dideteksi. Semakin besar jangkauan deteksi, semakin pendek waktu deteksi bagi para penyintas.
• Navigasi dan Keakuratan Deteksi - Sistem harus dapat menemukan semua pintu masuk secara akurat dan tidak mengenai objek apa pun sambil juga mendeteksi kemunculan objek secara tiba-tiba. Sistem harus dapat menemukan perbedaan antara manusia dan benda mati melalui berbagai sensor.
• Durasi Operasi - Sistem harus dapat bertahan 10 menit atau lebih lama tergantung pada berapa banyak ruangan yang perlu dipindai.
• Kecepatan - Ini harus dapat memindai seluruh bangunan dalam waktu kurang dari 10 menit.

Langkah 2: Pemilihan Peralatan: Metode Mobilitas

Quadcopter dipilih daripada mobil remote control karena meskipun quadcopter rapuh, lebih mudah untuk mengontrol dan mengubah ketinggian untuk menghindari rintangan. Quadcopter dapat menahan semua sensor dan menstabilkannya sehingga lebih akurat saat bergerak ke ruangan yang berbeda. Baling-balingnya terbuat dari serat karbon yang tahan panas. Sensor langsung menjauh dari dinding untuk mencegah kecelakaan.

• Kendaraan Darat Pengendali Jarak Jauh

  • Kelebihan - Dapat bergerak cepat tanpa jatuh dan tidak terpengaruh suhu
  • Kontra - Kendaraan akan menempatkan sensor rendah ke tanah yang mencakup lebih sedikit area pada satu waktu dan dapat diblokir oleh rintangan

• Quadcopter

  • Kelebihan - Mengangkat sensor ke udara untuk mendapatkan tampilan 360° dari lingkungan sekitar
  • Kontra - Jika menabrak dinding, itu bisa jatuh dan tidak pulih

Langkah 3: Pemilihan Peralatan: Mikrokontroler

Dua persyaratan utama untuk mikrokontroler adalah ukuran kecil untuk mengurangi muatan pada quadcopter dan kecepatan untuk memproses input informasi dengan cepat. Kombinasi Rock64 dan DJI Naza adalah kombinasi sempurna dari mikrokontroler karena Rock64 memiliki kekuatan pemrosesan yang cukup untuk mendeteksi orang dengan cepat dan menjaga agar quadcopter tidak menabrak dinding dan rintangan. DJI Naza memujinya dengan baik dengan melakukan semua stabilisasi dan kontrol motor yang tidak bisa dilakukan Rock64. Mikrokontroler berkomunikasi melalui port serial dan memungkinkan kontrol pengguna jika perlu. Raspberry Pi akan menjadi alternatif yang baik tetapi karena Rock64 memiliki prosesor yang lebih baik dan konektivitas yang lebih baik ke sensor yang tercantum dalam tabel berikutnya, Pi tidak dipilih. Intel Edison dan Pixhawk tidak dipilih karena kurangnya dukungan dan konektivitas.

• Raspberry Pi

  • Kelebihan - Dapat mendeteksi dinding dan benda tetap
  • Kontra - Berjuang untuk mengikuti data dari semua sensor sehingga tidak dapat melihat pintu masuk dengan cukup cepat. Tidak dapat mengeluarkan sinyal motor dan tidak memiliki sensor penstabil untuk quadcopter

• Rock64

  • Kelebihan - Mampu mendeteksi dinding dan pintu masuk dengan sedikit latensi.
  • Kontra - Juga dapat memandu sistem di seluruh rumah tanpa menabrak apa pun menggunakan semua sensor. Tidak dapat mengirim sinyal dengan cukup cepat untuk mengontrol kecepatan motor dan tidak memiliki sensor penstabil untuk quadcopter

• Intel Edison

  • Kelebihan - Mampu mendeteksi dinding dan pintu masuk dengan sedikit jeda
  • Kontra - Teknologi yang lebih lama, banyak sensor akan membutuhkan perpustakaan baru yang sangat memakan waktu untuk membuatnya
• DJI Naza
  • Kelebihan - Memiliki giroskop, akselerometer, dan magnetometer terintegrasi, untuk memungkinkan quadcopter stabil di udara dengan penyesuaian mikro pada kecepatan motor
  • Kontra - Tidak dapat melakukan pemrosesan penglihatan apa pun

• Pixhawk

  • Kelebihan - Ringkas dan kompatibel dengan sensor yang digunakan dalam proyek dengan menggunakan General Purpose Input Output (GPIO)
  • Kontra - Tidak dapat melakukan pemrosesan penglihatan apa pun

Langkah 4: Pemilihan Peralatan: Sensor

Kombinasi beberapa sensor digunakan untuk mendapatkan semua informasi yang diperlukan untuk menemukan orang di daerah berbahaya. Dua sensor utama yang dipilih termasuk kamera inframerah stereo di samping Sound Navigation And Ranging (SONAR). Setelah beberapa pengujian, saya memutuskan untuk menggunakan kamera Realsense D435 karena ukurannya yang kecil dan mampu melacak jarak hingga 20 meter secara akurat. Ini berjalan pada 90 frame per detik yang memungkinkan banyak pengukuran dilakukan sebelum membuat keputusan tentang di mana objek berada dan ke arah mana quadcopter diarahkan. Sensor SONAR ditempatkan di bagian atas dan bawah sistem untuk memungkinkan quadcopter mengetahui seberapa tinggi atau rendah yang diizinkan sebelum melakukan kontak dengan permukaan. Ada juga satu yang ditempatkan menghadap ke depan untuk memungkinkan sistem mendeteksi objek seperti kaca yang tidak dapat dideteksi oleh sensor kamera inframerah stereo. Orang dan hewan dideteksi menggunakan algoritma pengenalan gerakan dan objek. Kamera FLIR akan diimplementasikan untuk membantu kamera inframerah stereo melacak apa yang hidup dan apa yang tidak untuk meningkatkan efisiensi pemindaian dalam kondisi buruk.

• Kinect V1

  • Kelebihan - Dapat melacak objek 3D dengan mudah hingga jarak 6 meter
  • Kontra -Hanya memiliki 1 sensor inframerah dan terlalu berat untuk quadcopter

• Realsense D435

  • Kelebihan - Memiliki 2 kamera inframerah dan kamera Merah, Hijau, Biru, Kedalaman (RGB-D) untuk deteksi objek 3D presisi tinggi hingga jarak 25 meter. Lebarnya 6 cm sehingga mudah dipasang di quadcopter
  • Kontra - Dapat memanas dan mungkin memerlukan kipas pendingin

• LIDAR

  • Kelebihan - Sinar yang dapat melacak lokasi hingga jarak 40 meter dalam pandangannya
  • Kontra - Panas di lingkungan dapat memengaruhi presisi pengukuran

• SONAR

  • Kelebihan - Sinar yang dapat melacak sejauh 15 m tetapi mampu mendeteksi objek transparan seperti kaca dan akrilik
  • Kontra - Hanya titik dalam satu garis pandang tetapi dapat dipindahkan oleh quadcopter untuk memindai area

• ultrasonik

  • Kelebihan - Memiliki jangkauan hingga 3 m dan sangat murah
  • Kontra - Hanya titik dalam satu garis pandang dan dapat berada di luar jangkauan penginderaan jarak dengan sangat mudah

• Kamera FLIR

  • Kelebihan - Mampu mengambil gambar mendalam melalui asap tanpa gangguan dan dapat mendeteksi orang yang hidup melalui tanda panas
  • Kontra - Jika ada yang mengganggu sensor, perhitungan jarak dapat salah dihitung

• sensor PIR

  • Kelebihan - Mampu mendeteksi perubahan suhu
  • Kontra - Tidak dapat menentukan di mana perbedaan suhu

Langkah 5: Pemilihan Peralatan: Perangkat Lunak

Saya menggunakan Realsense SDK bersama Robot Operating System (ROS) untuk menciptakan integrasi yang mulus antara semua sensor dengan mikrokontroler. SDK menyediakan aliran data cloud titik yang stabil yang ideal untuk melacak semua objek dan batas quadcopter. ROS membantu saya mengirim semua data sensor ke program yang saya buat yang mengimplementasikan Artificial Intelligence. AI terdiri dari algoritma deteksi objek dan algoritma deteksi gerakan yang memungkinkan quadcopter menemukan gerakan di lingkungannya. Kontroler menggunakan Pulse Width Modulation (PWM) untuk mengontrol posisi quadcopter.

• koneksi bebas

  • Kelebihan - Memiliki tingkat akses yang lebih rendah untuk mengontrol semuanya
  • Kontra - Hanya mendukung Kinect V1

• SDK Realsense

  • Kelebihan - Dapat dengan mudah membuat data titik cloud dari aliran informasi dari Kamera Realsense
  • Kontra - Hanya mendukung kamera Realsense D435

• Driver Linux FLIR

  • Kelebihan - Dapat mengambil aliran data dari kamera FLIR
  • Kontra - Dokumentasi sangat terbatas

• Sistem Operasi Robot (ROS)

  • Kelebihan - Sistem operasi ideal untuk memprogram fungsi kamera
  • Kontra - Perlu dipasang pada kartu SD cepat untuk pengumpulan data yang efisien

Langkah 6: Pengembangan Sistem

"Mata" perangkat adalah sensor inframerah stereo Realsense D435 yang merupakan sensor siap pakai yang terutama digunakan untuk aplikasi robot seperti pemetaan 3D (Gambar 1). Ketika sensor ini dipasang pada quadcopter, kamera inframerah dapat memandu dan memungkinkan quadcopter untuk bergerak secara mandiri. Data yang dihasilkan oleh kamera disebut sebagai point cloud yang terdiri dari rangkaian titik-titik dalam suatu ruang yang memiliki informasi tentang posisi suatu objek tertentu dalam penglihatan kamera. Awan titik ini dapat diubah menjadi peta kedalaman yang menunjukkan warna sebagai kedalaman yang berbeda (Gambar 2). Merah lebih jauh, sedangkan biru lebih dekat meter.

Untuk memastikan sistem ini mulus, sistem operasi open-source yang disebut ROS, yang biasanya digunakan pada robot, digunakan. Hal ini memungkinkan untuk melakukan kontrol perangkat tingkat rendah, dan untuk mengakses semua sensor dan mengkompilasi data untuk digunakan oleh program lain. ROS akan berkomunikasi dengan Realsense SDK yang memungkinkan untuk menghidupkan dan mematikan kamera yang berbeda untuk melacak seberapa jauh objek dari sistem. Tautan antara keduanya memungkinkan saya untuk mengakses aliran data dari kamera yang menciptakan titik cloud. Informasi awan titik dapat menentukan di mana batas dan objek berada dalam jarak 30 meter dan akurasi 2cm. Sensor lain seperti sensor SONAR dan sensor tertanam di pengontrol DJI Naza memungkinkan pemosisian quadcopter yang lebih akurat. Perangkat lunak saya menggunakan algoritme AI untuk mengakses cloud titik dan melalui pelokalan, membuat peta seluruh ruang di sekitar perangkat. Setelah sistem diluncurkan dan mulai memindai, sistem akan melakukan perjalanan melalui lorong dan menemukan pintu masuk ke ruangan lain di mana kemudian dapat melakukan pembersihan ruangan secara khusus untuk mencari orang. Sistem mengulangi proses ini sampai semua ruangan telah dipindai. Saat ini, quadcopter dapat terbang selama sekitar 10 menit yang cukup untuk melakukan sapuan penuh tetapi dapat ditingkatkan dengan pengaturan baterai yang berbeda. Responden pertama akan mendapatkan pemberitahuan ketika orang terlihat sehingga mereka dapat memfokuskan upaya mereka pada bangunan tertentu.

Langkah 7: Diskusi dan Kesimpulan

Setelah banyak percobaan, saya telah membuat prototipe kerja yang memenuhi persyaratan yang tercantum dalam Tabel 1. Dengan menggunakan kamera inframerah stereo Realsense D435 dengan Realsense SDK, peta kedalaman resolusi tinggi dari depan quadcopter telah dibuat. Pada awalnya saya memiliki beberapa masalah dengan kamera inframerah yang tidak dapat mendeteksi objek tertentu seperti kaca. Dengan menambahkan sensor SONAR, saya dapat mengatasi masalah ini. Kombinasi Rock64 dan DJI Naza berhasil karena sistem mampu menstabilkan quadcopter sekaligus mampu mendeteksi objek dan dinding melalui algoritma visi komputer yang dibuat khusus menggunakan OpenCV. Meskipun sistem saat ini berfungsi dan memenuhi persyaratan, itu bisa mendapat manfaat dari beberapa prototipe masa depan.

Sistem ini dapat ditingkatkan dengan menggunakan kamera berkualitas lebih tinggi agar dapat mendeteksi orang dengan lebih akurat. Beberapa kamera FLIR yang lebih mahal memiliki kemampuan untuk mendeteksi tanda panas yang memungkinkan pendeteksian yang lebih akurat. Sistem juga dapat berfungsi di lingkungan yang berbeda seperti ruangan yang berdebu dan penuh asap. Dengan teknologi baru, dan tahan api, sistem ini dapat dikirim ke rumah-rumah yang terbakar dan dengan cepat mendeteksi di mana orang-orang berada sehingga responden pertama dapat menyelamatkan orang-orang yang selamat dari bahaya.

Terima kasih sudah membaca! Jangan lupa untuk memilih saya dalam kontes Optik!