Pengenal Gerakan Tangan: 5 Langkah

2024 Pengarang: John Day | [email protected]. Terakhir diubah: 2024-01-30 09:54

Gambaran

Dalam proyek ini, kami akan membuat sarung tangan yang dapat mengenali beberapa gerakan tangan dasar, menggunakan MicroBit, dan beberapa sensor. Kami akan menggunakan kemampuan Bluetooth di MicroBit, bersama dengan Aplikasi Android dan Server Web untuk melatih model pembelajaran mesin untuk mengidentifikasi gerakan tangan.

Mulai

Sebagian besar upaya yang terlibat dalam proyek ini ada di sisi perangkat lunak, dan semua kode yang diperlukan untuk menjalankan proyek ini tersedia di GitHub. Basis kode melibatkan 3 komponen, kode untuk menghasilkan file HEX untuk MicroBit, basis kode Aplikasi Android yang sangat didasarkan pada aplikasi MicroBit Blue dari Yayasan MicroBit, dengan modifikasi yang dibuat untuk kasus penggunaan khusus ini, dan server web dengan kode untuk melatih model berbasis Tensorflow untuk mengidentifikasi gerakan tangan.

Kita akan melihat bagaimana membuat sarung tangan dan menghubungkannya dengan Aplikasi dan Server Web selanjutnya.

Perlengkapan

• 1 BBC Microbit
• 1 Dudukan Baterai dengan 2 baterai AAA
• 1 sarung tangan
• Satu set kabel jumper, klip buaya
• Sebuah sensor fleksibel
• Sebuah sensor kekuatan
• Velcro
• Pita Listrik
• Ponsel Android
• PC/Laptop

Langkah 1: Langkah 1: Menyiapkan MicroBit dan Baterai

• Mulailah dengan memasang dudukan baterai ke sepotong velcro seperti yang ditunjukkan pada gambar pertama. Gunakan pita listrik untuk menempelkan dudukan baterai dengan kuat ke tali velcro.
• Selanjutnya buat lingkaran dengan pita listrik sedemikian rupa sehingga lengket di kedua sisi, dan tempelkan di atas baterai.
• Tempelkan MicroBit ke loop pita untuk menempelkan MicroBit dengan kuat ke Dudukan Baterai seperti yang ditunjukkan pada gambar kedua.

Langkah 2: Kaitkan Sensor

• Ikuti diagram sirkuit yang ditunjukkan pada gambar untuk menghubungkan sensor fleksibel Anda ke Pin 1 dari MicroBit, dan paksa sensor ke Pin 0 dari MicroBit.
• Amankan sensor pada Sarung Tangan menggunakan pita listrik seperti yang ditunjukkan pada gambar.

Langkah 3: Menyelesaikan Perangkat Keras

• Gunakan ujung tali velcro untuk membentuk lingkaran dan geser lingkaran di atas jari-jari sarung tangan, seperti yang ditunjukkan pada gambar.
• Anda dapat menggunakan pengikat kawat untuk mengamankan kabel pada sarung tangan agar tidak terlalu banyak bergerak.

Di bagian selanjutnya kita akan melihat cara mengatur perangkat lunak.

Langkah 4: Pengaturan Perangkat Lunak

Memasangkan ponsel Anda ke MicroBit

1. Untuk memasangkan ponsel Anda, pertama-tama pastikan bluetooth di ponsel Anda.
2. Nyalakan MicroBit Anda, dan tekan dan tahan tombol A dan B. Pada saat yang sama tekan dan lepaskan tombol reset sambil tetap menahan tombol A dan B. Microbit sekarang harus memasuki mode berpasangan.
3. Di ponsel Anda, temukan MicroBit Anda di bawah daftar perangkat bluetooth tempat Anda biasanya menambahkan perangkat Bluetooth baru, dan mulai memasangkan. Di MicroBit Anda, Anda akan melihat panah yang menunjuk ke tombol A. Ketika Anda menekan ini, MicroBit akan menampilkan serangkaian angka yang merupakan Kode Pairing yang harus Anda masukkan di ponsel Anda. Setelah Anda memasukkan kode di ponsel Anda dan memilih pasangan, tanda centang akan ditampilkan di MicroBit.
4. Tekan tombol reset pada MicroBit Anda.

Menyiapkan perangkat lunak

Ikuti panduan ReadMe di setiap sub folder di GitHub Repository untuk menyiapkan proyek Aplikasi Android di Android Studio, untuk membuat dan mem-flash file HEX ke MicroBit Anda, dan menjalankan server web untuk menjalankan Model Pembelajaran Mesin.

Langkah 5: Penggunaan

Server Web

Buka terminal di direktori proyek Server Web dan jalankan `python server.py` untuk memulai server setelah mengikuti petunjuk di ReadMe untuk menginstal dependensi

Aplikasi Android

1. Bangun dan buat APK untuk Aplikasi Android dari Android Studio. Jalankan aplikasi setelah memasangkan ponsel Anda dengan MicroBit (lihat langkah sebelumnya).
2. Di halaman accelerometer, Anda dapat mengatur url server web menggunakan menu pengaturan di sudut kanan atas. Pastikan Anda mengubah ini ke IP Server Web Anda.
3. Tunggu hingga pembacaan akselerometer mulai terisi dari MicroBit. Anda akan melihat pembacaan berubah dengan frekuensi yang berbeda. Untuk mengubah frekuensi tekan B pada MicroBit. Idealnya Anda dapat menggunakan nilai frekuensi 10 (yang mengambil sampel pembacaan setiap 10 ms)
4. Setelah bacaan diisi, beri nama gerakan Anda menggunakan Kotak Teks berlabel 'Gerakan:', dan tekan tombol rekam. Segera setelah Anda menekan tombol rekam, buat gerakan tangan Anda, berulang kali hingga tombol diaktifkan kembali.
5. Ulangi langkah 3 untuk merekam beberapa gerakan.
6. Tekan tombol kereta untuk memulai pelatihan model di server. Setelah pelatihan selesai (sekitar 15 detik), Anda dapat melanjutkan untuk membuat prediksi.
7. Tekan tombol prediksi dan buat gerakan/isyarat Anda. Aplikasi akan mencoba mencocokkannya dengan salah satu gerakan terlatih sebaik mungkin.