Postshirt: Deteksi Postur Dapat Dipakai Realtime: 9 Langkah

2024 Pengarang: John Day | [email protected]. Terakhir diubah: 2024-01-30 09:54

Postshirt adalah sistem deteksi postur nirkabel waktu nyata yang mengirimkan dan mengklasifikasikan data akselerometer dari Adafruit Feather ke aplikasi Android melalui Bluetooth. Sistem lengkap dapat mendeteksi secara realtime jika pengguna memiliki postur tubuh yang buruk dan membuat pemberitahuan push ketika pengguna mulai membungkuk, deteksi juga berfungsi saat berjalan.

Perlengkapan

Elektronik

1 x Ponsel Cerdas Android

1 x Adafruit Bulu

1 x Baterai Lithium Ion Polymer - 3.7v 100mAh (opsional untuk penggunaan nirkabel)

2 x akselerometer tiga sumbu ADXL335

Bahan

Kawat penghubung

gulungan pita

Langkah 1: Instal IDE dan Pustaka yang Diperlukan

Adafruit Bulu

Pertama-tama instal Arduino IDE dan kemudian ikuti langkah-langkah untuk menginstal Adafruit nRF51 BLE Library

Buku Catatan Jupyter

Pertama instal Notebook Jupyter dan kemudian perpustakaan yang diperlukan berikut

• https://scikit-learn.org/stable/
• https://github.com/nok/sklearn-porter

Android

Instal Android Studio

Kode proyek

Unduh semua kode proyek dari GitHub

Langkah 2: Hubungkan Akselerometer ke Bulu

Untuk membaca data dari ADXL335s, sambungkan kabel pengait ke pin Vin, ground, Xout, Yout, dan Zout. Untuk kedua akselerometer, sambungkan ujung kabel Vin yang lain ke pin 3V di Feather dan ujung lain dari pin ground ke pin ground di Feather. Hubungkan kabel Xout, Yout, dan Zout dari akselerometer pertama ke pin A0, A1, dan A2 pada Feather. Hubungkan kabel Xout, Yout, dan Zout dari akselerometer kedua ke pin A3, A4, dan A5 pada Feather.

Akselerometer dapat dihubungkan dengan cara apa pun tetapi menyolder kabel dan heatshrink atau melilitkan pita listrik di sekitar titik sambungan disarankan untuk mencegah bagian yang terbuka saling bersentuhan.

Langkah 3: Pasang Akselerometer ke Baju

Dengan menggunakan selotip, tempelkan akselerometer ke bagian belakang kemeja. Akselerometer yang disambungkan ke pin A0-2 harus ditempatkan secara horizontal di tengah-tengah punggung bawah. Kabel akselerometer ke pin A3-5 harus ditempatkan secara horizontal di tengah di belakang leher. Kedua akselerometer harus disejajarkan sedemikian rupa sehingga pin berada di sepanjang sisi bawah dan sensor harus direkatkan rata dan aman pada baju.

Catatan: Untuk perangkat wearable yang lebih permanen, sensor dapat dijahit ke pakaian tetapi harus direkatkan dan diuji terlebih dahulu untuk memastikan penempatan sensor diposisikan secara efektif.

Langkah 4: Menjalankan Kode di Arduino

Untuk mulai mengumpulkan data di Feather, jalankan Arduino IDE dan buka file GestureDataSender di bawah bagian Arduino dari kode proyek. Dengan file ini terbuka, atur papan dan port yang digunakan lalu pilih "Verifikasi" dan "Unggah" untuk mengunggah kode ke Feather.

Langkah 5: Menjalankan Kode di Android

Untuk menjalankan aplikasi di android pertama-tama jalankan Android Studio lalu pilih opsi untuk membuka proyek Android yang ada. Arahkan ke kode proyek dan pilih folder "Android". Android Studio akan membutuhkan beberapa saat untuk menyinkronkan file proyek dan mungkin meminta untuk menginstal beberapa pustaka yang diperlukan, terima opsi ini. Setelah proyek siap pasang perangkat Android ke komputer dan pilih opsi jalankan di bagian atas jendela. Pilih perangkat dari prompt yang ditampilkan dan kemudian biarkan aplikasi membangun ke perangkat.

Langkah 6: Menguji Koneksi Sinyal Bluetooth

Setelah aplikasi terbuka, pastikan Feather dihidupkan dan kemudian pilih Adafruit Bluefruit LE dari daftar perangkat yang muncul di telepon. Tunggu perangkat terhubung, jika koneksi gagal pertama kali coba sambungkan kembali sebelum mengambil langkah debugging lainnya. Setelah perangkat terhubung pilih modul "Detektor Postur" yang jika berfungsi dengan baik akan menampilkan grafik pembaruan langsung serta prediksi postur dan gerakan saat ini. Untuk menguji apakah arduino mengomunikasikan data sensor dengan benar, gerakkan kedua akselerometer ke arah acak dan periksa apakah semua garis pada grafik berubah. Jika beberapa garis tetap datar, pastikan akselerometer terhubung dengan benar ke Feather. Jika semuanya berfungsi, kenakan kemeja dan uji apakah deteksi postur memprediksi postur Anda dengan benar. Selamat! Anda telah berhasil menyiapkan perangkat pendeteksi postur yang dapat dikenakan. Lanjutkan melalui instruksi ini untuk mempelajari cara membuat kumpulan data Anda sendiri dan menyesuaikan deteksi postur Anda sendiri.

Langkah 7: Mengumpulkan Data Anda Sendiri

Untuk mengumpulkan data Anda sendiri, kembalilah ke layar pemilihan modul dan buka modul Perekam Data. Setelah layar ini terbuka, isi label untuk data yang akan Anda kumpulkan; untuk melatih data Anda dengan mudah, Anda harus menyertakan kata "baik" dalam nama rekaman apa pun dengan postur baik dan "buruk" dalam rekaman apa pun dengan postur. Untuk mulai mengumpulkan, ketuk tombol "Kumpulkan Data" dan lakukan tindakan yang Anda inginkan, setelah selesai ketuk tombol lagi untuk menyelesaikan dan menyimpan data. Semua data yang direkam akan disimpan dalam folder bernama "GestureData" di bawah folder dokumen sistem file Anda. Ketika Anda selesai merekam semua data Anda, salin file ke komputer Anda untuk pelatihan model.

Langkah 8: Latih Data Anda di Notebook Jupyter

Kode proyek awal berisi data asli yang digunakan untuk pelatihan di folder "data" di bawah bagian Notebook Jupyter, untuk pelatihan data Anda sendiri hapus semua file di folder ini lalu salin data Anda sendiri ke dalam folder. Kemudian jalankan Jupyter Notebook dan buka "PostureDetectorTrainer.ipynb". Notebook ini dirancang untuk secara otomatis memisahkan file apa pun di folder data dengan postur yang baik dan buruk dan kemudian melatih SVM linier untuk klasifikasi untuk melatih model cukup pilih drop-down "Sel" dan pilih "Jalankan Semua". Notebook mungkin memerlukan beberapa saat untuk dijalankan tetapi setelah selesai menggulir ke titik yang memberikan akurasi prediksi postur untuk model tersebut, jika akurasinya rendah, Anda mungkin ingin memastikan bahwa rekaman sebelumnya akurat dan kebenaran dasar yang konsisten. Jika hasilnya terlihat bagus, gulir ke sel berikutnya tempat kelas Java akan dibuat. Gulir ke bagian bawah sel ini hingga Anda melihat bagian yang dikomentari sebagai parameter. Salin nilai-nilai ini karena Anda akan membutuhkannya di langkah berikutnya.

Langkah 9: Memodifikasi Aplikasi Android Dengan Model Baru

Untuk mengubah model dalam aplikasi Android, gunakan Android Studio untuk menavigasi ke file "PostureDetectorFragment.java" di bawah bagian java dari struktur proyek. Dalam file ini gulir ke bawah ke bagian yang dikomentari sebagai "Pengklasifikasi postur" yang akan memiliki 4 variabel terkait yang sama dengan 4 yang dihasilkan di Notebook Jupyter. Ganti nilai 4 variabel ini dengan nilai yang disalin dari Jupyter Notebook, pastikan bahwa nama variabel tidak diubah dari p_vectors, p_coefficients, dll. Setelah ini selesai, simpan file dan pilih opsi Run lagi untuk membangun aplikasi ke perangkat. Sekarang ikuti langkah yang sama seperti sebelumnya untuk membuka modul Detektor Postur dan Anda akan melihat pengklasifikasi sekarang bekerja dengan model Anda yang baru dilatih. Jika tampaknya masih tidak berfungsi dengan baik, Anda harus mempertimbangkan untuk merekam data lebih lanjut dan membuat ulang model. Jika tidak, selamat! Anda sekarang telah mengimpor pengklasifikasi Anda sendiri yang terlatih secara pribadi ke dalam Postshirt!