Sarung Tangan Konversi Gestur ke Ucapan/Teks: 5 Langkah

2024 Pengarang: John Day | [email protected]. Terakhir diubah: 2024-01-30 09:54

Ide/dorongan di balik pelaksanaan proyek ini adalah untuk membantu orang-orang yang mengalami kesulitan berkomunikasi menggunakan ucapan dan berkomunikasi menggunakan gerakan tangan atau lebih dikenal sebagai bahasa isyarat Amerika (ASL). Proyek ini dapat menjadi langkah untuk memberikan kesempatan kepada orang-orang ini untuk bekerja dengan orang lain, yang tidak dapat memahami bahasa isyarat, dalam lingkungan kolaboratif. Juga, proyek ini akan memungkinkan mereka untuk memberikan pidato publik tanpa menggunakan penerjemah manusia yang sebenarnya. Sebagai permulaan, saya hanya mencoba mendeteksi beberapa gerakan yang lebih mudah seperti huruf A, B, I, dll dan juga telah menetapkan gerakan tertentu untuk kata/sapaan umum seperti 'Halo', 'Selamat Pagi', dll.

Langkah 1: Perakitan Sirkuit

Langkah 2: Detail Proyek

Proyek ini mencakup sarung tangan yang dapat dikenakan dengan 4 sensor fleksibel yang terpasang/tertanam ke dalam sarung tangan - masing-masing untuk jari kelingking, tengah, telunjuk, dan ibu jari. Sensor flex tidak digunakan untuk Jari manis karena keterbatasan ketersediaan Pin Input Analog pada Arduino Uno R3 dan secara umum karena kurangnya gerakan independen yang ditampilkan oleh jari dalam bahasa isyarat. Akselerometer MMA8452Q juga digunakan yang dipasang di bagian belakang telapak tangan untuk mengukur orientasi tangan. Masukan dari sensor ini dianalisis dan digunakan untuk merasakan gerakan. Setelah gerakan dirasakan, karakter/pesan yang sesuai disimpan ke dalam variabel. Karakter-karakter dan pesan-pesan ini terus bersambung sampai suatu gerakan tertentu yang telah ditentukan sebelumnya dibuat yang menunjukkan penyelesaian kalimat. Setelah gerakan khusus itu terdeteksi, string kalimat yang disimpan dikirim ke Raspberry Pi melalui kabel USB oleh Arduino. Raspberry Pi kemudian mengirimkan string yang diterima ke Amazon Cloud Service bernama Polly untuk mengonversi kalimat yang diterima dalam format teks ke format ucapan dan kemudian mengalirkan ucapan yang diterima pada Speaker yang terhubung ke Raspberry Pi melalui kabel AUX.

Proyek ini hanyalah Bukti konsep dan dengan peralatan dan perencanaan yang lebih baik dan kalibrasi yang lebih baik untuk mendeteksi banyak gerakan dan gerakan tangan lainnya. Saat ini, hanya fungsionalitas terbatas yang diprogram ke dalam proyek ini seperti deteksi gerakan dasar dan keluaran teks ke ucapan.

Langkah 3: Kode

Langkah 4: Langkah

1. Hubungkan sensor fleksibel dan akselerometer MMA8452Q ke Arduino sesuai dengan diagram rangkaian yang disediakan.

2. Dump program Final_Project.ino (ditemukan di file Arduino_code.zip) ke Arduino.

3. Hubungkan Arduino ke Raspberry Pi melalui kabel USB. (Tipe kabel A/B).

4. Nyalakan Raspberry Pi, salin file Raspberry_pi_code.zip ke dalam Raspberry Pi, dan ekstrak. Hubungkan speaker ke Raspberry Pi.

5. Salin kredensial akun AWS Anda yaitu aws_access_key_id, aws_secret_access_key dan aws_session_token ke dalam file ~/.aws/credentials. Langkah ini diperlukan untuk berkomunikasi dengan AWS cloud dan untuk menggunakan layanan AWS.

6. Jalankan program seria_test.py yang ditemukan di dalam folder hasil ekstrak pada langkah 4.

7. Sekarang buat gerakan untuk membentuk kalimat dan kemudian lakukan gerakan khusus (Jauhkan jari dan telapak tangan lurus dan sejajar dengan telapak menghadap menjauh dari Anda, lalu putar pergelangan tangan ke bawah sehingga sekarang telapak tangan Anda menghadap Anda dan ujung jari Anda mengarah ke bawah ke arah kaki Anda.) untuk menandakan penyelesaian kalimat.

8. Terus periksa terminal untuk informasi yang berguna.

9. Dan dengarkan pidato yang dikonversi yang dialirkan di speaker.

Langkah 5: Referensi

1.

2.

3.

4.