IoT: Kontrol HoloLens Menggunakan Alis Anda (EMG): 5 Langkah

2024 Pengarang: John Day | [email protected]. Terakhir diubah: 2024-01-30 09:55

Proyek ini adalah bagian dari proyek NASA SUITS University of Colorado Boulder yang dipresentasikan dan diuji di NASA JSC pada April 2019. Untuk proyek tahun itu, saya memimpin proyek pengembangan perangkat keras dan ini adalah salah satu kontribusi saya. Baca lebih lanjut tentang tantangan NASA SUITS di sini.

Dengan proyek ini, saya ingin mengizinkan siapa pun (dalam hal ini EVA Astronauts) untuk berinteraksi dengan Heads-Up-Display (HUD) yang digunakan di Microsoft HoloLens tanpa menggunakan gerakan tangan atau input suara bawaan. Saya menangani tujuan ini dari sudut pandang aksesibilitas, saya ingin mengembangkan periferal/perangkat yang dapat dikenakan yang memungkinkan astronot EVA berinteraksi dengan layar mereka tanpa menempati komunikasi dengan kontrol darat, dan karena antarmuka gerakan sarung tangan bertekanan tinggi mereka tidak masuk akal. Meskipun ini adalah domain yang saya agak asing, saya juga dapat melihat periferal ini berguna bagi mereka yang cacat, memungkinkan mereka untuk menggunakan HoloLens atau perangkat AR/VR lainnya dan melupakan input antarmuka yang eksklusif atau menakutkan.

Meskipun daftar item untuk proyek ini eksklusif (HoloLens sangat mahal!), periferal dapat digunakan dengan Perangkat AR/VR lainnya.

Jika Anda memiliki pertanyaan, ingin mengikuti pekerjaan saya, atau hanya melemparkan ide, silakan lakukan di Twitter saya: @4Eyes6Senses.

Perlengkapan

Microsoft HoloLens (atau perangkat AR/VR lainnya)

Foton Partikel

Sensor Otot MyoWare - Sensor MyoWare dapat diganti dengan papan breakout EMG lainnya. Jika Anda tidak yakin apa itu EMG, saya sarankan Anda membaca lebih lanjut tentangnya di sini

Bantalan Sensor Biomedis

Persatuan (Gratis)

Beberapa Pengalaman dengan Membuat Proyek di Unity

Kabel

Langkah 1: Menghubungkan MyoWare Dengan Foton Partikel

Menghubungkan Particle Photon ke papan MyoWare cukup mudah. Untuk langkah ini, Anda perlu menyolder sambungan antara Particle Photon dan papan MyoWare. Pastikan Anda memiliki koneksi yang kuat sehingga kabel tidak putus saat memakai perangkat. Untuk menghindari putus, saya sarankan untuk mengepang kabel sebelum menyoldernya ke dalam Foton.

- Solder kabel ke port "+" pada papan MyoWare, lalu solder ujung kabel yang lain ke pin "3v3" Foton.

- Solder kabel ke port "-" pada papan MyoWare, lalu solder ujung kabel yang lain ke pin "GND" Foton.

- Solder kabel ke port "SIG" pada papan MyoWare, lalu solder ujung kabel yang lain ke pin "A0" Foton.

Langkah 2: Mengunggah Kode ke Foto Partikel

Menggunakan IDE Foton Partikel, Unggah file.ino. Tempatkan papan MyoWare pada kelompok otot dan periksa nilainya untuk memastikan perangkat Anda berfungsi. Saat melihat kode, Anda akan melihat bahwa ada variabel "ambang" yang sudah ditetapkan, variabel ini adalah nilai minimum yang dibaca MyoWare dari otot saya ketika saya mengangkat alis sepenuhnya. Saya juga mengatur variabel ke "600" karena memungkinkan saya untuk melakukan percakapan normal saat memakai MyoWare tanpa membuat kesalahan positif (pemicu yang tidak disengaja), Anda mungkin ingin bermain-main dengan nilai sampai Anda menemukan ambang batas yang diinginkan untuk penggunaan Anda.

Langkah 3: Penempatan MyoWare

Untuk proyek NASA SUITS kami, saya memilih untuk menempatkan MyoWare Board di atas alis. Saya terinspirasi untuk menempatkan MyoWare di sana setelah melihat proyek "'Sup Brows" yang dilakukan oleh Adafruit. Setelah beberapa pengujian, menjadi jelas bahwa alis adalah lokasi yang bagus untuk proyek khusus ini. Ini adalah lokasi yang bagus karena sensor tidak akan terpengaruh oleh gerakan otot konstan melalui lengan, kaki, dan dada yang dilakukan astronot EVA selama perjalanan luar angkasa.

Langkah 4: Menghubungkan MyoWare Dengan Unity

Sekarang saatnya untuk langkah terakhir, mari hubungkan MyoWare dengan Unity! Termasuk dalam Instructable ini adalah skrip yang harus Anda sertakan ke dalam proyek Unity Anda. Tetapi pertama-tama, Anda perlu mengubah beberapa hal dalam kode. Pertama, Anda harus menambahkan plugin JSON Object Unity ke dalam proyek Anda. Selanjutnya, Anda perlu menambahkan id perangkat Anda sendiri dan token akses ke baris 19: particleURI = "https://api.particle.io/v1/devices/[Insert your device id]/Next?access_token=[Insert your device id]/Next? token akses]". Anda bisa mendapatkan id perangkat Anda dari IDE Partikel, mengikuti gambar 2, klik pada tab perangkat Anda (kotak merah) dan lihat di bawah nama perangkat Anda untuk menemukan id Anda (kotak biru). Selanjutnya, untuk menemukan token akses Anda klik pada tab pengaturan di IDE.

Langkah 5: Selesai

Setelah menyelesaikan proyek Unity Anda, Anda akan memiliki HoloLens yang dikendalikan EMG!

Jika Anda memiliki pertanyaan mendalam, ingin belajar tentang pembesaran manusia, ingin mengikuti pekerjaan saya, atau hanya melemparkan ide, silakan lakukan di Twitter saya:

Jika Anda tertarik untuk bekerja sama dengan tim kami untuk tantangan 2019 - 2020 NASA SUITS, silakan email saya di:

Terima kasih khusus untuk model di gambar pertama, Darren, yang juga menguji desain di NASA. Terima kasih lagi kepada mitra pemrograman saya untuk proyek AJ, yang membuat banyak hal ini menjadi mungkin.