Google Glass/Bantuan Orang Miskin untuk Mereka yang Memiliki Visi Terowongan: 5 Langkah (dengan Gambar)

2024 Pengarang: John Day | [email protected]. Terakhir diubah: 2024-01-30 09:55

Abstrak:

Proyek ini mengalirkan video langsung dari kamera mata ikan ke layar head-up yang dapat dikenakan. Hasilnya adalah bidang pandang yang lebih luas dalam area yang lebih kecil (tampilannya sebanding dengan layar 4" 12" dari mata Anda dan menghasilkan 720p). Tujuan utamanya adalah untuk memberikan lebih banyak kesadaran spasial kepada mereka yang menderita Retinitis Pigmentosa (disingkat RP), penyakit mata degeneratif yang menghasilkan penglihatan terowongan (sebanding dengan melihat melalui gulungan kertas toilet sepanjang waktu). Karena itu, karena proyek ini didasarkan pada RPi, ada banyak kemungkinan aplikasi (beberapa di antaranya akan dibahas di akhir).

Daftar Bahan:

• (1) Raspberry Pi Zero ($5) (Raspberry Pi Zero W juga berfungsi)

• (1) Kartu Micro SD untuk Raspberry Pi($8) (hanya kartu Micro SD biasa, tidak ada yang istimewa. Direkomendasikan penyimpanan minimal 8GB)

  • Eksternal RPi: (Anda tidak memerlukan ini jika Anda sudah memilikinya atau jika Anda memiliki model RPi lain)

    • (1) Adaptor USB ($5)
    • (1) Kabel Mini HDMI ke HDMI ($6) (dengan penglihatan yang cukup baik, Vufine dapat digunakan sebagai monitor, sehingga tidak memerlukan kabel ini)
• (1) Tampilan Vufine Wearable ($200)

• (1) Kabel Pita Mikro ke Mini HDMI ($10) (Telah dihentikan, silakan lihat butir di bawah)

  • Adaptor HDMI

    (Tipe C dan tipe D; mudah-mudahan akan menentukan model akhir pekan ini (hari ini 3/2/2018)) (Adafruit juga menjual konektor ini, tetapi harganya lebih mahal)

  • Kabel Pita HDMI
• (2) Kabel Mikro USB (masing-masing $1-5) (hanya 2 kabel micro USB biasa, tidak ada yang istimewa)
• (1) Kamera Mata Ikan untuk Raspberry Pi ($25)
• (1) Kabel Kamera Raspberry Pi ($8)
• (1) Paket Ikatan Ritsleting Kecil ($3)

Total Biaya: ~265 USD (tergantung pada apa yang sudah Anda miliki dan berapa banyak yang Anda bayar untuk pengiriman)

Daftar Alat:

• Pemotong Kawat
• Wire Strippers (untuk ukuran kawat sekitar 26 awg)
• Hot-Glue Gun (dan lem untuk pistol lem panas tersebut)
• Papan ketik
• Layar (harus berkemampuan HDMI, tetapi sekali lagi, dengan penglihatan yang cukup baik, Vufine dapat digunakan sebagai monitor)
• Solder Besi (dan solder)
• Pisau X-Acto

Catatan Pribadi:

Proyek ini terinspirasi oleh nenek saya. Dia didiagnosis dengan RP sejak lama dan penglihatannya telah memburuk selama bertahun-tahun. Baru-baru ini, dia memutuskan untuk melepaskan anjing penglihatannya, Ventura (dijuluki Seymour, permainan kata-kata), karena usia. Meskipun ini mungkin membuat hidup lebih mudah dalam beberapa aspek, saya yakin itu membuat hal-hal lain lebih sepele (seperti berjalan-jalan di mal). Saya sudah lama ingin membuat perangkat seperti ini, tetapi tidak ada layar yang tersedia (dengan harga terjangkau). Itu berubah ketika saya menemukan Vufine. Ini adalah perusahaan hebat dengan produk hebat, dan tidak, saya tidak dibayar untuk mengatakan ini; itu adalah perusahaan yang benar-benar bagus. Adapun nenek saya, dia telah melaporkan bahwa perangkat ini hanya menggandakan bidang pandangnya (dalam hal diameter, bukan luas).

Memperbarui:

Saya membangun ini dengan modul Vufine yang dikonfigurasi untuk mata kiri (nenek saya benar-benar buta di mata kanannya), jadi mungkin ada beberapa masalah bagi mereka yang membuat ini untuk mata kanan (tidak ada yang besar, hanya perubahan orientasi untuk beberapa bagian). Karena itu, Vufine telah berbaik hati mengirimi saya modul untuk mata kanan sehingga saya dapat melanjutkan proyek ini dan memperbaiki masalah tersebut. Segera setelah saya melakukannya, saya akan memperbarui instruksi ini lebih lanjut.

Langkah 1: Menyiapkan Raspberry Pi

Menyiapkan Perangkat Keras Pi:

Catatan: Jika Anda memiliki Raspberry Pi selain RPi Zero (W atau reguler), Anda dapat melakukan pengeditan perangkat lunak yang diperlukan menggunakan Pi itu dan mentransfer kartu SD ke Pi Zero.

Catatan kedua: Saya sebenarnya tidak membeli beberapa perangkat keras yang terhubung ke Pi; Saya memiliki topi yang nyaman sebagai gantinya. Karena itu, gambar di atas adalah seperti apa pengaturan Anda seharusnya. Itu bukan milikku dan diambil dari sini.

Pertama, kita akan mencolokkan keyboard. Karena keyboard Anda memiliki konektor USB tipe A (yang persegi panjang di mana-mana) dan Pi Zero tidak, kita harus menggunakan adaptor USB. Colokkan adaptor USB ke port USB yang paling dekat dengan bagian tengah papan. Kemudian colokkan keyboard ke adaptor USB. Port USB lainnya akan digunakan untuk daya. Dua kabel teratas dalam gambar adalah kabel USB dengan kabel paling atas menyediakan daya.

Kedua, colokkan kabel HDMI ke port mini HDMI di Pi dan port HDMI di layar Anda (jika Anda memilih untuk menggunakan tampilan Vufine sebagai layar Anda, gunakan kabel pita HDMI).

Menyiapkan Perangkat Lunak Pi:

Proses ini didokumentasikan di mana-mana, tetapi panduan resminya ada di sini. Penting untuk dicatat beberapa hal: Anda akan menggunakan kartu micro SD yang Anda beli (yang saya pilih memiliki adaptor sehingga Anda dapat mem-flash-nya dengan komputer biasa), Anda akan menginstal Raspbian, dan Anda harus mengaktifkan kamera di menu konfigurasi Raspberry Pi. Selain itu, JANGAN ikuti tutorial dalam menjalankan "startx". Jika Anda melakukannya, tidak ada masalah besar, tetapi Anda akan membutuhkan mouse sekarang. Buka baris perintah (akan terlihat seperti jendela hitam di bilah tugas Anda) dan gunakan itu ("pi@raspberry ~ $" akan muncul di dalam jendela itu). Sekarang kita akan mematikan Raspberry Pi dengan mengeksekusi:

sudo shutdown -h sekarang

Langkah 2: Memasang Kamera

Koneksi Fisik:

Pertama, izinkan saya menjelaskan cara kerja koneksi kabel pita. Untuk menyambungkan dan melepaskan kabel pita, pertama-tama kita harus mengangkat tab di samping (untuk Pi Zero, ini adalah arah luar), yang akan memungkinkan konektor terlipat masuk dan keluar sampai tingkat tertentu, sehingga memungkinkan kabel pita masuk. masuk dan keluar. Untuk mengamankan kabel pita di tempatnya (dan dengan demikian menyelesaikan proses penyambungan), Anda harus menekan bagian lipat konektor rata pada kabel dan memasukkan kembali tab. Kabel sekarang harus diamankan di dalam konektor. Untuk melihat video resmi tentang cara melakukannya, klik di sini.

Penting untuk dicatat bahwa kabel putih yang disertakan dengan kamera tidak cocok untuk Pi Zero; pastikan untuk menggantinya dengan salah satu kabel pita emas. Selain itu, pastikan sisi kabel yang terbuka menghadap ke bawah, ke dalam Pi dan papan kamera.

Perangkat lunak:

Pengaturan kamera relatif mudah di sisi perangkat lunak. Untuk melakukan streaming video langsung dari kamera ke HDMI, cukup jalankan baris berikut di terminal:

raspivid -t 0 -busuk 0

Kamera sekarang harus mengalir ke layar Anda. Sekarang, hentikan streaming dengan menekan ctrl+c. Sekarang kita akan menjalankan perintah yang sama, tetapi jika Anda membeli modul Vufine standar (dikonfigurasi untuk mata kanan) ubah 0 setelah "-rot" menjadi 90. Demikian juga, jika Anda membeli tampilan Vufine yang dikonfigurasi untuk mata kiri, ubah 0 setelah "-membusuk" menjadi 270.

Sekarang, jika Anda memegang kamera pada layar Vufine dengan cara yang mirip dengan yang ditunjukkan pada foto, Anda akan melihat gambar tegak (di layar Anda, tidak harus di Vufine). Jika gambar Anda terbalik, coba nomor lain (270 jika Anda melakukan 90 sebelumnya dan 90 jika Anda melakukan 270 sebelumnya; Anda masih perlu menekan ctrl+c untuk keluar dari aliran).

Setelah Anda mengarahkan aliran kamera dengan benar (melalui perangkat lunak), kami ingin memastikannya dimulai setiap kali Raspberry Pi dihidupkan. Langkah pertama adalah mengeksekusi:

sudo nano /etc/rc.local

Sekarang, ketikkan perintah yang mirip dengan apa yang Anda jalankan sebelumnya ("/usr/bin/raspivid -t 0 -rot 90/270") di baris antara "fi" dan "exit 0" (simpan di satu baris seperti yang terlihat dalam gambar). Jika Anda ingin gambar beresolusi lebih rendah dengan frekuensi gambar yang lebih tinggi, gunakan "/usr/bin/raspivid -t 0 -rot 90/270 -md 6" sebagai gantinya. Setelah mengetik ini, Anda harus menyimpannya dengan menekan ctrl+x, memasukkan y (ya, Anda ingin menyimpannya), lalu menekan enter untuk menyimpannya dengan nama yang sama. Anda sekarang harus kembali ke baris perintah ("pi@raspberry ~ $"). Terakhir, Anda dapat menguji untuk memastikan semuanya berfungsi dengan me-reboot Raspberry Pi dengan:

sudo reboot

Jika semuanya berfungsi, Anda akan melihat video streaming kamera ke output HDMI di akhir proses boot.

Catatan:

• Setelah semua hal di atas selesai, Anda mungkin ingin mempertimbangkan untuk mengoleskan sedikit lem panas ke kabel/konektor pita pada kamera dan Pi untuk memastikannya tetap di tempatnya. Ini murni opsional dan merupakan sesuatu yang belum pernah saya lakukan.
• Jika Anda memiliki tampilan Vufine yang dikonfigurasi untuk mata kanan dan Anda memilih untuk mengarahkannya secara berbeda (lebih nyaman jika port USB Pi berada di bagian bawah), sisi atas kamera akan berada di sebelah kiri saat Anda memakainya.
• Kamera dalam gambar sudah terpasang. Kita akan membahasnya di langkah selanjutnya.
• Saya ingin memposting gambar konektor kamera pada Pi, tetapi saya tidak ingin melepas Pi jika saya tidak dapat memasangnya kembali dan saya kehilangan semua ikatan zip saya (yang akan Anda lihat diperlukan untuk memasangnya di langkah selanjutnya) dan saya tidak yakin kapan selanjutnya saya dapat membeli lagi, jadi saya memutuskan untuk mengunggah sekarang dan memperbarui nanti.

Langkah 3: Mengisi Daya Tampilan Vufine

Layar Vufine memiliki baterainya sendiri, tetapi hanya bertahan selama 90 menit, dan meskipun ini mungkin cukup untuk penggunaan Vufine yang dimaksudkan, itu tidak cukup untuk tujuan kami. Meskipun demikian, kami dapat mengisi daya Vufine saat sedang digunakan, dan dengan demikian memperpanjang masa pakai baterainya. Namun, kabel USB biasa agak besar dan karena kami ingin meminimalkan bobot, kami harus memodifikasinya (menjadikannya lebih kecil dan lebih ringan dalam prosesnya); kami akan mengupas kabel USB seminimal mungkin.

Catatan: Sisa dari langkah ini merinci cara mendapatkan konektor dari kabel USB. Karena itu, saya diberitahu tentang konektor USB yang murah (dalam biaya) ini. Menggunakannya akan memungkinkan Anda untuk melewati bagian berbahaya dari melepas konektor dari kabel. Saya tidak punya pengalaman dengan mereka, tetapi saya akan memperbarui instruksi ini tentang cara menggunakannya setelah saya melakukannya.

Mempersiapkan Kabel USB

Catatan: Sejauh ini, ini adalah bagian paling berbahaya dari build. Sangat hati-hati harus dilakukan di sekitar pisau tajam

Langkah pertama dalam "meminimalkan" kabel USB adalah memotongnya sekitar 5 inci (saya akan mengatakan sekitar 7 untuk konfigurasi mata kanan) dari ujung micro USB. Lanjutkan dengan melepaskan kabel sampai ke ujung mikro USB.

Sekarang, untuk bagian yang berbahaya, Anda harus memotong pembungkus plastik menggunakan pisau X-Acto. Saya menyarankan untuk menggunakan satu set tang atau meja pengganti untuk menahan steker saat Anda memotongnya untuk meminimalkan risiko pemotongan sendiri. Cara terbaik untuk memotongnya adalah dengan memotong sepanjang jahitan di samping (terlihat seperti garis) seperti yang terlihat pada gambar. Anda harus menggunakan kekuatan yang cukup untuk menggali pisau ke dalam casing. Setelah beberapa saat, satu sisi mungkin dapat "memutar" ke luar, dan tergantung pada seberapa bebasnya, Anda dapat memilih untuk menggunakan tang untuk merobek sisanya daripada memotongnya.

Menyelesaikan Potongan USB

Setelah Anda hanya memiliki potongan logam, Anda harus melepaskan dua kabel tengah (yang bukan merah dan hitam). Anda dapat melakukan ini dengan memotongnya atau menggunakan besi solder untuk melepaskan sambungannya dan melepasnya (saya sarankan pematrian jika Anda memiliki pengalaman yang cukup). Selanjutnya, letakkan lem panas di dasar kabel (tempat mereka bertemu dengan colokan USB Mikro) untuk menyediakan isolator dan menjaganya tetap aman. Setelah selesai, gambar akan terlihat seperti USB pada gambar (meskipun kami belum menghubungkannya ke Pi).

Menghubungkannya ke Pi

Langkah ini agak sederhana. Yang harus Anda lakukan adalah menyolder kabel merah ke port 5v dan pin kabel hitam ke ground (GND) pada RPi. Untuk melihat dengan tepat port apa, lihat gambar dengan persegi panjang merah di Pi. Untuk melihat video tentang penyolderan dasar, klik di sini. Saya sarankan Anda menggunakan lem panas di kedua sisi Pi (tempat Anda menyolder) untuk mengamankan kabel dan menyediakan isolator.

Langkah 4: Menghubungkan Semuanya

Mengamankan Pi

Pada titik ini, tempatkan Pi pada modul Vufine dengan port kamera di dekat bagian depan dan konektor USB (terpasang pada Pi) menghadap ke bawah dan ke dalam. Amankan menggunakan dua pasang (satu pasang untuk setiap sisi) ikatan zip. Lakukan ini dengan meletakkan dasi zip melalui salah satu lubang sudut atas pada pai, membungkusnya di sekitar Vufine (ke bawah), dan memasukkannya melalui lubang sudut bawah di sisi yang sama dari Pi. Kemudian ambil dasi zip lain dan kunci ke yang pertama. Kencangkan sehingga Pi ditarik mendekati Vufine. Potong badan dasi zip yang tersisa untuk kedua dasi zip (semua untuk yang kedua, dan bagian yang menonjol dari dasi zip kedua untuk yang pertama). Ulangi langkah ini di sisi lain Pi.

Memasukkan Barang

Ini mungkin langkah paling sederhana dari keseluruhan build. Colokkan kabel USB yang Anda solder ke Pi ke layar Vufine.

Perekatan Panas Konektor

Magnet di Stasiun Docking Magnetik tidak cukup kuat untuk tujuan kita, jadi kita akan menambahkan beberapa lem panas untuk memperkuat sambungan. Pasang modul Vufine ke Magnetic Docking Station yang disertakan (bukan plus) dengan tali ke atas (seperti yang ditunjukkan pada gambar). Pastikan itu hampir sejajar dengan Vufine yang sebenarnya (Anda masih dapat menyesuaikan posisi tampilan dengan menggerakkan tali di sekitar kacamata). Oleskan lem panas secukupnya di bagian atas dan bawah. Biarkan dingin sebelum melanjutkan untuk memastikan tidak terdorong ke posisi yang aneh sebelum mengeras.

Memasukkan Barang, Lanjutan

Meskipun bagian ini tidak semudah bagian Plugging Stuff pertama, Anda tidak harus berjuang terlalu banyak. Cukup colokkan kabel pita HDMI ke Vufine dan Pi (perjuangannya lebih bersifat psikologis daripada fisik; Anda bisa melakukannya. Saya percaya pada Anda).

Menghubungkan Kamera

Konfigurasi Mata Kiri:

Ini adalah bagian yang mudah, tetapi posisi kamera membuatnya sulit untuk dijelaskan dengan kata-kata. Pada dasarnya, Anda akan memasang kamera sehingga menyamping dengan kabel pita melingkar di bawahnya. Lihat gambar untuk melihat apa yang saya maksud. Tekan ke layar Vufine dan kencangkan di posisi ini dengan mengoleskan lem panas ke bagian atas dan bawah. Saya tidak akan meletakkannya di samping karena melakukannya di bagian atas dan bawah saja sudah cukup untuk mengamankannya dan melakukannya di samping dapat mencegah penyesuaian menyamping dari pita dan layar Vufine.

Konfigurasi Mata Kanan:

Saya belum pernah melakukan konfigurasi mata kanan sebelumnya (akan kembali dan mengedit setelah saya melakukannya), tetapi pada dasarnya Anda perlu memastikan bahwa kamera menyamping dan dalam posisi yang wajar di atas layar. Bagian atas (sisi yang berlawanan dengan konektor) harus menghadap ke kiri (kiri saat Anda memakainya). Gunakan lem panas untuk menempelkan kamera ke bagian layar pada modul Vufine. Selain itu, Anda dapat menggunakan lem panas (atau ikatan ritsleting) untuk memastikan bahwa kabel pita yang berlebih diamankan (beri sedikit kelonggaran untuk penyesuaian dan cobalah untuk tidak melipat pita karena tidak dimaksudkan untuk menahan rotasi derajat tinggi). Anda juga dapat kembali ke Langkah 2: Memasang Kamera jika Anda harus mengonfigurasi ulang aliran kamera sebagai akibat dari perubahan posisi fisiknya.

Langkah 5: Sirip

Menyalakannya

Untuk menyalakannya, cukup nyalakan modul Vufine dengan menekan tombol abu-abu di bagian belakang. Seharusnya mulai berkedip biru. Selanjutnya, tancapkan Pi Zero menggunakan port USB paling kanan (di bagian luar dan berlabel PWR IN). Anda akan melihat sekarang melihat lampu merah menyala di samping LED biru yang berkedip pada modul Vufine. Ini berarti Vufine sedang diisi. Selain itu, layar akan mulai dan Anda akan melihat Pi melalui proses boot dengan aliran kamera muncul di akhir. Setelah layar muncul, lampu biru yang berkedip pada tombol Vufine akan menjadi solid.

Catatan: Jika Anda mengaktifkan Pi terlebih dahulu (diikuti oleh Vufine), layar Anda mungkin terlihat aneh. Untuk memperbaikinya, matikan Pi lalu hidupkan kembali.

Mematikannya

Matikan RPi dengan mencabut USB yang menyediakan daya. Untuk mematikan Vufine, Anda dapat membiarkannya mati dengan sendirinya (yang akan dilakukan setelah tidak menerima sinyal untuk waktu yang singkat) atau Anda dapat menahan tombol abu-abu (dengan LED biru) pada Vufine sampai LED biru mati. Saya lebih suka membiarkannya mati sendiri, tetapi Anda melakukannya.

Perbaikan Lebih Lanjut

Seperti yang dikatakan dalam abstrak, karena proyek ini didasarkan pada Raspberry Pi, proyek ini memiliki kemampuan yang sangat besar untuk berkembang. Sebagai permulaan, berikut adalah beberapa ide yang saya miliki:

• Anda dapat menghubungkannya ke keyboard nirkabel untuk penggunaan yang nyaman sebagai komputer linux kepala-up. Saya akan menggunakan keyboard (dan mouse) seperti ini dan saya akan menghubungkannya dalam proses yang mirip dengan ini.

  Menambahkan antarmuka berbasis gerakan tangan seperti ini juga akan keren

• Tambahkan tombol ke samping untuk menyimpan gambar dan video dan untuk memperbesar dan memperkecil
• Tambahkan sakelar daya asli (saya katakan asli karena beberapa kabel USB memiliki sakelar bawaan)
• Buat kasing cetak 3D untuk semuanya.
• Tambahkan keluaran audio

• Tambahkan lampiran baterai

  Menempatkannya di sisi lain kacamata akan menjadi cara yang nyaman untuk menambahkan penyeimbang (berat pada kacamata saat ini sedikit miring)

• Buat CNN (jaringan saraf convolutional) dengan output TTS (text-to-speech) untuk deskripsi audio lingkungan seseorang. Jaringan saraf ini dapat berjalan pada Movidius Neural Compute Stick untuk daya komputasi yang lebih besar.

  Kemungkinan penggunaan Stimulasi Vestibular Galvanik untuk manuver darurat

Anda dapat melihat beberapa ide ini diterapkan di halaman github saya.

Catatan:

Saya mungkin akan menambahkan beberapa gambar lagi nanti. Jika Anda menginginkan gambar tertentu, beri tahu saya dan saya akan melakukan yang terbaik. Hal yang sama berlaku untuk penjelasan; jika Anda ingin saya membahas sesuatu secara lebih rinci, beri tahu saya dan saya akan mencoba menyelesaikannya.

Terima kasih

• Saya belajar banyak dari komunitas ini; mudah-mudahan ini membantu orang lain karena begitu banyak orang di sini telah membantu saya sebelumnya.
• Sekali lagi, ini adalah instruksi pertama saya dan setiap dan semua umpan balik akan sangat dihargai. Jika ada yang melakukan sesuatu dengan ini, beri tahu saya; Saya ingin melihat ke mana komunitas mengambil ini.

Terima kasih khusus kepada nenek saya untuk semua yang telah dia lakukan untuk saya sepanjang hidup saya. Saya tidak akan pernah bisa membayar Anda kembali, tapi saya pasti akan mencoba yang terbaik.

Juara Pertama Lomba Raspberry Pi 2017