PiTextReader - Pembaca Dokumen yang Mudah Digunakan untuk Gangguan Penglihatan: 8 Langkah (dengan Gambar)

2024 Pengarang: John Day | [email protected]. Terakhir diubah: 2024-01-30 09:56

Gambaran

Pembaruan: Demo video pendek:

PiTextReader memungkinkan seseorang dengan gangguan penglihatan untuk "membaca" teks dari amplop, surat, dan item lainnya. Ini memotret gambar item, mengubahnya menjadi teks biasa menggunakan OCR (Pengenalan Karakter Optik) dan kemudian mengucapkan teks menggunakan text-to-speech.

Pembaca dirancang sesederhana mungkin untuk digunakan. Tidak perlu Internet, tidak ada antarmuka grafis, hanya satu tombol. Cukup tempatkan item yang akan dibaca ke dudukan dan tekan tombol. Setelah beberapa saat, teks akan dibacakan kembali kepada mereka.

Saya merancang ini untuk orang tua lanjut usia dengan masalah penglihatan seperti degenerasi makula, tetapi dapat digunakan secara lebih luas bagi siapa saja yang ingin teks cetak diterjemahkan ke dalam ucapan audio.

Ada banyak pembaca yang tersedia, sebagian besar harganya ribuan dolar atau untuk seseorang yang paham teknologi yang membutuhkan konektivitas Internet dan penggunaan ponsel pintar. Pembaca ini dirancang untuk sepenuhnya mandiri tanpa internet dan tanpa antarmuka selain tombol tekan besar.

kelebihan

• Satu tombol untuk mengontrol
• Tidak diperlukan koneksi internet
• Tidak ada antarmuka pengguna grafis untuk dinavigasi
• Total biaya kurang dari $100
• Selalu siap untuk pergi

Kontra

• OCR dapat dibatasi karena font, warna, ukuran teks, dll.
• Pidato terdengar seperti Stephen Hawking
• Berfungsi paling baik untuk bagian kecil teks hitam di atas kertas putih.

Langkah 1: Perangkat Keras

• Raspberry Pi 3 (membutuhkan tenaga kuda!)
• 8GB + kartu micro SD
• Catu daya DC 5v 2A untuk Raspberry
• Kamera Raspberry Pi (Biasa atau NoIR)https://www.adafruit.com/product/3099
• Kabel Kamera Raspberry Pi 24”https://www.adafruit.com/product/1731
• Dudukan atau casing kamerahttps://www.adafruit.com/product/3253 atauhttps://www.adafruit.com/product/1434
• Alat penyesuaian lensa (untuk memfokuskan kamera)https://www.adafruit.com/product/3518
• Speaker mono bertenaga USB (lebih disukai ukuran kecil!)https://www.adafruit.com/product/1363
• Tombol Tekan Besar – Sesaat dengan LEDhttps://www.adafruit.com/product/1440
• Resistor 330 ohm untuk LED tombol di atas
• Kotak kayu 8”x8”x2” dari Michaels atau toko perlengkapan Seni besar lainnya.
• Kayu bekas untuk membuat dudukan kamera:
• 8"Lx1"Wx1/2"T strip datar
• 5"Lx1"Wx1/4"T strip datar
• 6"Lx1/2"x1/2" dowel persegi untuk panduan penempatan
• Sekrup, lem, kawat, solder dll.

Langkah 2: Konstruksi Perangkat Keras

Menggunakan kotak 8”x8”:

1. Bor lubang di bagian belakang untuk kabel listrik.

2. Bor lubang di pojok kanan depan untuk kancing sesaat3. Bor lubang untuk speaker. (lihat audio langkah 12 di bawah)

4. Saya menggunakan potongan aluminium strip 2”x1/4”x13” untuk dudukan kamera, tetapi strip kayu juga bisa digunakan.

A. Pasang strip kayu datar 8” di bagian belakang LID kotak. (pastikan itu terpasang pada TUTUP dan bukan bagian bawah kotak, jika tidak, Anda tidak akan dapat membukanya!)

B. Pasang strip kayu datar 5” di atas vertikal 8” dengan sekrup dan lem. CATATAN bahwa ketinggian kamera menentukan ukuran dokumen dan fokus yang diperlukan. Anda mungkin ingin lebih tinggi untuk dokumen area yang lebih besar.

5. Potong celah 1”x1/16” di bagian atas kotak di dekat vertikal 8” agar kabel kamera dapat lewat.

CATATAN: Untuk elektronik, saya sarankan untuk TIDAK memasang komponen secara permanen, sehingga Anda dapat dengan mudah melakukan penyesuaian.

6. Hubungkan kabel kamera 24” ke kamera. JANGAN TERHUBUNG KE RASPBERRY.

Langkah 3: Lanjutan Perangkat Keras…

7. Pasang kamera menghadap ke bawah dari ujung strip kayu 5”. Saya sarankan menunggu sebelum menempatkan kamera dalam wadahnya agar Anda dapat memfokuskan lensa dengan lebih mudah setelah berlari!

Untuk pemfokusan awal, gunakan alat Penyesuaian dan putar lensa berlawanan arah jarum jam 1/4! berbelok.

8. Jalankan kabel kamera ke bawah melalui slot lalu pasang ke Pi. (Pastikan Pi MATI!)

9. Pasang tombol sesaat dan hubungkan kabel antara itu dan pin Pi GPIO 24 dan GND. Dan sambungkan LED tombol melalui resistor 220 ohm ke pin Pi GPIO 18 dan GND.

10. Jalankan catu daya ke dalam kotak dan colokkan ke Pi. Anda perlu menggunakan strain relief seperti lem panas meleleh atau sejenisnya untuk menutup lubang di kotak agar kabel tidak bisa ditarik.

Langkah 4: Instal Perangkat Keras Audio…

11. Untuk audio, saya menggunakan speaker mono yang menggunakan power USB dan audio mini jack. Saya melepas elektronik dan speaker dari wadah plastik asli, dan menyambungkan steker audio ke jack audio Pi dan kabel USB ke Pi USB. Saya juga mengganti speaker kecil asli dengan yang lebih besar 3” untuk kualitas suara yang jauh lebih baik.

Karena saya memasang speaker di bawah tutup kotak, saya mengebor beberapa lubang kecil dalam bentuk panggangan speaker.

12. Terakhir, periksa koneksi, khususnya kabel kamera dan koneksi GPIO.

JANGAN NYALAKAN PI BELUM. Lanjutkan ke pengaturan perangkat lunak terlebih dahulu…

Tidak ada tombol On/Off, karena diasumsikan bahwa Pi harus berjalan sepanjang waktu sehingga siap untuk membaca sesuatu dengan segera. Ini hanya menggunakan beberapa watt dan dapat berjalan 24/7 tanpa masalah.

Kartu SD mungkin rusak jika dicabut atau mati listrik, tetapi jarang terjadi. Saya belum pernah memiliki kartu SD yang tidak dapat di-boot. Namun jangan mencolokkan ke soket ekstensi yang dimatikan/dihidupkan secara teratur.

Langkah 5: Pengaturan & Konfigurasi Sistem Operasi

Format kartu microSD 8GB atau lebih besar dengan Raspbian Jessie (atau Stretch) Lite (tidak ada GUI untuk proyek ini).

www.raspberrypi.org/downloads/raspbian/

Anda perlu mengakses Raspberry dari jarak jauh melalui SSH. Di Windows, Anda dapat menggunakan program terminal PUTTY SSH. Di Mac, cukup buka jendela terminal perintah. Sebagai alternatif, Anda dapat memasang sementara keyboard dan monitor HDMI hanya untuk membuatnya dibangun, tetapi SSH membuatnya lebih mudah untuk digunakan nanti.

Tahukah Anda? Jika Anda menginstal Raspbian Jessie pada kartu SD menggunakan PC Windows, Anda dapat membuat dua file di kartu tersebut untuk mengonfigurasi akses WiFi dan SSH sebelum Anda mem-bootnya di Raspberry?

Untuk ini, anggap kartu SD Anda saat ini terpasang sebagai K: di PC Anda:

1) Instal gambar Raspbian Jessie terbaru ke SD. Untuk proyek ini, Jessie Lite harus berfungsi.

2) Dengan notepad, buat file bernama "ssh" dan gunakan Save As "All files" ke K:\ssh File bisa berisi apa saja. Itu nama file yang penting. TIDAK BOLEH “ssh.txt”!!!

3) Dengan notepad, buat file bernama "wpa_supplicant.conf" dengan mengikuti:

ctrl_interface=DIR=/var/run/wpa_supplicant GROUP=netdevupdate_config=1

jaringan={

ssid="mySSID" psk="mypassword" key_mgmt=WPA-PSK }

Gunakan Save As “All files” ke K:\wpa_supplicant.conf Sekali lagi, jangan sampai Notepad mengubahnya menjadi “wpa_supplicant.conf.txt”!!

Saat Anda mem-boot Raspberry pertama kali, Jessie akan mencari ini dan terhubung ke Wifi Anda. Anda harus melihat pada Router Anda untuk alamat IP, karena secara otomatis ditetapkan menggunakan DHCP.

Sekarang siap untuk menginstal ke Pi Anda:

1. Masukkan kartu microSD ke Pi dan colokkan daya sekarang.

2. Untuk masuk dari jarak jauh ke Raspberry Pi Anda, Anda harus menemukan alamat IP-nya. Anda dapat mencoba:

$ssh [email protected]

Atau dari Putty, masukkan nama host: [email protected]

Jika tidak, Anda perlu melihat apakah Router Anda akan menampilkan alamat IP perangkat lokal Anda.

Setelah masuk sebagai pengguna pi:

3. Perbarui OS Raspbian Anda:

$ sudo apt update

$ sudo apt upgrade

4. Konfigurasi Raspberry dan aktifkan kamera:

$ sudo raspi-config

A. Ubah Kata Sandi Pengguna

B. Opsi Antarmuka -> Kamera -> Aktifkan

C. Menyelesaikan

D. Menyalakan ulang

Langkah 6: Instalasi Perangkat Lunak Aplikasi

Sekarang masuk kembali ke Pi Anda dan Anda siap untuk menginstal aplikasi PiTextReader.

1. Instal perangkat lunak awal yang diperlukan:$ sudo apt install git –y

2. Unduh perangkat lunak:

$ cd /rumah/pi

$ git clone

$cd PiTextReader

$sh install.sh

Anda dapat dengan aman menjalankan ulang install.sh beberapa kali, jika diperlukan.

3. Tempatkan dokumen sederhana untuk dibaca dan jalankan program pengujian yang mengatur volume, memutar beberapa audio text-to-speech dan mengambil gambar.

$ sh tes.sh

Jika Anda mendapatkan pesan kesalahan, periksa Pemecahan Masalah di bawah ini. Edit program test.sh untuk menyesuaikan volume jika perlu.

4. Program pengujian menyimpan foto ke “test.jpg”. Anda perlu menyalin gambar ini ke PC sehingga Anda dapat melihat fokus dan bidang pandang. Cara cepat & kotor untuk melakukan ini adalah memulai server web kecil di Pi Anda dan menggunakan browser:

$ python -m SimpleHTTPServer 8080 &

Kemudian telusuri ke

Klik pada tes.jpg

Gunakan alat penyesuaian Lensa untuk memfokuskan kamera.

Jalankan kembali program test.sh sesering yang diperlukan.

CATATAN: jika Anda perlu menyesuaikan pengaturan kamera raspistill, Anda juga perlu mengedit program pitextreader.py dengan pengaturan baru.

CAMERA = "raspistill -cfx 128:128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. $ sudo reboot

Pi akan muncul dan berjalan secara otomatis, siap untuk dioperasikan.

Langkah 7: Operasi

Saat Anda mem-boot Pi, Anda akan mendengar "OK Ready" serta melihat tombol LED menyala.

Kapan pun LED menyala, unit siap digunakan.

Letakkan beberapa teks tercetak di bawah kamera, sebaiknya hanya beberapa baris teks hitam di atas kertas putih.

Perhatikan bahwa kamera tidak membutuhkan banyak cahaya, terutama NoIR. Cahaya kamar ambient baik-baik saja untuk saya. Terlalu banyak cahaya menyebabkan pencahayaan yang tidak merata dan mendistorsi OCR.

Tekan tombolnya.

LED akan menyala dan suara klik kamera serta ucapan “OK working” akan berbunyi.

Setelah beberapa detik, teks harus dibaca. Jika teks terdistorsi, font terlalu gelap atau terlalu terang, menyamping atau terbalik, maka hasilnya akan menjadi ucapan gobbly-gook!

Diperlukan waktu antara 5-30 detik untuk mengonversi dan mulai membaca, jadi bersabarlah. Semakin banyak teks, semakin lama waktu yang dibutuhkan.

Jika Anda perlu berhenti membaca, Anda dapat menekan tombol saat audio masih diputar (LED mati.)

Setelah pidato selesai, setelah beberapa detik, LED kembali menyala dan Anda akan mendengar "OK Siap" lagi. Ini siap untuk melakukan pemindaian lagi.

Perhatikan bahwa jarak kamera diatur untuk kamera Raspi dan hanya sebagian dari dokumen 8x10. Saya menemukan yang terbaik adalah membaca bagian-bagian dokumen pada satu waktu karena halaman penuh bisa sulit untuk didengarkan. Banyak hal yang perlu dibaca adalah teks yang lebih kecil, jadi jika kamera terlalu jauh, itu tidak dapat diselesaikan.

Untuk memecahkan masalah, periksa di bawah, khususnya bagian PEMINDAIAN DAN OCR

Jika semuanya baik-baik saja, pasang semua komponen secara permanen untuk menyelesaikan konstruksi.

Langkah 8: Pemecahan Masalah

1. KAMERA

Pastikan kamera diaktifkan melalui

$ sudo raspi-config

Opsi Antarmuka -> Kamera

Pasang kembali kabel pita karena ini halus dan harus benar-benar sejajar. Jika perlu, google "pemecahan masalah kamera raspberry pi" untuk mencari masalah serupa. Juga google pesan kesalahan yang Anda dapatkan saat menjalankan program test.sh.

2. AUDIO

Anda memiliki volume atas?

$ sudo amixer -q sset PCM, 0 100%

Jalankan tes audio

$ aplay /usr/share/sounds/alsa/Front_Center.wav

Masih tidak ada audio? Paksa audio keluar dari jack:

$ sudo raspi-config Opsi Lanjutan -> Audio -> Paksa jack headphone

3. Pidato

Jika audio di atas terdengar bagus, cobalah:

$flite -t UJI

Pesan kesalahan Google, jika ada.

Jalankan kembali install.sh

Ya, pidatonya terdengar seperti Stephen Hawking.

4. PEMINDAIAN DAN OCR

Ini adalah area penyetelan terbesar yang dibutuhkan. Agar OCR berfungsi dengan baik, gambar kamera harus berkualitas baik; dokumen harus menyala dengan lancar, belum tentu terang sekalipun.

Teks harus datar dan jelas. Tidak semua font dapat dibaca.

Untuk memverifikasi kualitas, periksa dua file:

/tmp/text.txt dan /tmp/image.jpg

Anda dapat memulai server web kecil dan menggunakan browser:

$ cd /tmp $ python -m SimpleHTTPServer 8080 &

Teks dalam gambar harus polos dan mudah dibaca. Gambar harus menghadap ke atas, kontras yang baik, dalam fokus. Anda mungkin perlu membalik dokumen jika terbalik. (ingatkan pengguna bahwa jika mereka mendengar gobbly-gook, cobalah membalik dokumen.) Jika gambar memiliki kontras yang buruk, Anda perlu meningkatkan pencahayaan, terlalu banyak atau terlalu sedikit dapat menyebabkan masalah. Pencahayaan yang tidak merata juga akan menyebabkan bagian teks gagal. Anda dapat menemukan lebih banyak bantuan dengan googling "tesseract-ocr help"

5. MONITOR/KEYBOARD HDMI

Ya, Anda dapat mencolokkan keyboard & monitor ke Pi, khususnya. jika Anda tidak dapat menemukan alamat IP atau tidak dapat mengakses melalui SSH. Tidak ada antarmuka GUI dan ini dapat mematikan suara kecuali monitor Anda memiliki speaker.

6. INTERNET/WIFI

Jika WIFI tidak berfungsi, Anda dapat menghubungkan sementara kabel Ethernet dan menggunakannya.

Proyek ini tidak memerlukan Internet atau WiFi setelah Anda menyelesaikan instalasi dan pengaturan.