Bioskop Biofeedback: 7 Langkah

2024 Pengarang: John Day | [email protected]. Terakhir diubah: 2024-01-30 09:57

Penulis Proyek

Jessica Ann

Kolaborator

• Gregory Hough
• Salud Lopez
• Pedro Peira

Tentang

Sistem perekaman video eksperimental yang menghubungkan otak peserta ke fungsi kamera melalui Headset Pembaca EEG Neurosky Mindwave. Sistem Bioskop Biofeedback beroperasi sebagai pengganti sinematografer tradisional, alih-alih memberikan agensi komposisi kepada peserta sendiri melalui antarmuka OTAK ke KAMERA khusus. Proyek ini dikembangkan bekerja sama dengan peserta lokakarya Gregory Hough, Salud Lopez, dan Pedro Peira. Anda dapat membaca hasil lokakarya di:

Konfigurasi Prototipe

Sistem Bioskop Biofeedback cocok untuk banyak aplikasi potensial. Untuk instruksi ini, kami telah menyiapkan demo sistem yang melihat tingkat fokus/perhatian peserta (satu bilangan bulat) dan menerjemahkannya ke posisi kamera (melalui pan dan tilt) dan fokus kamera (secara internal melalui OpenCV). Ini semua dimungkinkan oleh koneksi bluetooth antara Neurosky EEG Reader Headset dan Raspberry Pi.

Raspberry Pi adalah komputer kecil yang dilengkapi dengan webcam dan skrip (tersedia di bawah) yang menjembatani aktivitas otak peserta dengan pengaturan kamera dan posisi kamera. Posisi kamera dinamis dimungkinkan melalui mikrokontroler Arduino yang menerima sinyal dari Raspberry Pi. Kami menantikan pengembangan lebih lanjut karena kami bertujuan untuk memasukkan parameter gelombang otak tambahan (frekuensi yang terkait dengan kedipan mata, dll) dan fungsi kamera (yaitu rona, saturasi, kecerahan, dll).

Di bawah ini adalah petunjuk untuk membangun sistem Bioskop Biofeedback Anda sendiri.

Selamat bereksperimen

Langkah 1: Persediaan

Semua yang Anda butuhkan untuk membuat prototipe Bioskop Biofeedback Anda sendiri tercantum di bawah ini.

1. Headset EEG Seluler Neurosky Mindwave

2. Raspberry Pi B+ (b+ lebih baik, lebih banyak port USB, tetapi Model B juga bagus jika Anda memiliki hub USB).

   1. Adaptor Daya Raspberry Pi atau Paket Baterai
   2. Wifi Dongle -atau- Koneksi Ethernet (hanya diperlukan selama pengaturan)
   3. Bluetooth Dongle lihat wiki untuk dongle yang kompatibel
   4. Kartu SD (minimal 8GB) dengan NOOBS.

3. Arduino Any board baik-baik saja, menggunakan Uno di Instructable ini. Perhatikan juga, Anda bisa menggunakan I/O pada Pi.

   1. Adaptor Daya Arduino atau Paket Baterai
   2. Kabel USB A-B
4. Kamera Web USB
5. Kit Pan-Tilt Mini

6. Monitor dengan Input HDMI Atau gunakan VNC untuk mengontrol pi dari komputer Anda [tutorial di sini]

   Kabel HDMI

7. Keyboard & Mouse USB merekomendasikan keyboard dan mouse bluetooth untuk meminimalkan port USB yang digunakan.

Langkah 2: Siapkan Raspberry Pi

1. Pengaturan Perangkat Keras

Hubungkan keyboard, mouse, dongle bluetooth, dongle wifi (atau ethernet), webcam, monitor melalui kabel HDMI, dan daya ke Raspberry Pi Anda

2. Atur Sistem Operasi

• Hidupkan daya dan Pi Anda harus mulai. Instal Rasbpian OS, instruksi di sini:
• Jika boot dan Raspian diinstal dengan benar, Anda akan melihat desktop rumah [Gambar di atas].

PETUNJUK:

• Jika rasio aspek desktop mati, coba reboot Raspberry Pi Anda. Jika masih mati, lihat di sini untuk memperbarui rasio aspek secara manual.
• Jika Anda membuka editor teks dan karakter khusus keyboard Anda salah dipetakan, lihat di sini untuk memperbarui konfigurasi keyboard Anda.
• Uji koneksi internet Anda (Anda akan memerlukan ini untuk menginstal pustaka selama penyiapan). Lihat di sini untuk bantuan mendapatkan pengaturan wifi.

Langkah 3: Hubungkan Headset Neurosky

1. Konfigurasi Bluetooth

Sebelum Pi dapat terhubung ke Neurosky, kita perlu mengatur bluetooth:

Di desktop buka "LXTerminal" (disebut Terminal mulai sekarang). Jalankan perintah ini untuk menyelesaikan dan memperbarui kekurangan:

$ sudo apt-get update

Instal bluetooth dengan perintah ini:

$ sudo apt-get install bluetooth

Instal utilitas bluetooth desktop-toolbar yang praktis:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Reboot Pi dari Terminal:

$ sudo reboot

2. Uji Koneksi Bluetooth

• Nyalakan headset Neurosky
• Dari pindaian Terminal untuk perangkat:

pemindaian hcitool

Headset Mindwave harus terdaftar, perhatikan alamat MAC headset [gambar di atas]

3. Instal Perpustakaan Neurosky

Sekarang kita siap untuk menginstal perpustakaan Neurosky Python dan mulai mengambil aliran datanya dengan skrip pengujian perpustakaan:

Dari Terminal instal utilitas github:

sudo apt-get install git-core

Klon repositori github dengan perpustakaan Neurosky Python:

sudo git clone

Kami perlu memperbarui file MindwaveMobileRawReader.py dengan alamat MAC headset Anda. FYI: Nama file peka huruf besar-kecil

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Perbarui alamat MAC yang tercantum dalam file. Ctrl-X untuk menyelesaikan, Y untuk menyimpan, Enter untuk keluar.
• Pasangkan Neurosky dan Pi dan izinkan fitur koneksi otomatis, jika diminta PIN gunakan "0000":

$ sudo bluez-simple-agent hci0 XX:XX:XX:XX:XX:XX

$ sudo bluez-test-device tepercaya XX:XX:XX:XX:XX:XX ya

Instal perpustakaan Python Bluetooth:

sudo apt-get install python-bluez

Jalankan skrip uji pustaka untuk memastikan Pi dapat melihat pratinjau aliran data. Anda akan melihat streaming data [gambar di atas]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Langkah 4: Hubungkan Webcam USB W/Buka CV

1. Instal OpenCV

Dari Terminal:

$ sudo apt-get install libopencv-dev python-opencv

Setelah selesai, lanjutkan:

$ sudo apt-get -f install

Untuk ukuran baik:

$ sudo apt-get install libopencv-dev python-opencv

Uji instalasi dengan mencoba mengimpor perpustakaan:

$ python

> impor cv2

2. Uji OpenCV dengan Python dengan USB Webcam

• Di desktop buka "IDLE" (jangan buka IDLE3!)
• Dari menu File pilih Jendela Baru. Salin skrip Cv-Blur-Test kami ke jendela baru dan simpan. Script tersedia di sini:
• Dari menu Run Pilih Run Module (atau Tekan F5). Mungkin perlu beberapa detik untuk memulai, tetapi Anda akan melihat bingkai kecil muncul dengan umpan webcam langsung Anda, dan videonya akan buram. Selamat, OpenCV telah diinstal dan berhasil bekerja dengan webcam Anda [Gambar di atas].

Langkah 5: Hubungkan Arduino

1. Unduh Arduino IDE

Dari Terminal:

sudo apt-get install arduino

2. Hubungkan Arduino & Muat Sketsa

• Colokkan arduino ke Pi dengan kabel USB A-B.
• Dari menu mulai desktop, buka Elektronik dan buka Arduino IDE. Salin sketsa arduino-serial-pi kami ke IDE [Link di bawah]. Ini adalah sketsa yang sangat mendasar yang akan menggerakkan motor servo berdasarkan input yang datang melalui serial. Kami akan mengirimkan data melalui serial berdasarkan output gelombang otak, menggunakan sketsa Python pada langkah terakhir saat kami menggabungkan semuanya.

Sketsa Arduino-serial-pi online di sini:

Di Arduino IDE, buka menu Tools, pilih Serial Port dan pilih port Arduino yang terdaftar, mungkin seperti /dev/ttyACM0. Catat portnya

3. Nonaktifkan Konsol Serial

Unduh dan jalankan skrip untuk menonaktifkan konsol serial sehingga koneksi serial usb dapat berjalan lancar:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode-setup.tar.gz

$ cd alamode-setup

$ sudo./setup

$ sudo reboot

FYI:

Jika Anda menggunakan B+, mungkin ada cukup I/O untuk mendukung servo, (lihat di sini untuk menyiapkan dan menggunakan GPIO). Namun, saya tertarik untuk menambahkan komponen tambahan untuk eksperimen brain-to-electronics di masa depan. Jadi, menyiapkan prototipe awal dengan arduino memastikan banyak kemungkinan terobosan elektronik.

Langkah 6: Menyatukan Semuanya

1. Skrip Python terakhir

Sebelum kita dapat menambahkan skrip python terakhir ke folder "python-mindwave-mobile", kita perlu mengubah izin folder. Dari Terminal:

$ chmod a=rwx /home/pi/python-mindwave-mobile

• Buka IDLE dan jalankan skrip Python terakhir kami, tersedia online di sini: https://github.com/PrivateHQ/biofeedback-cinema/ Pastikan itu terletak di folder python-mindwave-mobile. FYI: Anda perlu memperbarui skrip Python kami dengan alamat port Arduino Anda yang sebenarnya.
• Ketika Anda menjalankan skrip ini, tiga hal yang harus Anda lakukan: 1) Tingkat perhatian Anda akan terdaftar di Python Shell, 2) Sebuah bingkai kecil muncul yang menunjukkan umpan langsung webcam dengan perubahan blur berdasarkan tingkat perhatian, 3) motor (s) bergerak saat tingkat perhatian diteruskan ke arduino melalui serial [Video di atas].

Langkah 7: Peningkatan & Pengembangan

Raspberry Pi memiliki kekuatan pemrosesan yang terbatas, dan kesulitan untuk menjalankan fungsi OpenCV dengan lancar. Ini adalah sesuatu yang akan terus saya kembangkan dan tingkatkan. Selain itu, saya berencana untuk memasukkan parameter gelombang otak tambahan (frekuensi yang terkait dengan kedipan mata, dll) dan fungsi kamera (yaitu rona, saturasi, kecerahan, dll) di iterasi mendatang.