Stand Musik Multimodal: 9 Langkah (dengan Gambar)

2024 Pengarang: John Day | [email protected]. Terakhir diubah: 2024-01-30 09:58

Multimodal Music Stand (MMMS) adalah cara baru untuk mengontrol sintesis dan efek audio saat memainkan instrumen tradisional (saksofon, seruling, biola, apa saja), dan menawarkan beberapa kemungkinan tambahan untuk teknik lanjutan yang dapat digunakan saat bermain ! Sudah ada halaman web tentang proyek grup kami di UC Santa Barbara tempat kami mengembangkan MMMS, jadi alih-alih mengulanginya di sini, saya akan memposting tautannya - lihatlah! Situs Web Stand Musik MultimodalKlip singkat dari MMMS yang sedang beraksi adalah di sini, tetapi ada video yang lebih baik di situs di atas… Multimodal mengacu pada kemampuan input penginderaan di lebih dari satu modalitas (input audio, input video, dan input berbasis sensor). Input audio dan video cukup mudah, melibatkan mikrofon normal dan webcam yang terhubung ke komputer Anda, tetapi input sensor sedikit lebih kompleks, oleh karena itu dapat diinstruksikan…Kami menggunakan CREATE USB Interface, sirkuit sederhana yang saya kembangkan untuk sebuah kelas Saya mengajar di UCSB, bersama dengan kit ThereminVision II untuk E-field (juga dikenal sebagai penginderaan kapasitif) seperti yang ditunjukkan di sini:BUAT Kit Antarmuka USB ThereminVisionIIJika Anda tidak tahu apa itu Theremin, bantulah diri Anda sendiri dan cari di Youtube, Anda menang jangan kecewa! MMMS pada dasarnya setara dengan 2 Theremins, karena memiliki 4 antena penginderaan medan-E, selain input audio/video tentunya. Jika Anda tertarik untuk memperluas teknik performa dengan instrumen Anda dengan berinteraksi dengan komputer, tetapi tidak ingin menggunakan pedal kaki sederhana, buat sendiri Stand Musik Multimodal dan mulailah berlatih dengannya!

Langkah 1: Tentang BUAT Antarmuka USB

CREATE USB Interface (CUI) adalah rangkaian sederhana yang dapat diprogram berbasis PIC yang dapat dibuat sepenuhnya DIY, atau Anda bisa mendapatkan yang sudah jadi dari saya langsung seharga $50 (+ 5 untuk pengiriman), dan Anda tidak perlu untuk membeli pemrogram PIC sejak saya memasang bootloader untuk Anda… lihat situs web untuk detailnya, atau cukup kirim email kepada saya untuk memintanya: BUAT situs web Antarmuka USBCUI dapat berfungsi sebagai banyak hal berbeda, dan sekarang telah digunakan di ratusan proyek menarik di seluruh dunia… beberapa contoh dari mahasiswa di UC Santa Barbara ada di makalah konferensi ini (PDF). CUI dapat diprogram ulang melalui kabel USB menggunakan bootloader, itulah sebabnya mengapa sangat mudah beradaptasi - cukup ubah firmware dan itu adalah sesuatu yang lain. Misalnya, mudah untuk membuat CUI menjadi antarmuka sensor nirkabel menggunakan salah satu dari modul Bluetooth dari spark fun - jika ada yang tertarik untuk melakukan ini, kirimkan catatan di komentar untuk meminta instruksi lain. CUI memiliki 13 saluran input analog 10-bit dan 16 pin input/output tujuan umum. Firmware default yang dikirimkan dengan papan CUI v1.0 mengirimkan semuanya sebagai input ke komputer host, dan bekerja dengan baik dengan lingkungan pembuatan seni interaktif seperti Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck, dll. Saya menggunakan salah satu papan CUI v1.0 untuk membangun Stand Musik Multimodal dalam instruksi ini. Kami menggunakan Max/MSP/Jitter sebagai lingkungan, tetapi dengan segala cara jangan ragu untuk mengadaptasi ini ke Pd atau perangkat lunak pilihan Anda. Saya penggemar berat open source (CUI itu sendiri adalah open source), dan sangat membantu jika kita semua berdiri di atas bahu satu sama lain dan meningkatkan hal-hal yang kita buat!

Langkah 2: Tentang Kit ThereminVision II

ThereminVision II tersedia baik sebagai kit ($50) dan pre-built ($80) dari situs vendor, RobotLand, dan juga open source - manual ThereminVision II (PDF) menyertakan diagram sirkuit. Untuk MMMS, saya membeli kit dan kemudian memutuskan untuk menggunakan yang pra-bangun kali ini (ini adalah MMMS kedua yang saya buat). Sebagai tambahan, jika Anda bertanya-tanya mengapa saya tidak menawarkan bentuk kit dari CREATE USB Interface, itu karena bootloader CUI harus diprogram dengan pemrogram PIC konvensional sebelum firmware baru dapat dikirim melalui USB - jika tidak, saya pasti akan menawarkan kit, meskipun itu akan melibatkan penyolderan pemasangan permukaan … Jadi kembali ke ThereminVision II - jika Anda membelinya dalam faktor bentuk kit, ikuti petunjuk (hebat!) di pdf:Manual ThereminVision II Ada banyak diagram pengkabelan yang perlu Anda lakukan - satu-satunya hal yang tidak ditampilkan adalah koneksi ke CREATE USB Interface, jadi saya akan memposting foto yang saya ambil pada beberapa langkah berikutnya… oh, dan saya mendapatkan antena untuk ThereminVision (tidak termasuk) dari All Electronics.

Langkah 3: Mempersiapkan Stand Musik

Jadikan Stand Musik Multimodal Anda dari stand musik yang bagus seperti "stand konduktor" yang ditampilkan di sini atau gunakan apa pun yang Anda miliki - lebih baik lagi, buat sendiri!

Apa pun dudukan yang Anda gunakan, dudukan terpisah untuk keempat antena di sudut dudukan akan memerlukan dudukan terpisah. Mulailah dengan mengebor lubang di sudut - perangkat keras pemasangan yang saya letakkan bekerja dengan mata bor 1/4 , milik Anda mungkin akan berbeda. Cobalah untuk menjaga bagian depan permukaan sebersih mungkin untuk menghindari gangguan dengan lembaran musik.

Langkah 4: Menghubungkan Modul Sensor ThereminVision

Menghubungkan modul "sensor" ThereminVision (555 rangkaian pengatur waktu) ke modul "prosesor" ThereminVision juga dibahas secara lebih rinci dalam manual ThereminVision II, tetapi berikut adalah beberapa gambar prosesnya…

Langkah 5: Menghubungkan ThereminVision ke Antarmuka USB CREATE

Seperti yang kita lihat di langkah terakhir, ada 4 kabel yang menghubungkan masing-masing modul sensor ke modul prosesor ThereminVision. Ada juga 6 kabel yang menghubungkan modul prosesor ThereminVision ke Antarmuka USB CREATE - yaitu Power, Ground, Sensor Output, Sensor Select A, Sensor Select B, dan Sensor Stop.

Karena ThereminVision II akan mendapatkan daya dari Antarmuka USB CREATE (yang pada gilirannya mendapatkan daya dari USB), saya memutuskan untuk menghubungkan daya untuk setiap modul sensor ThereminVision langsung ke Antarmuka USB CREATE - ini membuatnya sedikit lebih sedikit sarang burung di kabel karena sudah ada banyak kabel yang masuk ke papan prosesor TherminVision. Hubungkan "+" pada ThereminVision ke "5V" pada CUI Hubungkan "-" pada ThereminVision ke "GND" pada CUI Hubungkan "4" (bagi dengan 4) pada ThereminVision ke "D7" pada CUI Connect "SEL B" pada ThereminVision ke "D5" pada CUI sambungkan "SEL A" pada ThereminVision ke "D4" pada CUI Hubungkan "S" pada ThereminVision ke "D6" pada CUI

Langkah 6: Memasang Semuanya ke Stand

Jadi elektronik sudah selesai, sekarang tinggal memasangnya ke dudukan - ada banyak metode untuk melakukan ini, dan Anda mungkin ingin meletakkan elektronik Anda di kotak pelindung, dll….

Berikut adalah beberapa foto dari beberapa metode pemasangan yang paling sederhana.

Langkah 7: Mem-boot Firmware untuk ThereminVision Ke CUI

ThereminVision mengirimkan sinyal pengaturan waktu untuk sensornya alih-alih output analog (atau protokol digital standar seperti I2C atau SPI). Jadi beberapa firmware khusus untuk mengukur waktu sinyal ini diperlukan…Versi pertama dari firmware Stand Musik Multimodal ada di file zip di bawah ini, baik kode sumber maupun file hex yang dikompilasi disertakan (bersama dengan tambalan uji untuk Max/ MSP/Jitter): Firmware CUI-ThereminVision Tangkapan layar di bawah menunjukkan program OS X Boot Down oleh Craig Schimmel - utilitas bootloading Macintosh untuk CUI. Jika Anda menggunakan windows, hal termudah adalah menggunakan alat Microchip sendiri, PDFSUSB.exe yang dapat diunduh dari situs web mereka, atau disertakan dalam kode contoh ini untuk CREATE USB Interface. Untuk menempatkan CUI dalam "mode bootloader", tahan tombol program dan tekan tombol reset (atau cukup colokkan kabel USB sambil menahan tombol program). LED status CUI akan berkedip terus menerus yang menunjukkan bahwa CUI dalam mode bootloader. Sekarang Anda dapat menggunakan Boot Down untuk mengirim file CUIEfieldBootDown.hex ke CREATE USB Interface. Jika Anda ingin mengubah firmware untuk CREATE USB Interface kembali ke aslinya, ada di sini, dan ada contoh firmware lain untuk CUI di sini juga.

Langkah 8: Menguji Stand Musik Multimodal di Max / MSP / Jitter

Buka contoh tambalan di Max/MSP/Jitter (demo 30 hari dapat diunduh dari www.cycling74.com, dan versi "runtime" juga tersedia yang tidak memungkinkan penyimpanan tambalan), atau ikuti konvensi di tambalan Max dan buat patch Anda sendiri di PureData (Pd)…Jitter digunakan untuk menampilkan posisi 3D dari input gestural, di mana sumbu z (menuju dan menjauhi dudukan) dipetakan ke intensitas keseluruhan dari keempat antena - tidak terlalu ilmiah, tapi berhasil! Data dari masing-masing sensor juga dikirim sebagai OSC ke 127.0.0.1 (localhost) untuk digunakan oleh aplikasi lain jika diperlukan. Objek yang berguna di Max/MSP/Jitter untuk menyaring lonjakan data sensor (disebabkan oleh gangguan listrik) adalah "smoother" Tristan Jehan, yang dapat diunduh di sini:smoother max objectSitus tristan juga memiliki banyak eksternal MSP untuk Max yang kami gunakan untuk bagian analisis audio dari input Multimodal Music Stand - termasuk pitch~, loudness~, brightness~, noise~, dan objek all-in-one analyzer~. Setelah Anda memiliki data yang masuk ke Max, Anda harus menyesuaikan sensitivitas sensor ThereminVision satu per satu dengan obeng kecil. Lakukan ini dengan memanjangkan antena sepenuhnya, lalu putar trimpot biru berlawanan arah jarum jam hingga masuk ke mode "penginderaan terbalik" - lalu putar kembali searah jarum jam hingga Anda kembali dalam rentang penginderaan normal. Penyesuaian kecil (menyetel sensitivitas, seperti menyetel gitar) dapat dilakukan dengan mengubah panjang antena, jadi Anda tidak perlu membawa obeng kecil ke pertunjukan.

Langkah 9: Menggunakan Stand Musik Multimodal dalam Pertunjukan! (dan Memperpanjangnya)

Jangan lupa, teknik kinerja baru yang memungkinkan Multimodal Music Stand perlu latihan, dan pengembangan pemetaan dan ide baru untuk apa yang ingin Anda kendalikan dengannya! Juga, jika Anda ingin memperluas MMMS Anda untuk menggabungkan jenis sensor lainnya, dimungkinkan untuk menggunakan 13 input analog pada CUI selain sensor ThereminVision di versi firmware MMMS yang akan datang, jadi dengan beberapa sensor sederhana (slider/knob/footpedal) atau jenis sensor lainnya (IR/ultrasound/dll), ini dapat digunakan bersama dengan input audio dan video ke komputer. Saat ini firmware menggunakan protokol "serial-over-USB" tetapi akhirnya rencananya adalah beralih ke protokol "HID" (Perangkat Input Manusia) yang biasanya digunakan oleh CREATE USB Interface. Silakan berkontribusi dalam upaya ini…Ada proyek open source serupa untuk penginderaan medan-E (juga dikenal sebagai penginderaan kapasitif) yang menggunakan topologi sirkuit yang sama (berdasarkan desain ThereminVision) yang disebut CapToolKit - ia menggunakan "adik " dari PIC18F4550, PIC18F2550 yang tidak memiliki banyak input analog (10 bukannya 13). Firmware untuk CapToolKit akan sedikit berbeda karena mereka tidak menggunakan papan prosesor ThereminVision. Kami menggunakan kamera firewire sederhana (gaya webcam) yang dipasang di bagian atas dudukan musik untuk pengenalan optik gerakan fisik dan deteksi tatapan - Jika Anda tertarik pada visi komputer atau analisis audio dan aspek sintesis dari penelitian kelompok kami, silakan lihat makalah di situs web Multimodal Music Stand. Dan tolong posting pengalaman Anda jika Anda membangun Stand Musik Multimodal… Kami sekarang memiliki dua di antaranya di UCSB seperti yang ditunjukkan pada foto di bawah ini - akan sangat bagus untuk memiliki lebih banyak komposisi, pertunjukan, dan musisi yang menggunakannya di luar sana! JoAnn Kuchera-Morin menulis komposisi pertama yang melibatkan MMMS, yang dibawakan oleh pemain suling Jill Felber di Eastman School of Music pada Maret 2007.