Pelatih Bahasa Inggris Pribadi - Asisten Suara AI: 15 Langkah

2024 Pengarang: John Day | [email protected]. Terakhir diubah: 2024-01-30 09:56

Proyek ini akan membantu siswa yang sedang mempersiapkan ujian linguistik apa pun, di mana mereka dapat dilatih dengan berinteraksi dengan Snips AI.

Langkah 1: Cerita

Mengapa Kami Membangun Ini?

Dari pengalaman pribadi saya, saya telah melihat banyak orang mempersiapkan berbagai tes linguistik seperti GRE, TOEFL, IELTS. Mereka membutuhkan seseorang untuk membantu mereka dalam menghafal dan memahami kata-kata. Umumnya, ketika seseorang mempersiapkan ujian semacam itu, mereka membutuhkan seseorang untuk memeriksa dan mengoreksi jika mereka melakukan kesalahan. Dengan solusi ini, kita dapat mengurangi tenaga kerja dengan mempekerjakan asisten suara.

Langkah 2: Pembuatan Perangkat Keras

Pertama-tama, saya ingin mengucapkan terima kasih kepada SNIPS dan SEEED untuk mendukung proyek ini dengan Snips Voice Interaction Development Kit (Base Kit) yang luar biasa, saya benar-benar merasa informatif menggunakan papan ini dan mampu mencapai beberapa proyek kompleks yang terintegrasi dalam PCB.

Anda dapat membeli Snips Voice Interaction Base Kit seharga $115 dan Snips Voice Interaction Satellite Kit seharga $85

Langkah 3: Memulai SNIPS

Sebelum memulai, mari tinjau apa yang Anda perlukan.

• Raspberry Pi 3B/B+ (Disarankan) atau Pi 2 Model B (Didukung).
• Kabel Micro-USB & adaptor daya Micro-USB untuk Raspberry Pi.
• Kartu Micro SD (Minimal 8 GB) - Sistem operasi diperlukan untuk memulai. Anda dapat mengunduh Raspbian Stretch dan menggunakan panduan untuk Mac OS, Linux, dan Windows Di situs web Raspberry Pi.
• Keyboard & Mouse USB, dan Monitor HDMI eksternal - kami juga merekomendasikan untuk memiliki keyboard dan mouse USB serta monitor HDMI.
• Koneksi internet (Ethernet atau WiFi)

Kit Basis Interaksi Suara Snips

Snips Voice Interaction Development Kit memberdayakan pengguna untuk memulai pengembangan antarmuka suara mereka dan dengan mudah mengintegrasikan Snips AI Voice Platform dengan perangkat keras. Snips berjalan di perangkat, artinya semua perintah suara dan data Anda diproses secara lokal daripada dikirim ke cloud. Pemrosesan di perangkat ini menghasilkan asisten suara offline yang sepenuhnya aman yang menjaga kerahasiaan data pribadi Anda, sebagaimana mestinya.

Kit Basis Interaksi Suara memungkinkan Anda menjalankan seluruh Platform Suara Snips AI. Didukung oleh Raspberry Pi 3 Model B+ dan ReSpeaker 2-Mics Pi HAT, ia mampu bertindak sebagai speaker pintar rumah Anda. Bersamaan dengan kit ini hadir speaker, Grove - Temperature & Humidity Sensor (SHT31), Grove - Relay, dan pegboard untuk menggantungnya di dinding atau membuat dudukan yang bagus.

Tapi itu tidak semua! Kit Satelit Interaksi Suara akan memperluas stasiun pangkalan Anda untuk menjangkau setiap ruangan di rumah Anda dan memungkinkan Anda untuk berinteraksi dengan perangkat keras berdasarkan tempat Anda mengeluarkan perintah!

Kit ini berisi papan Raspberry Pi3 B+, ReSpeaker 2-Mics Pi HAT, Grove – Relay, Grove - Sensor Suhu & Kelembaban (SHT31), Speaker 6 Ohm 2W, Kartu MicroSD, Adaptor daya dengan konektor Micro USB, kabel Grove x 2, Dasar Akrilik panel.

Langkah-Langkah Perakitan: (Isi dari SNIPS)Gambar berikut adalah ikhtisar bagian-bagian perakitan.

Di sini bagian perakitan dipasang pada panel dasar.

Kemudian, semua bagian elektronik dipasang di papan.

Setelah itu pasang penutup Pelindung Akrilik di atas Grove -Relay.

2 bagian ini digunakan untuk membuat Kit menjadi stand meja.

Akhirnya, Anda siap bermain dengan Snips.

Kit ini menyediakan dua cara penempatan. Itu dapat ditempatkan pada permukaan horizontal seperti dudukan atau dapat digantung di dinding menggunakan kabel atau benang. Harap berhati-hati dengan Relay saat kit dihidupkan karena tegangan kerja akan tinggi.

CATATAN: Kami juga memiliki Snips Voice Interaction Satellite Kit yang memiliki nol Raspberry Pi sebagai pengganti Raspberry Pi 3B+

Langkah 4: Berinteraksi Dengan Snips AI (Proyek Dasar)

• Nyalakan kit dengan adaptor daya default dalam kit atau gunakan adaptor DC 5V-2A dengan konektor Micro USB.
• Langkah selanjutnya adalah menginstal asisten Snips ke dalam Raspberry Pi. Untuk menghemat waktu pengaturan Anda, kartu MicroSD dalam kit telah di-flash dengan citra sistem yang berfungsi penuh, yang berarti asisten Snips siap untuk kata-kata pemicu Anda.
• Kami sangat menyarankan Anda untuk mempelajari panduan instalasi langkah demi langkah dengan mengunjungi: https://docs.snips.ai/getting-started/quick-start… dan mempelajari alat sam di baris perintah.
• Picu asisten dengan mengatakan "Hei-snips", dan ikuti perintah:

Anda dapat menemukan video contoh pra-instal di kit dasar Interaksi Suara Snips di bawah ini.

Langkah 5: Berinteraksi Dengan Snips AI (Proyek AI)

Jadi ini adalah cara kerjanya. Pertama, kami menggunakan kata cepat untuk memulai pengenalan Snips. Ia memahami kalimat menggunakan Snips NLU dan menentukan maksudnya. Selanjutnya menggunakan maksud, ekstrak slot masing-masing. Dengan kode tindakan, kami memprogram respons AI dengan masing-masing slot.

Langkah 6: Membuat Aplikasi dan Niat

• Buat Asisten. Dalam kasus saya, saya telah membuat asisten dengan nama JARVIS dan dengan kata cepat JARVIS.
• Buat Aplikasi Kustom atau untuk pemula, gunakan Aplikasi dari perpustakaan.
• Saya telah membuat Aplikasi dengan nama Words
• Buat Intent dan mulai latih AI. Ini memainkan peran utama dalam membuat AI Anda kuat. Latih dengan semua masukan yang mungkin.
• Buat slot untuk mengidentifikasi kata-kata. Tempatkan slot pada frasa kalimat yang diharapkan. Sebagai contoh saya, kata yang diberikan adalah nama slot dan disorot dengan warna biru.
• Setelah selesai, ASR kustom Anda akan siap. Coba dengan input. Kami dapat menemukan jawabannya di sebelah kanan Anda, di bawah asisten. Ini memberi Anda ekstraksi nilai mentah, nama maksud, dan slot.
• Tentukan slot dengan lebih banyak contoh seperti yang diberikan di bawah ini
• Terakhir, Terapkan asisten Anda untuk merasakan AI yang dipersonalisasi.

Langkah 7: Bakar Raspbian ke Kartu SD

Raspbian adalah distribusi Linux pilihan yang berjalan di Raspberry Pi. Dalam panduan ini, kami akan menggunakan versi Lite, tetapi versi Desktop (yang dilengkapi dengan lingkungan grafis) juga dapat digunakan.

• Unduh Etcher dan instal.
• Hubungkan pembaca kartu SD dengan kartu SD di dalamnya.
• Buka Etcher dan pilih dari hard drive Anda file Raspberry Pi.img atau.zip yang ingin Anda tulis ke kartu SD
• Pilih kartu SD yang ingin Anda gunakan untuk menulis gambar.
• Tinjau pilihan Anda dan klik 'Flash!' untuk mulai menulis data ke kartu SD

Hubungkan perangkat ke jaringan Anda

• Aktifkan akses SSH dengan menambahkan file ssh kosong, sekali lagi ditempatkan di akar volume boot pada kartu SD Anda.
• Masukkan kartu SD ke dalam Raspberry Pi. Ini akan boot dalam waktu sekitar 20 detik. Anda sekarang harus memiliki akses SSH ke Raspberry Pi Anda. Secara default, nama hostnya adalah raspberrypi.local. Di komputer Anda, buka jendela terminal dan ketik berikut ini:

ssh [email protected]

Kata sandi default adalah raspberry

Langkah 8: Instal Platform Snips

Jika Anda belum melakukannya, instal Antarmuka Baris Perintah Sam di komputer Anda. Buka jendela terminal, dan masukkan:

sudo npm install -g snips-samor npm install -g snips-sam //Windows

Temukan Raspberry Pi Anda di jaringan dengan menjalankan:

perangkat sama

Selanjutnya, buat koneksi ke perangkat. Anda akan diminta memasukkan nama pengguna dan kata sandi perangkat (masing-masing default adalah pi dan raspberry):

sam terhubung

Kami sekarang siap untuk menginstal platform Snips di Raspberry Pi. Masukkan perintah:

sama init

Langkah 9: Konfigurasikan Perangkat Keras

Sam menyediakan beberapa perintah untuk mengatur dan mengkonfigurasi komponen perangkat keras dengan mudah. Di bagian ini, kita akan menyiapkan speaker dan mikrofon. Tergantung pada pengaturan Anda, beberapa konfigurasi khusus perlu dilakukan.

audio pengaturan sam

Uji pembicara

Untuk memeriksa apakah speaker berfungsi, jalankan

pembicara tes sam

Jika semuanya berfungsi dengan baik, Anda akan mendengar di speaker Anda suara yang mengucapkan beberapa kata. Mengonfigurasi mikrofon Anda dapat memeriksa apakah mikrofon Anda berfungsi:

mikrofon uji sam

Dengan asumsi Anda memiliki speaker, jika Anda dapat dengan jelas mendengar apa yang baru saja Anda katakan, Anda dapat melanjutkan tanpa konfigurasi mikrofon lebih lanjut.

Setelah Anda puas bahwa pengaturan perangkat keras Anda berfungsi, Anda siap untuk melanjutkan ke langkah berikutnya, di mana Anda akan menggunakan asisten pertama Anda.

Langkah 10: Mengimpor Model AI Dari Konsol

Setelah Anda membuat asisten dari langkah sebelumnya, masuk ke konsol dari jendela terminal dengan menjalankan:

sam login

Anda akan diminta untuk memasukkan kredensial Snips Console Anda.

Selanjutnya, instal asisten:

asisten instal sam

Jika Anda telah membuat beberapa asisten di Konsol, Anda akan diminta untuk memilih mana yang akan diinstal dari daftar.

Langkah 11: Penangan & Kode Tindakan

Agar Raspberry Pi merespons, kita harus menulis beberapa kode handler. Ini adalah kode yang dieksekusi ketika peristiwa tertentu terjadi pada platform Snips, seperti ketika niat telah terdeteksi.

Anda memiliki berbagai metode untuk membuat Handler tergantung pada fungsinya.

Buat folder di komputer Anda di mana Anda ingin menyimpan kode handler Anda. Dari jendela terminal, ubah ke direktori itu, dan masukkan:

npm init

Ini akan membuat file bernama package.json yang berisi deskripsi proyek Anda, dependensi, dan lainnya. Selanjutnya, tambahkan dependensi paket mqtt:

npm install mqtt --save

Sekarang, buat file bernama index.js, dan rekatkan kode berikut, ganti variabel hostname dengan nama host Raspberry Pi Anda (jika berbeda dari raspberrypi default):

var mqtt = membutuhkan('mqtt');

var nama host = "mqtt://raspberrypi.local"; var klien = mqtt.connect(nama host); client.on('connect', function() { console.log("[Snips Log] Terhubung ke broker MQTT " + hostname); client.subscribe('hermes/#'); }); client.on('pesan', fungsi (topik, pesan) { if (topik === "hermes/asr/startListening") { onListeningStateChanged(true); } else if (topik === "hermes/asr/stopListening") { onListeningStateChanged(false); } else if (topic.match(/hermes\/hotword\/.+\/detected/g) !== null) { onHotwordDetected() } else if (topic.match(/hermes\ /intent\/.+/g) !== null) { onIntentDetected(JSON.parse(message)); } }); function onIntentDetected(intent) { console.log("[Snips Log] Intent terdeteksi: " + JSON.stringify(intent)); } function onHotwordDetected() { console.log("[Snips Log] Kata cepat terdeteksi"); } function onListeningStateChanged(mendengarkan) { console.log("[Snips Log] " + (mendengarkan ? "Mulai": "Berhenti") + " mendengarkan"); }

Jalankan kode ini menggunakan Node:

simpul index.js

Anda akan melihat pesan koneksi yang berhasil ke broker Snips MQTT. Seperti sebelumnya, lakukan interaksi suara dengan Raspberry Pi Anda:

Hei Snips, bagaimana cuaca di Chennai

Anda akan melihat pembaruan log:

[Snips Log] Terhubung ke broker MQTT mqtt://raspberrypi.local

[Snips Log] Kata cepat terdeteksi [Snips Log] Mulai mendengarkan [Snips Log] Berhenti mendengarkan [Snips Log] Intent terdeteksi: {"sessionId":"c84b5aa5-3f14-4218-975e-8872b9217933", "customData":null, "siteId ": "default", "input":"bagaimana cuaca di chennai", "intent":{"intentName":"searchWeatherForecast", "probability":0.73845243}, "slots":[{"rawValue":" chennai", "value":{"kind":"Custom", "value":"Chennai"}, "range":{"start":44, "end":53}, "entity":"locality", "slotName":"forecast_locality"}]}

Langkah 12: Pemecahan Masalah

Hapus asisten sebelumnya jika ada

$ sudo rm -rf /usr/share/snips/assistant/

Untuk Mengubah direktori ke Asisten

cd /var/lib/snips/skills/

Untuk Mengkloning konten repo ke lokal

git klon

Untuk menjalankan skrip setup.sh

./setup.sh

Aktifkan lingkungan virtual

sumber venv/bin/aktifkan

Jalankan kode tindakan

./aksi-.py

Untuk memberikan izin ke Python Script

chmod +x aksi-.py

Langkah 13: Kandang

• Saya telah menggunakan enklosur berperingkat IP untuk proyek ini
• Pertama, saya membuat lubang yang diperlukan untuk memasang sirkuit & slot untuk kabel daya dan kabel HDMI.
• Kemudian saya menempatkan semua Raspberry Pi di dalam enklosur dan mengencangkannya dengan kuat.
• Saya membuat lubang kecil untuk Speaker dan Mikrofon dan menutupinya menggunakan selembar akrilik kecil.
• Hubungkan speaker ke tutup ReSpeaker dengan kuat.
• Akhirnya, semua sekrup terpasang dengan kuat dan kabel daya dimasukkan melalui slot.
• Beginilah tampilan AI akhirnya:D

Langkah 14: Kerja AI

Anda dapat menemukan data yang dipantau menggunakan Snips-watch

Sekarang waktunya pertunjukan. Saya mulai membuat dengan Salam sederhana AI. Lihat itu Berfungsi.

AI Pelatih telah diprogram untuk kata-kata terbatas. Ini dapat diperpanjang dengan sedikit modifikasi. Ini membantu Siswa untuk menghafal makna lebih cepat daripada metode tradisional.

Perhatian yang Baik: Proyek ini dilatih untuk kira-kira 25 kata. Ini dapat diperluas lebih lanjut dengan membuat tweak kecil dalam kode tindakan.

Anda dapat menemukan skrip Tindakan di Repositori Github saya terlampir.

Project Repo untuk Greetings AI -

Project Repo untuk Trainer AI -

Tautan ke Aplikasi saya:

Seluruh biaya pengaturan sekitar $ 115 yang dapat dibeli dari SNIPS dan solusi ini sangat murah dan efektif jika dibandingkan dengan metode tradisional. Kira-kira lebih dari 100.000 tes diambil di India dan Produk ini akan menjadi suplemen terbaik untuk pengambil GRE.

Berikan jempol jika itu benar-benar membantu Anda dan ikuti saluran saya untuk proyek-proyek menarik.:) Bagikan video ini jika Anda suka. Senang Anda berlangganan: https://console.snips.ai/store/en/skill_xBKlxnE5K… Terima kasih telah membaca!