AI Dengan Grove Zero dan Codecraft (Scratch 3.0): 5 Langkah (dengan Gambar)

2024 Pengarang: John Day | [email protected]. Terakhir diubah: 2024-01-30 09:54

Pada artikel ini kita akan membangun tiga proyek yang memanfaatkan fungsi AI dari Codecraft, lingkungan pemrograman grafis berdasarkan Scratch 3.0. Codecraft dikembangkan dan dikelola oleh pendidikan TinkerGen dan gratis untuk digunakan.

AI dan subsetnya, pembelajaran mesin, telah menjadi bagian integral dari kehidupan kita dalam 10 tahun terakhir. Kurikulum sekolah di banyak negara mencakup AI dan pengetahuan pembelajaran mesin, tetapi mungkin sulit bagi rata-rata guru untuk membuat materi pelajaran untuk mengajarkan topik ini tanpa alat yang tepat. Menggunakan perpustakaan pembelajaran mesin, bahkan yang paling ramah pengguna, seperti Keras, untuk membangun aplikasi yang dapat berinteraksi dengan siswa, bisa menjadi tugas yang memakan waktu dan menakutkan. Di sinilah Codecraft dapat membantu - ia memiliki serangkaian aplikasi bertenaga pembelajaran mesin yang dapat digunakan guru untuk menjelaskan dan mendemonstrasikan konsep yang terkait dengan kecerdasan buatan. Mari kita lihat mereka!

Langkah 1: Ikhtisar Ekstensi AI

Buka editor online Codecraft di

Klik pada mode Tahap dan kemudian Tambahkan Tombol Ekstensi di bagian bawah tab navigasi blok.

Anda akan melihat ada tiga Ekstensi AI yang tersedia:

- Layanan Kognitif --- model pembelajaran mesin untuk memproses umpan dan suara video langsung

- Mesin yang Dapat Diajar --- dapat digunakan untuk melatih model klasifikasi dengan gambar yang diambil dengan kamera Anda

- Terjemahkan --- menggunakan pembelajaran mesin untuk terjemahan

Pada artikel ini kita akan fokus pada Layanan Kognitif dan menggunakan fungsi-fungsi ini untuk mengontrol perangkat keras Grove Zero. Komunikasi nirkabel antara komputer dan Grove Zero masih berlangsung dan saya akan memperbarui artikel segera setelah tersedia. Untuk saat ini kita akan menggunakan koneksi kabel untuk meneruskan pesan antara modul Grove Zero dan komputer.

Langkah 2: Mainkan Space Invaders Dengan Hidung Anda

Untuk tugas pertama kami hanya akan menggunakan mode panggung tanpa perangkat keras apa pun. Codecraft memiliki banyak contoh untuk memulai pemrograman - salah satu contohnya adalah memprogram game klasik Space Invaders dalam mode Codecraft Stage. Kami akan memperluas contoh ini dan menambahkan kemampuan untuk mengontrol petarung dalam game dengan hidung Anda menggunakan layanan Kognitif.

Klik tombol Contoh. Buka contoh SpaceInvaders. Kita hanya perlu mengubah bagian yang relevan dengan gerakan. Untuk itu kita akan mendapatkan x-posisi hidung pada wajah yang terdeteksi di live video feed, simpan di variabel pos. Kemudian jika nilai pos lebih besar dari 50, kita pindahkan pesawat tempur kita ke kanan, jika kurang dari -50, maka kita pindahkan pesawat tempur ke kiri. Ini dia. Cobalah! Jika Anda merasa kecepatan gerakan petarung terlalu cepat, Anda dapat mengubah perubahan x dengan … blok ke angka yang lebih kecil.

Selanjutnya kita akan memperluas fungsi ini untuk mengontrol mobil Grove Zero dan membuatnya bergerak maju/mundur/kiri/kanan.

Langkah 3: Kendalikan Mobil Grove Zero Dengan Codecraft AI

Mari kita mulai dengan menulis kode dalam mode panggung - ini adalah bagian, yang bertanggung jawab untuk menganalisis umpan video dan mengeluarkan perintah ke Grove Zero.

1) Kami menjalankan kode di tangkapan layar pertama hingga tombol spasi ditekan. Setelah itu kami mengirimkan perintah stop.

2) Di dalam ulangi sampai blok kami memeriksa x-pos dan y-pos dari hidung wajah yang terdeteksi dan menyimpannya ke variabel yang sesuai.

3)Jika nilai mutlak x-pos kurang dari 21 (artinya antara -20 dan 20, begitu dekat pusat gambar), maka kita lanjutkan untuk memeriksa y-pos untuk menentukan apakah mobil harus maju atau mundur

4) Kalau tidak, kami memeriksa apakah mobil harus ke kiri atau ke kanan

Sekarang mari kita pindah ke tab Device dan menulis kode pendek untuk mobil Grove Zero. Kami akan menggunakan Ketika saya menerima blok, yang bertanggung jawab untuk menerima perintah siaran internal. Tidak menjadi bingung dengan Ketika radio menerima, yang digunakan untuk komunikasi Bluetooth. Lihat tangkapan layar untuk detailnya, kodenya cukup sederhana.

Hubungkan mobil Grove Zero rakitan Anda ke komputer dan tekan tombol Connect di Codecraft. Beralih ke mode debugging online - yang akan memungkinkan Grove Mainboard menerima perintah siaran melalui kabel. Kemudian pergi ke mode panggung dan tekan pada bendera. Seharusnya mobil itu bergerak sekarang, coba kendalikan dengan hidungmu:)

Langkah 4: Mengikuti Baris Dengan Kontrol Suara

Ada peta di kit mobil Grove Zero, yang aslinya untuk bermain mini-game Kumpulkan Koin. Kita dapat menggunakannya kembali untuk menggunakan pengenalan suara di Codecraft untuk memberikan perintah kepada mobil di jalan mana untuk berbelok di persimpangan jalan.

Bagian mode panggung di sini kurang rumit dari pada contoh sebelumnya. Yang kami lakukan adalah:

1) Setelah menerima pesan siaran pilih_arah, kenali fragmen ucapan dan simpan di variabel hasil.

2) Tetap mengenali sampai hasilnya TIDAK diketahui.

3) Bandingkan hasil dengan dua string - "kiri" dan "kanan". Siarkan pesan yang sesuai ke mobil Grove Zero.

Kode yang berjalan di mobil Grove Zero kali ini sedikit lebih rumit, tetapi pada dasarnya mengikuti logika ini:

1) Saat mulai, siarkan pesan teruskan

2) Setelah menerima pesan penerusan, mulailah mengikuti baris. Jika saluran terputus, hentikan motor dan siaran

pilih_arah. Di sini kode dalam mode Tahap mulai dijalankan.

3) Jika pesan yang tersisa diterima, mulailah berbelok ke kiri dan kemudian beralih kembali ke mode baris berikut.

Jika pesan yang diterima benar mulai berbelok ke kanan dan kemudian beralih kembali ke mode baris berikut.

Langkah 5: Di Balik Layar

Model jaringan saraf yang digunakan dalam aplikasi di atas semuanya dijalankan secara lokal di browser Anda, yang memiliki beberapa keunggulan berbeda dibandingkan dengan mengirim data ke cloud untuk diproses: latensi yang lebih kecil dan privasi yang lebih baik. Sejumlah jaringan saraf digunakan dalam layanan Kognitif - Klasifikasi Suara untuk perintah ucapan (, Deteksi Landmark Wajah, Pengenalan Ekspresi Wajah, dan estimasi Usia.

Dalam artikel ini kami menjelajahi fungsionalitas dasar dari salah satu ekstensi AI Codecraft - Layanan kognitif. Ada beberapa cara yang dapat Anda gunakan untuk membuat aplikasi yang lebih menyenangkan dan mengasyikkan!

Jika Anda memutuskan untuk mencobanya, baik itu dengan Grove Zero atau hanya menggunakan mode Stage, bagikan di komentar di bawah. Untuk informasi lebih lanjut tentang seri Grove Zero, Codecraft, dan perangkat keras lainnya untuk pembuat dan pendidik STEM, kunjungi situs web kami, TinkerGen telah membuat kampanye Kickstarter untuk MARK (Make A Robot Kit), kit robot untuk mengajar coding, robotika, AI!