Pemrosesan Gambar Kuantimetrik: 5 Langkah

2024 Pengarang: John Day | [email protected]. Terakhir diubah: 2024-01-30 09:57

(Gambar di atas menggambarkan perbandingan metode pemrosesan gambar yang ada dengan pemrosesan gambar kuantimetri. Perhatikan hasil yang ditingkatkan. Gambar kanan atas menunjukkan artefak aneh yang berasal dari asumsi yang salah bahwa gambar mengukur sesuatu seperti cahaya. Gambar kanan bawah menunjukkan hasil yang lebih baik dengan melakukan hal yang sama secara kuantitatif.)

Dalam Instructable ini, Anda akan belajar bagaimana meningkatkan kinerja sistem pencitraan atau penginderaan penglihatan yang ada dengan menggunakan konsep yang sangat sederhana: Penginderaan gambar kuantitatif

Pemrosesan gambar kuantitatif sangat meningkat pada salah satu hal berikut:

• Pemrosesan gambar yang ada seperti penghilangan gambar;
• Pembelajaran mesin, visi komputer, dan pengenalan pola;
• Pengenal wajah yang dapat dipakai (lihat https://wearcam.org/vmp.pdf), penglihatan berbasis AI dan HI, dll.

Ide dasarnya adalah melakukan pra-proses dan pasca-proses gambar secara kuantitatif, sebagai berikut:

1. Perluas rentang dinamis gambar atau gambar;
2. Memproses gambar atau gambar seperti biasa;
3. Kompres rentang dinamis gambar atau gambar (yaitu batalkan langkah 1).

Dalam Instruksi sebelumnya, saya mengajarkan beberapa aspek penginderaan HDR (Jangkauan Dinamis Tinggi) dan penginderaan kuantimetri, mis. linearitas, superposisi, dll.

Sekarang mari kita gunakan pengetahuan ini.

Ambil proses yang ada yang ingin Anda gunakan. Contoh yang akan saya tunjukkan adalah penghilangan gambar, tetapi Anda juga dapat menggunakannya untuk hal lain.

Langkah 1: Perluas Rentang Dinamis Gambar atau Gambar Anda

(Angka diadaptasi dari "Intelligent Image Processing", John Wiley and Sons Interscience Series, Steve Mann, November 2001)

Langkah pertama adalah memperluas jangkauan dinamis dari gambar input.

Idealnya, Anda harus terlebih dahulu menentukan fungsi respons kamera, f, lalu menerapkan respons terbalik, f terbalik, ke gambar.

Kamera tipikal adalah kompresi rentang dinamis, jadi kami biasanya ingin menerapkan fungsi ekspansif.

Jika Anda tidak mengetahui fungsi respons, mulailah dengan mencoba sesuatu yang sederhana seperti memuat gambar ke dalam larik gambar, memasukkan variabel ke tipe data seperti (float) atau (ganda), dan menaikkan setiap nilai piksel ke eksponen, seperti, misalnya, mengkuadratkan setiap nilai piksel.

Alasan:

Mengapa kita melakukan ini?

Jawabannya adalah kebanyakan kamera memampatkan rentang dinamisnya. Alasan mereka melakukan ini adalah karena sebagian besar media tampilan memperluas jangkauan dinamis. Ini secara tidak sengaja: jumlah cahaya yang dipancarkan oleh layar televisi tabung sinar katoda kira-kira sama dengan tegangan yang dinaikkan ke eksponen 2,22 sehingga ketika input tegangan video sekitar setengah jalan, jumlah cahaya yang dipancarkan jauh lebih banyak. kurang dari setengah.

Media fotografi juga memiliki jangkauan dinamis yang luas. Misalnya, kartu abu-abu fotografis "netral" memancarkan 18% dari cahaya datang (bukan 50% dari cahaya datang). Cahaya sebanyak ini (18%) dianggap berada di tengah-tengah respons. Jadi seperti yang Anda lihat, jika kita melihat grafik output sebagai fungsi input, media tampilan berperilaku seolah-olah mereka adalah tampilan linier ideal yang berisi perluasan rentang dinamis sebelum respons linier ideal.

Pada gambar atas, di atas, Anda dapat melihat tampilan kotak dengan garis putus-putus, dan itu setara dengan memiliki expander sebelum tampilan linier yang ideal.

Karena tampilan secara inheren bersifat ekspansif, kamera perlu dirancang untuk menekan sehingga gambar terlihat bagus pada tampilan yang ada.

Kembali di masa lalu ketika ada ribuan tampilan penerima televisi dan hanya satu atau dua stasiun penyiaran (misalnya hanya satu atau dua kamera televisi), itu adalah perbaikan yang lebih mudah untuk menempatkan nonlinier tekan ke dalam kamera daripada mengingat semua televisi dan menempatkan satu di setiap penerima televisi.

Secara tidak sengaja ini juga membantu pengurangan kebisingan. Dalam audio kami menyebutnya "Dolby" ("companding") dan memberikan paten untuk itu. Dalam video itu terjadi secara tidak sengaja. Stockham mengusulkan agar kita mengambil logaritma gambar sebelum memprosesnya, dan kemudian mengambil antilognya. Apa yang tidak dia sadari adalah bahwa sebagian besar kamera dan layar sudah melakukan ini secara kebetulan. Sebaliknya, apa yang saya usulkan adalah bahwa kita melakukan kebalikan dari apa yang diusulkan Stockham. (Lihat "Pemrosesan Gambar Cerdas", John Wiley and Sons Interscience Series, halaman 109-111.)

Pada gambar bawah, Anda melihat pemrosesan gambar anti-homomorfik (kuantimetri) yang diusulkan, di mana kami telah menambahkan langkah ekspansi dan kompresi rentang dinamis.

Langkah 2: Proses Gambar, atau Lakukan Visi Komputer, Pembelajaran Mesin, atau sejenisnya

Langkah kedua, setelah perluasan rentang dinamis, adalah memproses gambar.

Dalam kasus saya, saya hanya melakukan dekonvolusi gambar, dengan fungsi blur, yaitu penghilangan gambar, seperti yang biasa dikenal dalam prior art.

Ada dua kategori luas dari penginderaan citra kuantimetri:

• Membantu orang melihat;
• Membantu mesin melihat.

Jika kita mencoba membantu orang melihat (contoh yang saya tunjukkan di sini), kita belum selesai: kita perlu mengembalikan hasil yang diproses ke imagespace.

Jika kita membantu mesin melihat (misalnya pengenalan wajah), kita sudah selesai sekarang (tidak perlu melanjutkan ke langkah 3).

Langkah 3: Kompres ulang Rentang Dinamis dari Hasil

Saat kita bekerja dalam rentang dinamis yang diperluas, kita dikatakan berada di "lightspace" (ruang gambar kuantimetrik).

Di akhir Langkah 2, kita berada di lightspace, dan kita harus kembali ke imagespace.

Jadi langkah 3 ini adalah tentang kembali ke imagespace.

Untuk melakukan langkah 3, cukup kompres rentang dinamis dari output Langkah 2.

Jika Anda mengetahui fungsi respons kamera, cukup terapkan, untuk mendapatkan hasilnya, f(p(q)).

Jika Anda tidak mengetahui fungsi respons kamera, cukup gunakan tebakan yang baik.

Jika Anda mengkuadratkan piksel gambar pada langkah 1, sekarang saatnya untuk mengambil akar kuadrat dari setiap piksel gambar untuk kembali ke tebakan Anda tentang ruang gambar.

Langkah 4: Anda Mungkin Ingin Mencoba Beberapa Variasi Lain

Deblurring hanyalah salah satu dari banyak contoh yang mungkin. Pertimbangkan, misalnya, penggabungan beberapa eksposur.

Ambil dua gambar seperti dua yang saya miliki di atas. Satu diambil pada siang hari, dan yang lainnya pada malam hari.

Gabungkan mereka untuk membuat gambar seperti senja.

Jika Anda hanya rata-rata mereka bersama-sama terlihat seperti sampah. Coba ini sendiri!

Tetapi jika Anda pertama-tama memperluas rentang dinamis setiap gambar, kemudian menambahkannya, dan kemudian mengompresi rentang dinamis jumlah, itu tampak hebat.

Bandingkan pemrosesan gambar (menambahkan gambar) dengan pemrosesan gambar kuantimetri (memperluas, menambahkan, dan kemudian mengompresi).

Anda dapat mengunduh kode saya dan materi contoh lainnya dari sini:

Langkah 5: Melangkah Lebih Jauh: Sekarang Cobalah Dengan Komposit Gambar HDR

(Gambar di atas: Helm las HDR menggunakan pemrosesan gambar kuantimetri untuk overlay augmented reality. Lihat Slashgear 2012 12 September.)

Singkatnya:

ambil gambar, dan terapkan langkah-langkah berikut:

1. memperluas jangkauan dinamis gambar;
2. memproses gambar;
3. kompres rentang dinamis hasil.

Dan jika Anda menginginkan hasil yang lebih baik, coba yang berikut ini:

menangkap sejumlah gambar yang terpapar secara berbeda;

1. perluas rentang dinamis ke lightspace, sesuai dengan Instruksi saya sebelumnya tentang HDR;
2. memproses gambar kuantimetri yang dihasilkan, q, di lightspace;
3. kompres rentang dinamis melalui tonemapping.

Bersenang-senanglah dan silakan klik "Saya berhasil" dan posting hasil Anda, dan saya akan dengan senang hati berkomentar atau memberikan bantuan yang membangun.