Peneliti MIT menghadirkan sistem penglihatan komputer baru yang mengubah objek berkilau menjadi semacam kamera: memungkinkan pengamat melihat sekeliling sudut atau di belakang rintangan.

Informasi berharga dan seringkali tersembunyi tentang lingkungan sekitar seseorang dapat diperoleh dari pantulan objek. Dengan menggunakan kembali mereka sebagai kamera, seseorang dapat melakukan hal-hal yang sebelumnya tidak terbayangkan, seperti melihat melalui dinding atau ke langit. Ini menantang karena banyak faktor yang memengaruhi pantulan, termasuk geometri objek, properti material, lingkungan 3D, dan sudut pandang pengamat. Dengan mendekonstruksi geometri objek dan mencerahkannya secara internal dari radiasi specular yang memantulkannya, manusia dapat memperoleh petunjuk dan kesimpulan mendalam tentang bagian lingkungan sekitar yang diselimuti.

Peneliti visi komputer di MIT dan Rice telah mengembangkan cara menggunakan refleksi untuk menghasilkan gambar lingkungan nyata. Dengan menggunakan pantulan, mereka mengubah objek berkilau menjadi “kamera”, memberikan kesan bahwa pengguna sedang menatap dunia melalui “lensa” barang umum seperti cangkir kopi keramik atau pemberat kertas logam.

Metode yang digunakan para peneliti melibatkan mengubah benda terang dari geometri tak terbatas menjadi kamera medan radiasi. Ide utamanya adalah menggunakan permukaan objek sebagai sensor digital untuk merekam cahaya yang dipantulkan dari lingkungan sekitarnya dalam dua dimensi.

Para peneliti menjelaskan bahwa sintesis tampilan baru, menghadirkan perspektif baru yang hanya terlihat langsung oleh objek terang di tempat kejadian tetapi tidak oleh pengamat, berkat pemulihan medan radiasi lingkungan. Selanjutnya, kita bisa membayangkan agglodrat yang dihasilkan oleh objek terdekat di TKP menggunakan medan radiasi. Metode yang dikembangkan oleh para peneliti diajarkan secara end-to-end dengan menggunakan beberapa foto objek untuk secara bersamaan memperkirakan geometri, radiasi difus, dan medan radiasi lingkungan 5D-nya.

Penelitian bertujuan untuk memisahkan objek dari pantulannya sehingga objek tersebut “melihat” dunia seolah-olah kamera dan merekam sekelilingnya. Visi komputer telah berjuang dengan refleksi selama beberapa waktu karena mereka adalah representasi 2D yang terdistorsi dari pemandangan 3D dengan bentuk yang tidak diketahui.

Para peneliti memodelkan permukaan objek sebagai sensor virtual, dan mengumpulkan proyeksi dua dimensi dari medan radiasi lingkungan 5D di sekitar objek untuk membuat representasi dunia tiga dimensi seperti yang terlihat oleh objek. Sebagian besar medan radiasi lingkungan diblokir kecuali oleh pantulan objek. Di luar bidang pandang, mensintesis tampilan novel, atau menghadirkan perspektif baru yang hanya terlihat langsung oleh objek terang di tempat kejadian tetapi tidak oleh pengamat, dimungkinkan melalui penggunaan medan radiasi lingkungan, yang juga memungkinkan untuk estimasi kedalaman dan luminositas dari objek ke sekelilingnya.

Singkatnya, tim melakukan hal berikut:

• Mereka menunjukkan bagaimana permukaan diam dapat diubah menjadi sensor virtual dengan kemampuan untuk mengambil gambar 3D dari lingkungan mereka hanya dengan menggunakan kerucut virtual.
• Bersama-sama, mereka menghitung medan radiasi sekitar 5D objek dan memperkirakan radiasi difusnya.
• Mereka menunjukkan bagaimana menggunakan medan cahaya dari lingkungan sekitar untuk menghasilkan perspektif baru yang tidak terlihat oleh mata manusia.

Proyek ini bertujuan untuk merekonstruksi medan radiasi lima dimensi lautan dari banyak foto elemen terang yang tidak diketahui bentuk dan albedonya. Silau dari permukaan reflektif mengungkapkan elemen pemandangan di luar bidang penglihatan. Secara khusus, aturan permukaan dan kelengkungan objek terang menentukan bagaimana gambar pengamat dipetakan ke dunia nyata.

Peneliti mungkin memerlukan informasi yang lebih akurat tentang bentuk objek atau realitas yang dipantulkan, yang berkontribusi terhadap distorsi. Hal ini juga memungkinkan warna dan tekstur objek mengkilap menyatu dengan pantulan. Selain itu, tidak mudah untuk mengetahui kedalaman pemandangan yang dipantulkan karena pantulan adalah proyeksi dua dimensi dari lingkungan tiga dimensi.

Tim peneliti mengatasi kendala tersebut. Mereka mulai dengan memotret objek berkilau dari berbagai sudut, menangkap berbagai pantulan. Orca (Objects Like Radiance-Field Cameras) adalah singkatan dari proses tiga tahap mereka.

Orca dapat merekam pantulan multi-pandangan dengan mencitrakan objek dari berbagai sudut, yang kemudian digunakan untuk memperkirakan kedalaman antara objek terang dan objek lain dalam pemandangan serta bentuk objek terang itu sendiri. Informasi lebih lanjut tentang kekuatan dan arah sinar cahaya yang datang dari dan mengenai setiap titik dalam gambar ditangkap oleh model medan radiasi 5D ORCa. Orca dapat membuat perkiraan kedalaman yang lebih akurat berkat data di bidang radiasi 5D ini. Karena pemandangan dirender sebagai bidang radiasi 5D, bukan gambar 2D, pengguna dapat melihat detail yang akan dikaburkan oleh sudut atau penghalang lainnya. Para peneliti menjelaskan bahwa setelah ORCa mengumpulkan medan radiasi 5D, pengguna dapat menempatkan kamera virtual di mana saja di area tersebut dan membuat gambar sintetik yang akan dihasilkan kamera. Pengguna juga dapat mengubah tampilan suatu barang, misalnya dari keramik menjadi logam, atau memasukkan objek virtual ke dalam pemandangan.

Dengan memperluas definisi medan radiasi di luar bidang radiasi line-of-sight tradisional, peneliti dapat membuka jalan baru untuk menyelidiki lingkungan dan benda-benda di dalamnya. Menggunakan lebar dan kedalaman virtual yang diproyeksikan, karya tersebut dapat membuka kemungkinan dalam penyisipan objek virtual dan persepsi 3D, seperti mengekstrapolasi informasi dari luar bidang pandang kamera.

memindai kertas Dan halaman proyek. Jangan lupa untuk bergabung 22k+ML Sub RedditDan saluran perselisihanDan Dan buletin email, tempat kami berbagi berita penelitian AI terbaru, proyek AI keren, dan banyak lagi. Jika Anda memiliki pertanyaan tentang artikel di atas atau jika kami melewatkan sesuatu, jangan ragu untuk mengirim email kepada kami di [email protected]

🚀 Lihat 100 Alat AI di Klub Alat AI