Seorang penyelidik daripada jabatan Google Arts and Culture telah mendemonstrasikan satu teknologi yang amat menarik. Dia menggunakan telefon untuk lakukan “Copy & Paste” objek realiti, masuk ke perisian Photoshop-nya.
4/10 – Cut & paste your surroundings to Photoshop
— Cyril Diagne (@cyrildiagne) May 3, 2020
Code: https://t.co/cVddH3u3ik
Book: @HOLOmagazine
Garment: SS17 by @thekarentopacio
Type: Sainte Colombe by @MinetYoann @ProductionType
Technical Insights: ↓#ML #AR #AI #AIUX #Adobe #Photoshop pic.twitter.com/LkTBe0t0rF
Sudah tentu ciri ini bakal jadi sesuatu yang hangat pada masa depan, lebih-lebih lagi dalam keadaan teknologi AR yang nampaknya semakin suram.
Menurut pembangunnya, dia menggunakan teknologi BASNet untuk mengesan subjek dan seterusnya memisahkan dari latar. Setelah objek dikesan dan disalin masuk secara digital kedalam telefon, cabaran yang seterusnya adalah untuk mengetahui dimanakah anda halakan telefon supaya bila anda ketik tampal, sistem menampal di lokasi yang betul.
BASNet was already great for salient object detection and background removal. Its authors are releasing the next version today, U^2-Net (Qin et al, PR 2020) with even more impressive results 😳😲
— Cyril Diagne (@cyrildiagne) May 5, 2020
Repo: https://t.co/zFDSAtkmUc pic.twitter.com/gTPdt7cXgd
Untuk tujuan tersebut, ia menggunakan satu lagi kajian iaitu OpenCV SIFT. Menurutnya lagi, tempoh yang diambil untuk proses salin dan tampal masuk ke komputer setakat ini mengambil masa 6.5 saat tapi ia boleh dipercepat melalui pelbagai cara, cumanya dia kesuntukkan masa.
And again, the OpenCV SIFT trick to find where the phone is pointing at the screen.
— Cyril Diagne (@cyrildiagne) May 3, 2020
I also packaged it as a small python library: https://t.co/en0EyGSklp
Send a camera image + a screenshot and you get accurate x, y screen coordinates! pic.twitter.com/OOCFrrZseZ
Selain mempercepat proses salin dan tampal, dia juga kini sedang menambah baik kejituan AI dan juga lain-lain bahagian yang melibatkan pengalaman mengguna (UX).
Sekiranya anda berminat untuk menelaah kod aturcaranya, ia dikongsikan secara terbuka di laman Github.
