Twee onderzoekers van de University of California, Davis hebben een camera gemaakt die gebruik maakt van een microlens array en nieuwe beeldverwerkingsalgoritmen om 3D foto’s vast te leggen in een enkele belichting.
Weijian Yang, Ph.D., en doctoraal student Feng Tian zeggen dat omdat de camera in staat is om te leren van bestaande gegevens over hoe een 3D scène digitaal gereconstrueerd moet worden, hij deze beelden in real-time kan produceren, Phys rapporten.
“We beschouwen onze camera als lensloos omdat hij de bulklenzen die in conventionele camera’s worden gebruikt vervangt door een dunne, lichtgewicht microlens-array van flexibel polymeer,” zegt Yang.
“Omdat elke microlens objecten vanuit verschillende kijkhoeken kan waarnemen, kan het complexe beeldvormingstaken volbrengen, zoals het verwerven van 3D-informatie van objecten die gedeeltelijk worden verduisterd door objecten dichter bij de camera.”
Het duo zegt dat de camera vooral nuttig is om robots 3D-visie te geven, waardoor ze op hun beurt beter door ruimtes zouden kunnen navigeren of complexe taken kunnen uitvoeren, zoals het manipuleren van kleine of fijne voorwerpen.
“Het zou ook kunnen worden gebruikt om rijke 3D-informatie te verwerven die inhoud zou kunnen leveren voor 3D-schermen die worden gebruikt in gaming, entertainment of vele andere toepassingen,” voegt Yang toe.
De microlens array bestaat uit 37 kleinere lenzen die zijn verdeeld in een gebied van slechts 12 millimeter in diameter. Deze array vangt een hele scène op en vervolgens zorgt een “eenvoudig en robuust” physics-aware deep learning model voor diepte-resolves fotorealistische reconstructies in real-time.
“Onze lensloze imager vereist geen kalibratie van de point spread function en heeft de mogelijkheid om diepte op te lossen en ‘door te zien’ ondoorzichtige obstakels voor beeldkenmerken worden geblokkeerd, waardoor brede toepassingen in computationele beeldvorming mogelijk worden,” het onderzoekspaper, gepubliceerd op Optica, verklaart.
De resulterende beelden kunnen opnieuw worden scherpgesteld op verschillende dieptes en afstanden en de camera kan ook een dieptekaart maken waarvan de onderzoekers bevestigen dat die overeenkomt met de werkelijke opstelling van testobjecten.
“In een laatste demonstratie lieten we zien dat onze camera objecten achter de ondoorzichtige obstakels kon afbeelden,” zei Yang. “Voor zover wij weten, is dit de eerste demonstratie van het afbeelden van objecten achter ondoorzichtige obstakels met behulp van een lensloze camera.”
De twee onderzoekers zijn momenteel bezig met het verfijnen van het systeem om artefacten en fouten te verminderen en zullen vervolgens werken aan het miniaturiseren van het systeem om het klein genoeg te maken om in een smartphone te passen, waardoor de bruikbaarheid sterk wordt uitgebreid.
Het volledige onderzoeksartikel getiteld Geleerde lensloze 3D camera kan gelezen worden op Optica.
Image credits: Links: Weijian Yang, Ph.D., en Feng Tian ontwikkelden een camera die gebruik maakt van een dunne microlens array en nieuwe beeldverwerkingsalgoritmen om 3D informatie over meerdere objecten vast te leggen in een enkele belichting. De ruwe subbeelden van de microarray worden op de monitor getoond; Foto door Savannah Luy, University of California-Davis. | Rechts: “Door obstakels heen kijken” experiment met de lensloze camera via Geleerde lensloze 3D camera.