Zien in het donker: Google-onderzoekers gebruiken AI om nieuwe HDR-weergaven te maken van ruwe beelden met veel ruis


We hebben Google-onderzoekers verbazingwekkende dingen zien doen met kunstmatige intelligentie, waaronder opmerkelijke upscaling. Google heeft zijn zinnen gezet op ruisonderdrukking met behulp van MultiNeRF, een open source project dat AI gebruikt om de beeldkwaliteit te verbeteren. Het programma RawNeRF bekijkt beelden en gebruikt dan AI om meer detail te brengen in beelden die zijn gemaakt bij weinig licht en in donkere omstandigheden.

In een onderzoekspaper, ‘NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images,’ laat het team zien hoe het Neural Radiance Fields (NeRF) heeft gebruikt om nieuwe beeldanalyses van hoge kwaliteit te maken uit een verzameling invoerbeelden. De NeRF is getraind om het volledige dynamische bereik van een scène te behouden en het is mogelijk om de scherpstelling, belichting en toonmapping te manipuleren na het moment van opname. Wanneer de NeRF wordt geoptimaliseerd voor een groot aantal ruisgevoelige onbewerkte inputs, kan hij een scène produceren die beter presteert dan raw-denoisers voor enkele of meerdere beelden. Verder beweert het team dat RawNeRF extreem ruisgevoelige scènes kan reconstrueren die in bijna volledige duisternis zijn opgenomen.

Terwijl standaard NeRF gebruik maakt van beelden met een laag dynamisch bereik die zijn vastgelegd in de sRGB-kleurruimte, maakt RawNeRF gebruik van lineaire ruwe invoergegevens binnen de HDR-kleurruimte (hoog dynamisch bereik). Het reconstrueren van NeRF in onbewerkte ruimte levert betere resultaten op en maakt nieuwe HDR-beeldsynthese mogelijk. Het onderzoek toont aan dat RawNeRF “verrassend robuust is voor hoge ruisniveaus, in die mate dat het kan fungeren als een concurrerende multi-image denoiser wanneer het wordt toegepast op brede basisbeelden van een statische scène”. Verder demonstreerde het team de “HDR-beeldsynthesetoepassingen die mogelijk worden gemaakt door het herstellen van een scènerepresentatie die kleurwaarden met een hoog dynamisch bereik behoudt.

Figuur 6 – “Voorbeeld van nabewerkte en op kleur uitgelijnde patches uit onze echte denoising dataset. RawNeRF produceert in elk geval de meest gedetailleerde output. Alle diepe denoising-methoden (kolommen 2-5) krijgen het ruisende testbeeld als invoer, terwijl NeRF-varianten (kolommen 6-8) zowel nieuwe beeldsynthese als denoising uitvoeren.

De resultaten zijn uiterst indrukwekkend. Het gebruik van lineaire ruwe HDR-inputgegevens opent veel nieuwe mogelijkheden voor computationele fotografie, waaronder postprocessing, zoals het bewerken van focus en belichting, van een nieuw HDR-beeld.

Om het volledige onderzoeksartikel te lezen, klik hier. Het onderzoek is geschreven door Ben Mildenhall, Peter Hedman, Ricardo Martin-Brualla, Pratul P. Srinivasan en Jonathan T. Barron.