Google-onderzoekers voegen krachtig denoise-gereedschap toe aan NeRF AI-programma


Google onderzoekers hebben een nieuw kunstmatig intelligent (AI) programma onthuld dat een ongelooflijk denoising vermogen heeft waardoor gebruikers kunnen “zien in het donker.”

RawNeRF is in staat om beelden te combineren die vanuit veel verschillende camerastandpunten zijn genomen om gezamenlijk de scène te denoizen en te reconstrueren.

straat

Het werkt samen met Google’s Neural Radiance Fields, bekend als NeRF, een beeldsynthese die 3D-weergaven van een scène creëert uit meerdere foto’s.

Ben Mildenhall, een onderzoekswetenschapper, geeft een voorbeeld van een tafel die alleen door kaarslicht wordt verlicht en die hij met zijn smartphone heeft genomen. Pogingen om het RAW-bestand helderder te maken, leverden een vreselijke hoeveelheid ruis op.

Maar nadat Mildenhall het bestand door RawNeRF had gehaald, kwam de foto terug zonder enige ruis en met veel meer detail in de scène.

“En RawNeRF is natuurlijk niet alleen een denoiser, wat betekent dat we de camerapositie kunnen variëren om de scène vanuit verschillende hoeken te bekijken,” legt Mildenhall uit.

“RawNeRF gaat verder dan dat, we reconstrueren de scène daadwerkelijk en renderen nieuwe weergaven in een lineaire hdr-kleurruimte. Dit betekent dat we ook dingen kunnen doen, zoals de belichting variëren, door renderings in lineaire ruimte te herschalen voordat ze worden nabewerkt.”

brommer

RawNeRF kan de basis gammacurve omwisselen voor een complexer toonmapping algoritme dat details in schaduwen naar voren brengt.

“We kunnen zelfs gebruik maken van de lineaire kleurwaarden om synthetische defocus te renderen met accurate bokeh-effecten,” zegt Mildenhall.

Na de tafelschikking met kaarslicht gebruikt Mildenhall de technologie voor een foto van een donkere weg die alleen door straatverlichting wordt verlicht.

Ook hier presteert de RawNeRF opmerkelijk goed en dit komt omdat hij werd getraind op RAW beeldgegevens in plaats van op post-process jpegs.

Mildenhall laat vervolgens nog meer voorbeelden zien van slecht belichte, ruisende beelden die door de RawNeRF ongelooflijk goed worden gered.

“Ondanks de ruis is render in staat om de fijne geometrie van dit hek en deze fiets te herstellen,” legt hij uit bij één beeld.

De software wordt gevoed met een verzameling van vijf tot 200 foto’s van dezelfde scène, die met de huidige cameratechnologie gemakkelijk in enkele seconden wordt geschoten.

Op basis van de gegevens kan de AI-software achteraf de scherpstelling, belichting en toonregeling manipuleren.

“Hoewel een enkel ruw beeld aanzienlijk meer ruis vertoont dan een nabewerkt beeld, tonen we aan dat NeRF zeer robuust is voor de nul-gemiddelde verdeling van ruwe ruis,” schrijven de onderzoekers.

“Wanneer geoptimaliseerd over veel ruisige ruwe invoer (25-200), produceert NeRF een scènerepresentatie die zo nauwkeurig is dat zijn gerenderde nieuwe weergaven beter presteren dan toegewijde enkelvoudige en multi-beeld diepe ruwe denoisers die worden uitgevoerd op dezelfde brede basislijn invoerbeelden,” voegen ze eraan toe.

“Het resultaat is dat onze methode, die we RawNeRF noemen, scènes kan reconstrueren uit extreem ruisige beelden die zijn opgenomen in het bijna-donker.”

De paper van het team is hier te lezen.


Image credits: Alle foto’s door Ben Mildenhall.