Aggregation in neural fields via differential constraints

Abstract

Aggregation operators, that is, operators defined through integration over continuous domains such as space, direction, or light paths, are central to visual computing. In practice, aggregation on continuous functions is typically carried out either through discrete approximations or through Monte Carlo sampling. Neural fields have emerged as flexible representations of continuous signals, but despite their appealing properties, it remains unclear how aggregation operators can be realized directly on neural fields without reverting to conventional approaches. This thesis addresses this challenge through the observation that certain aggregation operators, although global in nature, can in some cases be reformulated as local differential constraints. This makes it possible to realize aggregation on neural fields without resorting to explicit numerical integration. Building on this observation, this thesis contributes two methods that instantiate this principle in different settings. The first contribution is a method for continuous convolution on functions encoded as neural fields, based on convolution identities and the sparsity induced by repeated differentiation of piecewise polynomial kernels. The second contribution is a novel formulation for volumetric inverse rendering under full global illumination, in which both the optical properties of the medium and the transported light field are represented as neural fields, while global illumination is enforced through a differential formulation of the radiative transfer equation together with image-based supervision.

Aggregationsoperatoren, also Operatoren, die durch Integration über kontinuierliche Bereiche wie Raum, Richtung oder Lichtwege definiert werden, sind zentral für die visuelle Datenverarbeitung. In der Praxis erfolgt die Aggregation kontinuierlicher Funktionen typischerweise entweder durch diskrete Approximationen oder durch Monte-Carlo-Simulationen. Neuronale Felder haben sich als flexible Repräsentationen kontinuierlicher Signale etabliert. Trotz ihrer attraktiven Eigenschaften ist jedoch unklar, wie Aggregationsoperatoren direkt auf neuronalen Feldern realisiert werden können, ohne auf konventionelle Ansätze zurückzugreifen. Diese Arbeit befasst sich mit dieser Herausforderung, indem sie zeigt, dass bestimmte Aggregationsoperatoren, obwohl globaler Natur, in einigen Fällen als lokale Bedingungen auf Differentiale formuliert werden können. Dies ermöglicht die Realisierung von Aggregation auf neuronalen Feldern ohne explizite numerische Integration. Aufbauend auf dieser Beobachtung präsentiert diese Arbeit zwei Methoden, die dieses Prinzip in unterschiedlichen Kontexten anwenden. Die erste Methode ist eine Methode zur kontinuierlichen Faltung von als neuronale Felder kodierten Funktionen. Sie basiert auf Faltungsidentitäten und der durch wiederholte Differentiation stückweise polynomialer Kerne induzierten Sparsität. Der zweite Beitrag ist eine neuartige Formulierung für volumetrisches inverses Rendering unter vollständiger globaler Beleuchtung, bei der sowohl die optischen Eigenschaften des Mediums als auch das transportierte Lichtfeld als neuronale Felder dargestellt werden, während die globale Beleuchtung durch eine differentielle Formulierung der Strahlungstransportgleichung zusammen mit bildbasierter Überwachung ermöglicht wird.