Beeldfusie is het proces van het combineren van twee of meer beelden in een enkel beeld met het behoud van belangrijke kenmerken van elk. Fusie is een belangrijke techniek in vele uiteenlopende gebieden, zoals remote sensing, robotica en medische toepassingen. Een voorbeeld hiervan is de combinatie van twee afbeeldingen waarbij er telkens op een ander object wordt gefocust en dus niet alle objecten scherp zijn, de twee afbeeldingen worden samengevoegd tot één afbeelding waarbij alle objecten scherp zijn. Hiervan is een voorbeeld te zien in de afbeeldingen rechtsonder. Image fusion, Image Registration and Fusion Systems Image fusion doc, scribd.com thumb|400px|Fuseervoorbeeld
Evolutie thumb|Beeldfusie De eerste fusieschema's voerden de fusie uit recht op de bronbeelden, die vaak ernstige bijwerkingen hadden, zoals het verminderen van het contrast.
Met de introductie van de piramidetransformatie in het midden van de jaren 80, begonnen er een aantal geavanceerde methoden te ontstaan. Men vond dat het beter zou zijn om de fusie uit te voeren in het transformatiedomein. Piramidetransformatie lijkt zeer nuttig te zijn voor dit doel. Het basisidee om de piramidetransformatie van de gefuseerde afbeelding te vormen is door piramidetransformatie op de bronbeelden de te doen, dan wordt het versmolten beeld verkregen door de inverse piramidetransformatie te nemen. Hier zijn een aantal belangrijke voordelen van de piramidetransformatie: Het kan informatie geven over de scherpe- en contrastveranderingen, het menselijke visuele systeem is bijzonder gevoelig voor deze veranderingen. Het kan zowel ruimte- als frequentiedomeinlokalisatie bieden. Verschillende soorten van de piramidedecompositie worden gebruikt of ontwikkeld voor beeldfusie, zoals: Laplacian Pyramid Ratio-of-low-pass Pyramid Gradient Pyramid
Sindsdien krijgt beeldfusie steeds meer aandacht. Meer recentelijk, met de ontwikkeling van wavelet theorie, men begon de wavelet multiscale decomposition te gebruiken voor beeldfusie. Eigenlijk kan wavelettransformatie gezien worden als een bijzondere vorm van piramidedecomposities. Het behoudt de meeste voordelen voor beeldfusie.
2-D DWT De volgende afbeelding geeft de structuur aan van een 2d-signaal met drie level-decomposities. 200px|Piramide-hierarchie 2d dwt
Na een niveau van decompositie, zullen er vier frequentiebanden zijn, namelijk de Low-Low (LL), Low-High (LH), High-Low (HL) en de High-High (HH). Het volgende niveau decompositie is alleen van toepassing op de LL-band van de huidige decompositiefase, die een recursieve decompositieprocedure vormen. Zo zal een N-niveau decompositie 3n +1 verschillende frequentiebanden vormen, die 3N hoge frequentiebanden bevatten en slechts een LL-frequentieband. De 2-D DWT heeft een piramidale structuur zoals in de bovenstaande figuur. De frequentiebanden in hogere decompositie-niveaus zullen een kleiner formaat hebben.
De fusie van beelden is vaak nodig voor beelden die afkomstig zijn van verschillende modaliteiten, instrument of opnametechnieken van dezelfde scène of objecten. Belangrijke toepassingen van de fusie van beelden zijn onder medische beeldvorming, microscopische beeldvorming, remote sensing, computer vision, en robotica.
Fusietechnieken zijn er van de eenvoudigste methode van pixelgemiddelde tot meer gecompliceerde methoden, zoals Hoofdcomponentenanalyse en wavelet-transformatiefusie. Verschillende benaderingen van beeldfusie kunnen onderscheiden worden, afhankelijk of de beelden gefuseerd zijn in het ruimtelijke domein of ze worden omgezet in een ander domein en dan pas gefuseerd worden.
Verschillende fusiemethoden De volgende samenvatting gaat over verschillende manieren waarop de pixelniveau-fusie van ruimtelijke inputbeelden kan worden gedaan. De meeste van deze methoden zijn ontwikkeld voor de fusie van stilstaande beelden (zoals multispectrale satellietbeelden). Vanwege het statische karakter van de ingevoerde gegevens, worden tijdelijke aspecten die zich voordoen in het fusieproces van beeldsequenties, bv. stabiliteit en consistentie, niet aangepakt. Een generieke indeling van beeldfusiemethoden is de volgende: lineaire superpositie Niet-lineaire methoden optimalisatiebenaderingen artificial neural networks image pyramids wavelet-transformatie generic multiresolution fusion scheme
Lineaire superpositie De waarschijnlijk meest eenvoudige manier om een gefuseerd beeld van verschillende inputframes te bouwen is het uitvoeren van de fusie als een gewogen superpositie van alle inputframes. De optimale wegingscoëfficiënten, met betrekking tot informatie-inhoud en redundantieverwijdering, kan bepaald worden door een Hoofdcomponentenanalyse (PCA) van alle inputintensiteiten. Door het uitvoeren van PCA van de covariantiematrix van de inputintensiteiten zijn de aanpassingscoëfficiënten voor elke ingangsframe verkregen uit de eigenvector die overeenkomt met de grootste eigenwaarde. Een soortgelijke procedure is de lineaire combinatie van alle ingangen in een vooraf gekozen kleurruimte (bijvoorbeeld RGB of HSV), wat leidt tot een valse kleurweergave van het gefuseerde beeld.
Niet-lineaire methoden Een andere eenvoudige benadering van beeldfusie is om het gefuseerde beeld op te bouwen door het toepassen van een eenvoudige niet-lineaire operator, zoals max of min. Als in alle inputbeelden de heldere objecten van belang zijn, een goede keuze is dan om het gefuseerde beeld te berekenen door een pixel-per-pixeltoepassing van de maximale operator. Een uitbreiding van deze aanpak volgt door de invoering van morfologische operatoren zoals het openen of sluiten. Een toepassing is het gebruik van voorwaardelijke morfologische operatoren door de definitie van de functies zeer betrouwbare 'kern ' aanwezig zijn in beide beelden en een set van 'potentiële' functies alleen aanwezig in één bron, waar de feitelijke fusieproces wordt uitgevoerd door de toepassing van voorwaardelijke erosie- en dilatatieoperatoren. Een verdere uitbreiding van deze aanpak is image algebra, dat is een hoog niveau algebraïsche uitbreiding van beeldmorfologie, ontworpen om alle beeldverwerkingsoperaties te beschrijven. De basistypen omschreven in image algebra zijn value sets, coördinerende sets die toelaten de integratie van verschillende resoluties en vlakverdelingen, afbeeldingen en templates te maken. Voor elk basistype binaire en unaire operaties zijn er operaties gedefinieerd die reiken van de basisset-operaties tot meer complexe operaties op de afbeeldingen en templates. Image algebra wordt in het algemeen gebruikt om multisensor-beelden combineren.
Optimalisatiebenaderingen In deze benadering van beeldfusie, is de fusietaak uitgedrukt als een bayesiaans optimaliseringsprobleem. Met behulp van de multisensorbeeldgegevens en een a-priorimodel van het fusieresultaat, proberen we het gefuseerde beeld te vinden dat de a-posteriorikans maximaliseert. Door het feit dat dit probleem geen algemene oplossing heeft zijn een aantal vereenvoudigingen ingevoerd: Alle inputbeelden worden gemodelleerd als willekeurige markovvelden om een energiefunctie te definiëren die het fusiedoel beschrijft. Door de gelijkwaardigheid van willekeurige gibbsvelden en willekeurige markovvelden, kan deze energiefunctie worden uitgedrukt als een som van zogenaamde dique potentials, waar alleen pixels in een vooraf bepaalde wijk van invloed zijn op de werkelijke pixel. De fusietaak bestaat dan uit een maximalisering van de energiefunctie.
Kunstmatige neurale netwerken Geïnspireerd door de fusie van verschillende sensorsignalen in biologische systemen, hebben veel onderzoekers kunstmatige neurale netwerken in het proces van pixelniveaubeeldfusie gebruikt. Het meest populaire voorbeeld voor de fusie van verschillende beeldsensoren in biologische systemen werd beschreven door Newman en Hartline in de jaren 80: Ratelslangen (en de algemene familie van groefkopadders) beschikken over zogenaamde putorganen die gevoelig zijn aan thermische straling via een dicht netwerk van zenuwvezels. De output van deze putorganen wordt toegevoerd aan de optische tectum, waar het gecombineerd wordt met de zenuwsignalen verkregen uit de ogen. Newman en Hartline onderscheiden zes verschillende soorten bimodale neuronen die de twee signalen samenvoegen op basis van een complexe combinatie van onderdrukking en verbetering (versterking). Verschillende onderzoekers hebben dit fusieproces gemodelleerd.
Wavelet-transformatiefusie De meest voorkomende vorm van transformatiebeeldfusie is wavelet-transformatiefusie. Gemeenschappelijk met alle fusietechnieken voor het transformatiedomein, de getransformeerde beelden worden gecombineerd in het transformatiedomein met behulp van een bepaalde fusieregel, en dan terug omgezet naar het ruimtelijk domein om het resulterende gefuseerde beeld te geven. Wavelet-transformatie is gedefinieerd door de wavelet-transformaties ω van de twee geregistreerde inputbeelden en samen met de fusieregel Φ. Dan wordt de inverse wavelet-transformatie ω^-1 berekend, en het samengevoegde beeld I(x,y) is gereconstrueerd.
Dit proces wordt weergegeven in volgende figuur.
450px|Fusie afbeeldingen
In bovenstaand schema kunnen we zien dat de fusieregels een zeer belangrijke rol spelen tijdens het fusieproces. Hier zijn een aantal veelgebruikte fusieregels:
450px|Fusieregels
Bij het maken van elke wavelet-coëfficiënt voor het gefuseerde beeld moeten we bepalen welke bronafbeelding de coëfficiënten beter beschrijft. Deze informatie zal opgeslagen worden in de fusion decision map. De fusion decision map heeft dezelfde grootte als de oorspronkelijke afbeeldingen. Elke waarde is de index van de bronafbeelding die misschien meer informatief is over de overeenkomstige wavelet-coëfficiënt. Dus, we beslissen over iedere afzonderlijke coëfficiënt.
Er zijn twee veelgebruikte methoden. Een manier is de pixel-based fusieregel, hierbij gaan we enkel met de pixel rekening houden die we gaan fuseren. De ander manier is om niet alleen de overeenkomstige coëfficiënten in beraad te nemen, maar ook de aanliggende, bijvoorbeeld een 3x3 of een 5x5 window, zoals geïllustreerd in bovenstaande afbeelding. Deze methode wordt de window-based fusieregel genoemd. Deze methode behandelt het feit dat er meestal hoge correlatie tussen naburige pixels is. Er zijn methoden om de kwaliteit van de fusie te bepalen, één daarvan is kwantitatieve vergelijking.
Discrete-wavelettransformatie (DWT)-fusie