Bildregistrierung

mini|250px|PET/CT: links CT, Mitte PET, rechts Resultat einer Registrierung (mit Falschfarbendarstellung)

Bildregistrierung ist ein wichtiger Prozess in der digitalen Bildverarbeitung und dient dazu, zwei oder mehrere Bilder derselben Szene, oder zumindest ähnlicher Szenen, bestmöglich in Übereinstimmung miteinander zu bringen. Dabei wird eines der Bilder als Referenzbild festgelegt, die anderen werden Objektbilder genannt. Um diese optimal an das Referenzbild anzupassen, wird eine ausgleichende Transformation berechnet. Die zu registrierenden Bilder unterscheiden sich voneinander, weil sie von unterschiedlichen Positionen, zu unterschiedlichen Zeitpunkten oder mit unterschiedlichen Sensoren aufgenommen wurden.

Bildregistrierungsverfahren sind vor allem in der medizinischen Bildverarbeitung häufig. Die mit verschiedenen bildgebenden Verfahren (Modalitäten) aufgenommenen Bilder werden aneinander angeglichen, um aus ihrer Kombination bessere Erkenntnisse zu gewinnen. Werden z. B. MRT-Bilder, die Weichteilgewebe oder Gehirnstrukturen gut darstellen, mit PET-Bildern überlagert, die bestimmte Stoffwechselprozesse sichtbar machen, kann man nachvollziehen, in welchen Gehirnbereichen bestimmte Stoffwechselprozesse stattfinden. Die Überlagerung wird auch als Bildfusion bezeichnet.

Ein weiteres Anwendungsbeispiel ist das Zusammenfügen mehrerer Satellitenbilder zu einer großen Karte. Da die Erdoberfläche gekrümmt ist und sich die Position des Satelliten von Bild zu Bild ändert, kommt es innerhalb der Bilder zu kleinen Verzerrungen, die mit Registrierungsverfahren aneinander angeglichen werden können – siehe auch Bildkorrelation.

Das Ziel der Bildregistrierung ist, jene Transformation T zu finden, die ein gegebenes Quellbild (Objektbild) F bestmöglich mit einem Zielbild (Referenzbild) G in Übereinstimmung bringt. Dazu wird ein Maß D für die Gleichheit oder die Ungleichheit der Bilder charakterisiert. Bildregistrierung ist also ein Optimierungsproblem, bei dem D(T(F), G) zu minimieren ist (falls D die Ungleichheit misst) bzw. zu maximieren (falls D die Gleichheit misst).

Überblick

Wie oben ersichtlich, kann die Anwendung der Bildregistrierung in folgende Bereiche aufgeteilt werden: Verschiedene Kamerapositionen: Die zu registrierenden Bilder zeigen dasselbe Objekt bzw. dieselbe Szene, wurden aber von verschiedenen Kamerapositionen aufgenommen (siehe Parallaxe). Die Registrierung kann dann genutzt werden, um ein größeres zweidimensionales Sichtfeld zu erhalten oder auch zur 3D-Rekonstruktion. Verschiedene Zeitpunkte: Die zu registrierenden Bilder zeigen dasselbe Objekt bzw. dieselbe Szene, aber zu unterschiedlichen Zeitpunkten. Mittels Registrierung sind nun Veränderungen, die über die Zeit entstanden sind, feststellbar (Zeitreihenanalyse). Verschiedene Sensoren: Die zu registrierenden Bilder enthalten dasselbe Objekt bzw. dieselbe Szene, wurden aber mit verschiedenen Sensoren aufgenommen, d. h. mit verschiedenen Kameras oder verschiedenen bildgebenden Verfahren. Das Ziel der Bildregistrierung ist hier, mehr und detailliertere Informationen aus den Bildern zu gewinnen. Szene-zu-Modell-Registrierung: Ein oder mehrere Bilder eines Objektes bzw. einer Szene werden mit einem Modell des Objektes bzw. der Szene registriert. Die registrierten Bilder können dann mit dem gegebenen Modell verglichen werden.

Wegen der weitgefächerten Anwendungsmöglichkeiten und verschiedenartigen Bilder gibt es kein Registrierungsverfahren, das universell einsetzbar ist. Vielmehr werden Registrierungsverfahren speziell für verschiedene Anwendungen entwickelt, für die sie dann optimal funktionieren. Trotzdem lassen sich die meisten Registrierungsverfahren in folgende vier Hauptschritte unterteilen: Merkmalsextraktion: Aus den zu registrierenden Bildern werden Merkmale, wie z. B. Ecken, Kanten, Konturen oder Ähnliches manuell oder automatisch detektiert. Merkmalsanpassung: Die Korrespondenz der extrahierten Merkmalspunkte wird hergestellt. Transformationsberechnung: Es wird ein geeigneter Transformationstyp, z. B. affin, projektiv oder Ähnliches, gewählt und die Transformationsparameter berechnet. Transformation: Das Objektbild wird mit der im vorherigen Schritt berechneten Umbildung transformiert. Hierbei kommen auch Interpolationstechniken zum Einsatz.

Merkmalsextraktion

Registrierungsverfahren lassen sich in zwei Kategorien einordnen, die merkmalsbasierten und die flächenbasierten Verfahren. Bei den flächenbasierten Verfahren wird die Registrierung direkt mit den Intensitätswerten durchgeführt, es müssen keine Merkmale extrahiert werden. Der Schritt der Merkmalsextraktion fällt bei diesen Verfahren also weg.

Die zweite Kategorie sind die merkmalsbasierten Verfahren, bei denen aus den Bildern eine bestimmte, in der Regel relativ kleine, Anzahl von Merkmalen extrahiert wird. Dies geschieht entweder manuell oder automatisch. Bei der manuellen Merkmalsextraktion werden von einer Person in den Bildern signifikante Punkte markiert. Bei automatischen Verfahren wird in den Bildern nach markanten und vor allem in allen Bildern auffindbaren Merkmalen gesucht. Die gewählten Merkmale sollten dabei möglichst über das gesamte Bild verteilt liegen und sich nicht auf bestimmte Regionen konzentrieren. Die Registrierung erfolgt dann dadurch, dass die gewählten Merkmale in Übereinstimmung gebracht werden. Im Folgenden werden die einzelnen Merkmalsgruppen näher erläutert: Regionen: Als Regionenmerkmale eignen sich Flächen im Bild, die sich von den sie umgebenden Flächen deutlich abheben. Dies können in Satellitenbildern z. B. Seen sein. Regionen werden meist durch ihren Schwerpunkt repräsentiert und können durch Segmentierungsverfahren detektiert werden. Linien: Linien oder Kanten können im Bild als Konturen von Regionen oder eben als Linien selbst vorhanden sein. Sie können durch die Paare ihrer Endpunkte oder ihren Mittelpunkt repräsentiert und mittels Kantendetektion extrahiert werden. Punkte: Punkte können im Bild als Schnittpunkte von Linien oder Ecken von Konturen gegeben sein. Sie können durch Eckendetektoren extrahiert werden.

Der Vorteil der merkmalsbasierten Verfahren gegenüber den flächenbasierten ist einerseits der in der Regel geringere Rechenaufwand bei der Merkmalsanpassung, da die Anzahl der Merkmale nicht allzu groß gewählt wird und andererseits die geringere Rauschanfälligkeit, da die Registrierung nicht direkt mit den Intensitätswerten durchgeführt wird. Der Nachteil aber ist eben die Merkmalsextraktion selbst, die einen zusätzlichen Verarbeitungsschritt darstellt. Oft ist es bei der automatischen Merkmalsextraktion nicht einfach, Merkmale zu wählen, die in allen Bildern gut wieder zu finden sind, oder aber die Anzahl der Merkmale möglichst klein zu halten. Deshalb sollten merkmalsbasierte Verfahren nur gewählt werden, wenn zu erwarten ist, dass in allen Bildern wenige gleichmäßig über das Bild verteilte und gut zu extrahierende Merkmale vorhanden sind.

Merkmalsanpassung Flächenbasierte Verfahren

Bei den flächenbasierten Verfahren wird der Schritt der Merkmalsextraktion mit dem der Merkmalsanpassung vermischt, da hier ja in gewissem Sinne jeder Bildpunkt ein Merkmalspunkt ist. Die Herstellung der Korrespondenz zwischen dem Objektbild und dem Referenzbild kann durch Fenster bestimmter Größe erfolgen, so dass die Korrespondenz Fenster für Fenster hergestellt wird. Es kann aber auch das gesamte Bild verwendet werden. Für die Registrierung wird dann entweder eine Funktion, die die Verschiedenheit des Objektbildes und des Referenzbildes, oder eine Funktion, die die Übereinstimmung des Objektbildes mit dem Referenzbild angibt, verwendet. Diese Funktion muss dann entsprechend minimiert bzw. maximiert werden.

Korrelations-Methoden

Ein weitverbreiteter Ansatz bei flächenbasierten Verfahren ist die Kreuzkorrelationsfunktion. Diese wird gewöhnlich beim Template-Matching oder in der Mustererkennung genutzt. Seien f und g zwei Bildausschnitte gleicher Dimension aus dem Objekt- bzw. Referenzbild. Mit Hilfe der normalisierten Kreuzkorrelationsfunktion

wird ein Wert berechnet, der im Bereich [0..1] liegt und die Ähnlichkeit von f und g repräsentiert. Je höher der Wert ist, desto ähnlicher sind die Bildausschnitte. Dieses Ähnlichkeitsmaß wird nun für Bildausschnittspaare vom Objekt- und Referenzbild berechnet. Die Bildausschnitte mit dem höchsten Wert werden dann als die korrespondierenden festgelegt. Diese Methode funktioniert nur, wenn der Unterschied zwischen dem Objektbild und dem Referenzbild aus Translationen besteht. Bei Rotation, Skalierung oder anderen Verformungen scheitert das Verfahren in dieser Form.

Fourier-Methoden

Falls die Bilder mit frequenzabhängigem Rauschen behaftet sind, bieten die Fourier-Methoden eine bessere Lösung als die Korrelations-Methoden. Außerdem lässt sich die Berechnungszeit gegenüber den Korrelations-Methoden reduzieren. Translation, Rotation und Skalierung haben ihr entsprechendes Gegenstück im Frequenzraum, sind somit also durch diese Methoden realisierbar. Die Berechnung der Fourier-Koeffizienten eines Bildes lässt sich effizient realisieren, entweder durch Implementierung in Hardware oder durch Nutzen der schnellen Fourier-Transformation (FFT).

Eine Möglichkeit, zwei Bilder, die sich lediglich durch eine Translation voneinander unterscheiden, zu registrieren, bietet die Phasenkorrelation. Die Phasenkorrelation beruht auf dem Shift-Theorem.

Seien zwei Bilder f und g gegeben, die sich durch eine Translation (u, v) unterscheiden, d. h. es gilt f(x, y) = g(x+u, y+v). Dann hängen deren Fouriertransformationen wie folgt voneinander ab:

.

Die Fouriertransformation der Bilder f und g unterscheidet sich also nur durch eine Phasenverschiebung, die direkt mit der Translation in Verbindung steht. Mittels des Kreuzleistungsspektrums der Bilder f und g

kann man die Phasenverschiebung berechnen. Dazu sucht man nach dem Maximum in der inversen Fouriertransformation des Kreuzleistungsspektrums. Die Position des Maximums liefert dann die Translationsparameter.

Auf der Transinformation basierende Methoden

Methoden, die die Transinformation der Bilder nutzen, zeigen vor allem bei Bildern gute Ergebnisse, bei denen die Intensitätswerte stark variieren. Diese Variation tritt z. B. bei Bildern auf, die mit unterschiedlichen Sensoren, wie beispielsweise MRT und CT, aufgenommen wurden.

Wichtig für die Erklärung der wechselseitigen Information ist die Entropie

,

wobei X eine Zufallsvariable ist, x ist ein diskreter Wert der Zufallsvariablen X und p ist eine Wahrscheinlichkeitsdichte. Im Fall der Bildregistrierung liegt es nahe, dass die Zufallsvariable X die Intensitätswerte eines Bildes darstellt. Die Entropie ist dann ein Maß für die Unordnung eines Bildes. Sind alle Intensitätswerte eines Bildes gleich wahrscheinlich, dann ist die Entropie am größten. Enthält das Bild nur einen einzigen Intensitätswert, so ist die Entropie null. Bei der Bildregistrierung benötigt man aber die gemeinsame Entropie zweier Zufallsvariablen X und Y

,

da ja mindestens zwei Bilder miteinander verglichen werden müssen. Wenn dieses Maß minimal ist, dann sind die Bilder in bestmöglicher Übereinstimmung. Aber die gemeinsame Entropie sinkt nicht nur, wenn die Bilder besser aneinander angepasst werden, sondern auch, wenn die Entropie eines der Bilder sinkt. Daher sollte ein Maß für die Übereinstimmung auch die Entropien der einzelnen Bilder berücksichtigen. Die Transinformation

,

mini|450px|Darstellung der Entropie (links), gemeinsamen Entropie (Mitte) und der Transinformation (rechts) als Venn-Diagramme.