Als Kamerakalibrierung wird die Bestimmung der geometrischen Modellparameter einer Kamera oder ihrer radiometrischen (farblichen) Eigenschaften für technische und wissenschaftliche Anwendungen bezeichnet. Eine geometrisch kalibrierte Kamera eignet sich für die Messung geometrischer Informationen wie zum Beispiel der Bestimmung eines Geländemodells. Eine radiometrisch kalibrierte Kamera eignet sich für die Ableitung physikalischer Parameter des aufgenommenen Objekts wie zum Beispiel zur Klassifizierung landwirtschaftlicher Flächen aus einem Satellitenfoto. Damit unterscheidet sich die Kamerakalibrierung gegenüber dem eigentlichen Begriff der Kalibrierung, wo eine Abweichung in Bezug auf ein Normal bestimmt wird.
Radiometrische Kalibrierung mini|Einteilung des Lichts innerhalb des gesamten elektromagnetischen Spektrums
CCD-Sensoren sind weit über das Spektrum des (menschlich) sichtbaren Lichtes hinaus empfindlich im ultravioletten (zirka 100 bis 400 Nanometer) und im infraroten Bereich (ab 780 Nanometer). Die Photometrie untersucht die physikalischen Eigenschaften des sichtbaren Lichtes und in der Radiometrie wird dies auf die angrenzenden Bereiche erweitert. Bei der radiometrischen Kalibrierung geht es vor allem darum verschiedene Fehlereinflüsse einzelner Sensorelemente zu erkennen, um sie anschließend korrigieren zu können. Zusammenfassend kann man also sagen: die radiometrische Kamerakalibrierung dient der Bestimmung der radiometrischen (farblichen) Eigenschaften des Lichtsensors einer Kamera.
Bei einem CCD-Sensor können folgende Fehler auftreten: defekte Pixel (tote oder heiße Pixel), Dunkelstrom, ungleichmäßige Empfindlichkeit der Pixel, Randlichtabfall und Vignettierung. Diese Fehler lassen sich mit zwei einfachen Methoden bestimmen: Weißbild und Dunkelbild.
Weißbild Ein Weißbild (englisch: „flat field“) ist eine formatfüllende Aufnahme eines gleichmäßig ausgeleuchteten Objekts. In der Regel wird dafür eine Ulbricht-Kugel verwendet. Damit lassen sich die überlagerten Fehler aus toten Pixeln (englisch: „dead pixel“), ungleichmäßiger Empfindlichkeit der Pixel, Randlichtabfall und Vignettierung bestimmen.
Dunkelbild Ein Dunkelbild oder Dunkelstrombild (englisch: „dark current“) ist eine Aufnahme mit geschlossenem Objektiv oder in einem völlig dunklen Raum. Damit lassen sich die überlagerten Fehler aus heißen Pixeln (englisch: „hot pixel“) und Dunkelstrom bestimmen.
Korrektur Defekte Pixel können im Grunde ignoriert werden. Dies geschieht meist dadurch, dass im Dunkelbild der entsprechende Pixel mit einem festen Wert überschrieben wird. Dabei ist zu beachten, dass der Wert außerhalb des Grauwertintervalls liegt, jedoch innerhalb des Wertebereiches des Datentyps der Variable. Zum Beispiel hat ein 8-Bit-Bild 2 hoch 8 (also 256) Farbwerte im Intervall [0; 255]. Gespeichert wird dies meistens als 16-Bit integer-Variable im Wertebereich [−32.768; 32.767]. Defekte Pixel können so zum Beispiel im Dunkelbild mit dem Wert −32.768 überschrieben werden. Und weil der kleinste Farbwert bei einer Farbtiefe von 8-Bit nur 0 sein kann, sticht der defekt markierte Pixel deutlich hervor. Gegebenenfalls muss der Wertebereich erweitert werden. Alternativ können defekte Pixel in einem extra Bild gespeichert werden.
Danach wird vom Rohbild das Dunkelbild subtrahiert und anschließend durch das Weißbild dividiert (Weißbild- oder Flat-Field-Korrektur) und mit dem Mittelwert des Weißbilds multipliziert.
Geometrische Kalibrierung Um aus Bildern zuverlässige und genaue geometrische Informationen ableiten zu können, ist es notwendig eine Kamera genau zu kalibrieren und damit die innere und äußere Orientierung zu bestimmen. Eine Kamera gilt dann als kalibriert, wenn die Kamerakonstante, die Lage des Hauptpunkts und die Verzeichnung bekannt sind. Je nach Genauigkeitsanforderungen und Art der Kamera (Messkamera beziehungsweise (Messbildkamera) oder nicht) sind entweder alle oder nur einige Parameter relevant.
Aufgrund der unterschiedlichen Historie unterscheiden sich die Art und Weise, wie Kameras normalerweise kalibriert werden – und teilweise auch die Bedeutung der Begriffe – zwischen den Fachgebieten Computer Vision und Photogrammetrie deutlich. So wird im Computer Vision mit Kamerakalibrierung auch die Bestimmung der äußeren Orientierung (der extrinsischen Parameter) gemeint. Außerdem wird in Computer Vision oftmals (fälschlicherweise) die Brennweite mit der Kamerakonstanten (entspricht der Bildweite) gleichgesetzt, was selbst in den besten Fachbüchern (zum Beispiel „Multiple View Geometry“ von Hartley und Zisserman) so gemacht wird.Die mathematische Funktion bleibt von diesem Irrtum zum Glück unberührt, weil derselbe geometrische Abstand gemeint ist. Denn es ist nicht relevant, wie eine Variable benannt wird, sondern lediglich, dass der funktionale Zusammenhang mathematisch korrekt ausgedrückt wird.
Darüber hinaus wird in der Photogrammetrie meist mittels Bündelausgleichung gearbeitet. Diese universelle Methode verwendet als Abbildungsgleichung die Kollinearitätsgleichung und benutzt eine kleinste Quadrate Ausgleichung. Zur Lösung benötigt man Startwerte und findet die Lösung schließlich mittels geeignetem Iterationsverfahren. Daher ist es sehr rechenintensiv, was oft als Nachteil gesehen wird. Der Vorteil der Ausgleichung nach der Methode der kleinsten Quadrate ist, dass neben dem funktionalen Modell gleichzeitig ein stochastisches Modell mitgeschätzt wird und man aufgrund des Fehlerfortpflanzungsgesetz folgern kann, dass dabei die beste Präzision erzielt wird. Das heißt, das Ergebnis ist optimal in dem Sinne, dass die genauesten Ergebnisse geschätzt werden (bester erwartungstreuer Schätzer).
Im Gegensatz dazu verwendet man im Computer Vision meist ein lineares projektives Abbildungsmodell (siehe Projektionsmatrix), welches mittels Singulärwertzerlegung direkt lösbar ist. Damit werden zunächst Näherungswerte ermittelt, die als Startwerte für eine anschließende nichtlineare Optimierung genutzt werden. Als Optimierungsverfahren werden meistens die Gauß-Newton-Iteration oder die Levenberg-Marquardt-Iteration eingesetzt.
Obwohl beide Fachgebiete auf eine der genannten Optimierungsverfahren zurückgreifen, unterscheiden sie sich jedoch in den verwendeten Formeln zur Beschreibung der Abbildung. Alle aufgeführten Tatsachen machen es notwendig, die Kamerakalibrierung zwischen Computer Vision und Photogrammetrie zu trennen, obwohl sie im Grunde dem gleichen Zweck dienen.
Gemeinsamkeiten bei der Kalibrierung in Computer Vision und Photogrammetrie mini|Abbildungsmodell einer realen Kamera
Modell einer realen Kamera Eine reale Kamera weicht gegenüber dem Lochkameramodell in vielerlei Hinsicht ab. Das Objektiv besteht aus einer Anzahl an verschiedenen Linsen und einer Blende. Das objektseitige Bild der Blende ist die Eintrittspupille (EP) und das bildseitige Bild der Blende ist die Austrittspupille (AP). Ihre jeweiligen Mittelpunkte (auf der optischen Achse) sind das objektseitige Projektionszentrum und das bildseitige Projektionszentrum . Die optische Achse des Objektivs steht in der Regel nicht exakt senkrecht auf der Bildebene und ergibt als Schnittpunkt den Symmetriepunkt der Verzeichnung . Die senkrechte Projektion von in die Bildebene ergibt den Hauptpunkt und dieser Abstand ist die Kamerakonstante . Ein Objektpunkt hat mit der Aufnahmeachse den Winkel (tau) und dessen abgebildeter Punkt den Winkel . Die beiden Winkel und sind in der Regel nicht gleich, was durch Abbildungsverzerrungen vom Objektiv verursacht wird (Verzeichnung). Die Menge aller Strahlen, welche – von einem Objektpunkt kommend – durch die Blende des Objektivs durchgelassen werden, nennt man Strahlenkegel. Der representative Strahl, welcher durchs Projektionszentrum geht, wird als Hauptstrahl bezeichnet.
mini|Stellung der Blende verursacht kissenförmige Verzeichnung (oben), tonnenförmige Verzeichnung (Mitte), keine Verzeichnung (unten).
Man unterscheidet zunächst verschiedene Arten der Verzeichnung: radial-symmetrische Verzeichnung sowie radial-asymmetrische und tangentiale Verzeichnung. Diese Verzeichnungsarten lassen sich bestimmten physikalischen Ursachen zuordnen. Die radial-symmetrische Verzeichnung tritt am häufigsten auf. Sie ist abhängig von der Position der Blende und von der Bauweise des Objektivs. Weitwinkelobjektive haben – von der Seite betrachtet – einen unsymmetrischen Aufbau, da zum Objektraum große Sammellinsen benötigt werden, um viel Licht aus einem breiten Sichtfeld einzufangen. Dies führt in der Regel zur tonnenförmigen Verzeichnung und bei besonders ausgeprägter Verzeichnung spricht man auch von Fischaugenobjektiven.
Des Weiteren gibt es radial-asymmetrische Verzeichnung und tangentiale Verzeichnung. Deren Ursache ist meist eine Dezentrierung oder Schiefstellung einzelner Linsen. Dies wird manchmal auch als Prisma-Effekt bezeichnet, weil es zu einem Versatz des Bildinhaltes in eine Richtung führt. Beide Verzeichnungsarten werden oft zusammen korrigiert.
Darüber hinaus gibt es phänomenologische beziehungsweise deskriptive (beschreibende) Modelle, welche nicht die physikalischen Ursachen versuchen zu modellieren, sondern versuchen die im Bild sichtbaren Auswirkungen (Phänomene) mathematisch zu beschreiben. Dabei kommen unter anderem allgemeine ganzrationale Funktionen oder Brüche solcher Funktionen zum Einsatz (rationale Funktionen).
Kamerakalibrierung in Computer Vision mini|Kalibrierfeld aus drei Ebenen mit einem Schachbrettmuster mini|Verschiedene Ansichten eines Schachbretts zur Kamerakalibrierung
Eine der am häufigsten angewendeten Kalibrierverfahren ist die Kalibrierung nach TsaiRoger Y. Tsai, "A Versatile Camera Calibration for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses'", IEEE Journal of Robotics and Automation, Vol. RA-3, No.4, August, 1987 (englisch). Dabei wird ein Schachbrettmuster aus unterschiedlichen Perspektiven fotografiert. Alternativ kann auch ein Kalibrierfeld aus drei Ebenen mit einem Schachbrettmuster verwendet werden. In Anwendungsfällen, in denen Robustheit gegenüber partiellen Verdeckungen benötigt wird, wird das Schachbrettmuster um lokale Codes ergänzt. Beispiele hierfür sind ChArUco-MusterOpenCV. https://docs.opencv.org/3.4/df/d4a/tutorial_charuco_detection.html. und PuzzleBoard-MusterP. Stelldinger et al. "PuzzleBoard: A New Camera Calibration Pattern with Position Encoding." German Conference on Pattern Recognition. (2024). https://users.informatik.haw-hamburg.de/~stelldinger/pub/PuzzleBoard/. (2024)..
Kamerakalibrierung nach Tsai Tsai hat ursprünglich ein ebenes Kalibriermuster mit schwarzen Quadraten mit konstantem Abstand auf weißem Grund verwendet. Die Eckpunkte wurden im Bild mit einem Eckpunktdetektor automatisch bestimmt. Die Größe der Quadrate und deren Abstände auf dem Kalibriermuster waren genau bekannt. Um nun die innere Orientierung zu bestimmen, ist ein mehrstufiges Verfahren notwendig. Tsai hat damals eine zweistufige Gesamtstrategie vorgestellt, wobei die erste Stufe noch in eine vierstufige Transformation unterteilt war.Roger Y. Tsai, "A Versatile Camera Calibration for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses'", IEEE Journal of Robotics and Automation, Vol. RA-3, No.4, August, 1987 (englisch) Aus einer heutigen Sichtweise lassen sich einige der Transformationen jedoch im modernen Standardmodell des Computer Vision zusammenfassen, so dass man es eigentlich nur mit zwei Stufen zu tun hat.