Das Data Processing & Analysis Consortium (DPAC) ist ein Team von ca. 450 Wissenschaftlern, Ingenieuren und Softwareentwicklern zahlreicher Institute und Nationen in Voll- und Teilzeit, die seit 2006 mit der Vorbereitung und Auswertung der wissenschaftlichen Daten der Gaia-Mission beschäftigt sind. Eine Hauptaufgabe ist die Erstellung und Veröffentlichung der Gaia-Kataloge.
Anders als bei vielen anderen Missionen sind die Rohdaten von Gaia ohne weitere Behandlung nicht nutzbar. Die ESA musste zusammen mit DPAC neue Software entwickeln, damit die gewonnenen Daten am Boden effizient verarbeitet, archiviert und für die Nutzung aufbereitet werden können.
Die Daten von den drei 35-Meter-Antennen des ESTRACK-Netzwerks in New Norcia, Cebreros und Malargüe werden vom Europäischen Raumflugkontrollzentrum ESOC in Darmstadt gebündelt, zum wissenschaftlichen Zentrum (Science Operations Centre, SOC) im ESAC weitergeleitet und dort gespeichert. Das Zentrum von DPAC mit der zentralen Datenbank aller Daten befindet sich in Villafranca del Castillo in der Nähe von Madrid in Spanien und wird von der ESA bereitgestellt und unterhalten. Eine weitere Datensicherung für alle Daten besteht räumlich weit getrennt im CNES-Datenzentrum in Toulouse.
Das DPAC ist in sechs Datenzentren und neun Coordination Units (CUs) organisiert. Die Kosten für DPAC für die Weiterverarbeitung der Daten werden dabei aus nationalen Budgets bzw. von den Budgets der beteiligten Institute getragen, nicht von der ESA.
Im November 2022 wurde bekanntgegeben, dass DPAC den New York Community Trust Prize for Meritorious Work in Astronomy (der Berkeley-Preis, benannt nach Lancelot M. Berkeley) 2023 von der American Astronomical Society erhalten soll. Der Berkeley-Preis soll von Anthony Brown (Sternwarte Leiden), dem Vorsitzenden von DPAC, entgegengenommen werden. Der Preisvortrag soll am 12. Januar 2023 im Seattle Convention Center gehalten werden. Zur Begründung wird ein Artikel in A&A genannt.
Beteiligte Länder und Institutionen DPAC ist ein hauptsächlich, aber nicht ausschließlich europäisches Projekt, das von 21 Nationen und zwei internationalen Institutionen unterstützt wird. Unterstützt wird das Projekt finanziell durch die Institutionen, die am Gaia Multi Lateral Agreement (MLA) teilnehmen. Weitere Unterstützung erfährt das Projekt durch Wissenschaftler anderer Länder, die über Austauschprojekte und Stipendien ihrer Länder teilnehmen. Die Liste der beteiligten Institute ist veränderlich, entsprechend den anfallenden Aufgaben.
Liste der Institute, die an DPAC beteiligt sind Land/Agentur Institut Österreich Universität Wien Belgien Institut d’Astronomie et d’AstrophysiqueInstitut d’Astrophysique et de Geophysique, Université de LiègeKatholieke Universiteit LeuvenKönigliche Sternwarte von BelgienUniversität Antwerpen Brasilien GEA-Observatório Nacional/MCT & Observatório do Valongo/UFRJUniversidade de Sao Paulo Tschechische Republik Akademie der Wissenschaften der Tschechischen Republik Dänemark Niels-Bohr-Institut (NBI), KopenhagenUniversität Aarhus ESA Europäisches Weltraumastronomiezentrum (ESAC), Villafranca ESO Europäische Südsternwarte (ESO), Garching Estland Tartu Observatoorium Finnland Universität Helsinki Frankreich Observatoire de BesançonObservatoire de BordeauxCentre national d’études spatiales (CNES)IN2P3/CNRSInstitut d’Astrophysique de ParisInstitut de mécanique céleste et de calcul des éphémérides (IMCCE)Laboratoire d’Astrophysique de MarseilleLaboratoire Univers et Particules de MontpellierObservatoire de la Côte d’AzurPariser ObservatoriumObservatoire de StrasbourgUniversität Nizza Sophia-Antipolis Deutschland Astronomisches Rechen-Institut (ARI), HeidelbergDeutsches Zentrum für Luft- und Raumfahrt (DLR)Leibniz-Institut für Astrophysik Potsdam (AIP)Max-Planck-Institut für AstronomieTechnische Universität DresdenZARM Griechenland Nationale und Kapodistrias-Universität AthenNationales Observatorium AthenNationale Technische Universität Athen Ungarn Konkoly-Observatorium Israel Wise Observatory (Universität Tel Aviv) Italien AltecSpace Science Data Center (SSDC) betrieben von ASIOsservatorio Astronomico di BolognaOsservatorio Astronomico di CapodimonteOsservatorio Astrofisico di CataniaOsservatorio Astronomico di PadovaOsservatorio Astronomico di RomaOsservatorio Astronomico di Collurania-TeramoOsservatorio Astronomico di TorinoPolitecnico di TorinoSISSA Niederlande Reichsuniversität GroningenUniversität LeidenRadboud-Universität Nijmegen Portugal Universität LissabonInstituto de Desenvolvimento de Novas Tecnologias (UNINOVA)Instituto Nacional Engenharia, Tecnologia, InovaçãoSternwarte LissabonUniversität Porto Slowenien Universität Ljubljana, Fakultät für Mathematik und Physik Spanien Barcelona Supercomputing Center (BSC)CSUCFindación Galileo Galilei – Fundación CanariaGMVLaboratorio de Astrofísica Espacial y Física Fundamental (LAEFF) – jetzt CAB ESACUniversität Barcelona – Facultat FísicaUniversität A CoruñaUniversität OviedoUniversidad Nacional de Educación a Distancia (UNED)Universität Pablo de Olavide Schweden Observatorium LundAstronomisches Observatorium Uppsala Schweiz Universität Genf (Abteilung Astronomie)Sternwarte Genf Vereinigtes Königreich Brunel UniversityMullard Space Science Laboratory (MSSL)The Open UniversityRoyal Observatory EdinburghRutherford Appleton LaboratoryUniversity of BristolUniversity of Cambridge (Institut für Astronomie)University of Central LancashireUniversity of LeicesterUniversity of Liverpool Vereinigte Staaten Villanova University
Standorte Die Aufbereitung der Daten geschieht an sechs Datenverarbeitungszentren (Data processing Centres, DPC) in Villafranca, Barcelona, Cambridge, Genf, Turin und Toulouse. Die einzelnen Standorte haben ihre eigene Finanzierung und entwickeln jeweils ihren eigenen Weg zur Erfüllung ihrer Aufgaben und rekrutieren das nötige Personal; sie entscheiden selbst, welche Mittel und Technik sie dazu einsetzen und testen sie vor dem Einsatz mit simulierten Daten. Jede Arbeitsgruppe (Coordination Unit oder CU) ist einem oder mehreren Standorten zugeordnet, während die beteiligten Wissenschaftler auch an anderen Instituten und an weit verstreuten Orten arbeiten können. Die sechs Standorte sind untereinander mindestens mit 1-Gbit/s-Datenleitungen vernetzt, deren Kapazität erweiterbar ist, falls in Zukunft mehr Bandbreite benötigt wird. Alle Rohdaten, Zwischenergebnisse und Endresultate der jeweiligen Prozesse werden im Data Processing Centre at ESAC (DPCE) in Villafranca gespeichert und können von den Arbeitsgruppen wieder für die nächsten Schritte abgerufen werden.
Die Datenverarbeitungszentren befinden sich unter dem Dach bestehender Institutionen und haben eigene Namen. Jedes dieser Datenzentren betreibt entweder eigene Datenverarbeitungssysteme, greift auf die Systeme der beteiligten Institute zurück oder vergibt die Aufgaben extern an entsprechende Supercomputer oder Serviceprovider.
DPCE Villafranca Das Data Processing Centre at ESAC (DPCE) ist Teil des wissenschaftlichen Missionzentrums (Science Operations Centre, SOC) im ESAC in Villafranca. Das Datenzentrum betreibt die Software der CU1 mit den Aufgaben Raw Data Base, Main Data Base (Hauptdatenbank, MDB), Mission Operations Centre Interface Task (MIT), Decompression and Calibration Service (DCS), Payload Operations System (POS) und Gaia Transfer System (GTS), ein Internet basiertes System zum Datenaustausch zwischen den Datenzentren. Für die CU3 betreibt DPCE die Module Initial Data Treatment (IDT), First Look (FL) und Astrometric Global Iterative Solution (AGIS). Zu den eigenen Aufgaben gehören die IDT/FL Database (IDTFLDB), die Daily PipeLine (DPL) und das Gaia Observing Schedule Tool (GOST). DPCE dient außerdem als Bindeglied zwischen dem Missionszentrum (MOC) in Darmstadt und den anderen Datenzentren.
Die Hauptdatenbank umfasste mit dem Stand von Gaia DR2 knapp 2,5 Milliarden Objekte, davon wurden mit Gaia EDR3 bzw. DR3 Daten von 1,8 Milliarden Objekten veröffentlicht. DPCE beherbergt die Server für die Gaia-Kataloge und das Gaia-Archiv weit über die aktive Zeit der Gaia-Mission hinaus.
DPCB Barcelona Das Data Processing Centre of Barcelona (DPCB) ist eingebunden in die DPAC-Gruppe der Universität Barcelona (UB) zusammen mit dem Institute for Space Studies of Catalonia (IEEC), dem Barcelona Supercomputing Centre (BSC) und dem Consorci de Serveis Universitaris de Catalunya (CSUC) in Barcelona. Die Hardware wird vom BSC bereitgestellt, während das Team von UB und IEEC für Management, Betrieb, Entwicklung und Softwaretest verantwortlich ist. Für die CU1 betreibt das DPCB das Modul Gaia Transfer System (GTS) zum Austausch mit dem DPCE, für die CU3 das Intermediate Data Updating (IDU) und für die CU2 Datensimulationen zur Sondentelemetrie und für die Gaiakataloge. Außerdem dient es als Backup für die Hauptdatenbank und für die Telemetriedaten. Für diese Aufgaben nutzt das BSC intensiv den MareNostrum-Supercomputer, der 2017 mit 3000 Rechenknoten und 100,8 TB Hauptspeicher ausgestattet eine Rechenleistung von 1,1 Petaflops erreichte. Für Gaia DR2 wurden 389.245 Prozessorstunden benötigt; in dieser Zahl sind nur die erfolgreichen Durchgänge gezählt. Mit dem Modul IDU wird die Basis geschaffen für die nächsten Schritte AGIS und PhotPipe. Das Modul IDU wird einmal am Ende jedes Datensegments durchgeführt, dabei werden die Daten von vielen Monaten Beobachtungszeit gemeinsam ausgewertet und Kalibrierungsdaten, beispielsweise zur Hintergrundhelligkeit, berücksichtigt.
DPCC Toulouse Das Data Processing Centre at CNES (DPCC) befindet sich am CNES in Toulouse. Das CNES-Datenzentrum in Toulouse speichert einen kompletten Datensatz aller Gaia-Daten als Sicherheitskopie an einem anderen Ort, während die Hauptdatenbank in Villafranca vorgehalten wird. Das DPCC verarbeitet die Daten von CU4 mit den Sonnensystemobjekten und Mehrfachsternsystemen, von CU6 mit der Verarbeitung der spektroskopischen Daten und von CU8 mit der Bestimmung der Spektralklassen der Objekte. In Touluse beschäftigt man sich mit einigen Objektklassen: Doppel- und Mehrfachsterne, Sponnensystemobjekte, ausgedehnte Objekte wie Quasare und nicht aufgelöste Galaxien, im Allgemeinen Objekte, die sich nicht mit den üblichen astrometrischen, photometrischen und spektroskopischen Verfahren automatisiert verarbeiten lassen. Es gibt dafür acht verschiedene tägliche und wiederkehrende Prozesse. DPCC entdeckt neue Sonnensystemobjekte und gibt die Alarmmeldungen an das Gaia follow-up Network for Solar-System Objects, (FUN-SSO), also an das Netzwerk zur Nachverfolgung von Sonnensystemobjekten.
Die Verarbeitung der spektroskopischen Daten wertet die Ergebnisse des RVS aus. Zu den Aufgaben gehört die Überwachung, ob das Instrument korrekt funktioniert und entsprechend kalibriert ist, Berechnung der Radialgeschwindigkeit und der Rotationsgeschwindigkeit, Erkennung von variablen Sterne, Doppel- und Mehrfachsternen, gibt saubere und kalibrierte Spektren heraus. Der Prozess Astrophysical-Parameter Processing Chain (Apsis) kümmert sich um Kalibrierungsdaten und klassifiziert Gaia-Objekte.
Die Datenverarbeitung arbeitete für Gaia DR2 mit 172 Rechenknoten mit 3500 Prozessorkernen und 19 TB Hauptspeicher sowie 2,6 PB Datenspeicher. Die Rechenkapazitäten müssen zusammen mit den Aufgaben und Datenmengen erweitert werden. Am Schluss wird der Cluster ungefähr 5800 Prozessorkerne und 4.5 PB Datenspeicher benötigen. Die Backup-Lösung für die Hauptdatenbank basiert auf einem temporären Plattenspeicher mit 64 TB und einem Roboter für Bandspeicher.
DPCI Cambridge