Die Multimedia-Technologien beschäftigen sich mit den technischen Grundlagen aller multimedialen Anwendungen. Dieser Artikel befasst sich zum einen mit den hardwaretechnischen Grundbausteinen sowie mit den Grundlagen der computergestützten Grafik- und Audiotechnik. Der steigende Bedarf an neuen, verbesserten Verfahren und Systemen treibt die Entwicklungen im Bereich der Multimedia stark an. Dabei prägt die Gesellschaft nicht nur den Bedarf, sondern die Multimedia-Technologien führten selbst zu gesellschaftlichen Wandlungen.

Technische Grundlagen Leistungsfähige und Technikbereich-übergreifende Hardware stellt die Grundkomponente eines jeden Multimedia-Systems dar. Mit der Verbreitung des Internets begann zudem die Entwicklung netz-basierender Multimedia-Technologien. Die Netzwerke müssen ein hohes Maß an Dienstgüte erreichen, um den Anforderungen der Multimedia gerecht werden zu können. Der große Durchbruch gelang mit der Entwicklung optischer Datenspeicher, wodurch es möglich wurde, große Datenmengen einfach und mobil zu speichern.

Hardware Für berechnungsintensive Anwendungen wie Videoschnitt wird eine leistungsstarke Hardware benötigt. Dazu gehören vor allem gute Prozessoren, große Arbeitsspeicher und allgemein starke Grafikkarten. Externe Hardware wie Lautsprecher oder Kameras gehören genauso zu der grundlegenden Ausrüstung von Multimedia-Systemen.

Nach diesen Anforderungen versuchte die Industrie unter der Leitung von Microsoft, Creative Labs, Dell, Gateway, Fujitsu und weiteren in den 90er Jahren einen Hardware-Standard für Multimedia-Systeme durchzusetzen. Nach diesem Standard, welcher den Namen "Multimedia PC" (kurz MPC) trägt, waren die PC-Systeme so vorkonfiguriert, dass sie alle gängigen Multimedia-Anwendungen unterstützen konnten. Insgesamt gab es drei Spezifikationsstufen vom Jahre 1991 bis ins Jahr 1996. Sie konnten sich aber nicht bei allen Herstellern durchsetzen. Später wurde die Entwicklung der Hardware vielmehr durch neue Anwendungen wie Videoschnitt, Bildbearbeitung und Computerspiele vorangetrieben.

Die höchsten Anforderungen an die Hardware-Systeme setzt heutzutage die Computerspielbranche. Dabei spielen vor allem folgende Punkte eine wesentliche Rolle:

Breitband-Internetzugang 3D-Grafikunterstützung#* intuitive Eingabegeräte Multicore-Unterstützung, Multithreading Surround-Sound

wichtige Komponenten für ein Multimediasystem:

Datenspeicher

mini|Abbildung der Von-Neumann-Architektur

In der Von-Neumann-Architektur existieren in jedem Modul Speicherzellen. Deswegen spielt vor allem der Datenspeicher eine wesentliche Rolle in der Verarbeitung von Multimedia-Daten. Anders als bei der Entwicklung der Prozessoren, stieg die Leistung in Form von Speicherplatz stetig weiter.

Wichtige Leistungsmerkmale von Speichern sind:

flexible Datenzugriffe schnelle Datenlese- und schreibraten Speicherplatzgröße auf minimalem Raum

Vor allem bei der Videoverarbeitung fallen große Datenmengen an, die schnell von der Festplatte in den Arbeitsspeicher geladen werden müssen. Doch dabei spielt nicht nur die Hardware eine Rolle, sondern auch das Betriebssystem, welches auf dem Speicher ein Dateisystem anlegt und somit die Verwaltung der Daten übernimmt.

Prozessoren

Multimedia-System bauen nicht nur auf einen Hauptprozessor (CPU) auf, sondern aus mehreren nebenläufigen Prozessoren aus dem Betrachtungsfeld. Weitere wichtige Prozessoren sind: Grafikprozessor auf der Grafikkarte Kommunikationsprozessor auf der Netzwerkkarte die Signalprozessoren auf der Soundkarte

Weiterhin existieren spezielle Multimedia-Prozessoren, wie zum Beispiel AMD Xilleon oder AMD Imageon, welche auf die Bild- und Videobearbeitung optimiert wurden.

Multimedia-Software nutzt meist nicht die gesamte Wortlänge (d. h. Integer), sondern legt mehr Wert auf short- oder char-Werte. Daher wurden Prozessorarchitekturen wie Single Instruction Multiple Data (SIMD) entwickelt, welche mehrere kleine Daten in einem Befehl verarbeiten. Aufgrund der hohen Parallelisierbarkeit bei der Verarbeitung von Bilddaten wurden Erweiterungen wie MMX geschaffen, um den neuen Anforderungen der Multimedia-Anwendungen gerecht werden zu können.

Grafikkarten

mini|Grafikkarte Radeon 9000

Mit den steigenden Anforderungen der Computerspielbranche stieg der Bedarf an eine Recheneinheit, die sich auf grafische Aspekte spezialisierte. Dafür beinhalten Grafikkarten eigene Prozessoren (meist GPUs genannt), welche sich vor allem für eine schnelle Bildverarbeitung eignen. Durch diese Spezialisierung sind sie den universellen CPUs in den Bereichen paralleler Berechnungen überlegen.

Monitore Um die Leistung von Grafikkarten optimal auszunutzen, sollte der genutzte Monitor die Leistungsmerkmale der Grafikkarte unterstützen.

Leistungskriterien: Auflösung Bildwiederholfrequenz Farben Helligkeit Kontrast Reaktionszeit bei Flüssigkristallbildschirmen Schnittstellen (HDMI, VGA) Seitenverhältnis Vertikalfrequenz

Soundkarten

mini|Moderne Soundkarte mit farbcodierten Anschlüssen

Soundkarten werden benötigt, um digitale in analoge Signale umzuwandeln (und umgekehrt).

Leistungskriterien: Dynamik Frequenzgang Klirrfaktor Spannung am Line-In, Line-Out Störabstand

Lautsprecher Für die akustische Wiedergabe der Audiodaten werden Lautsprecher benötigt, die direkt an der Soundkarte angeschlossen werden.

Leistungskriterien: Frequenzgang Impedanz Klirrfaktor Musikbelastbarkeit Schallleistung Sinusbelastbarkeit Wirkungsgrad

Betriebssysteme

Betriebssysteme bilden die Verbindung zwischen der Rechner-Hardware und den Software-Komponenten und dient somit auch als Schnittstelle vieler multimedialer Anwendungen. Die Quellen von Mediendaten liegen meist in Hardwarekomponenten wie Mikrofonen, Kameras oder Touchpads und ihre Ziele sind wiederum Lautsprecher, Videofenster oder der Anwender selbst. Für die Verarbeitung dieser Daten muss das Betriebssystem mindestens eine Verschiebungs-, Kopier- oder Übertragungsoperation ausführen. Hierbei spielen u. a. die Echtzeitverarbeitung, Prozessverwaltung, Betriebsmittelreservierung, Betriebsmittelverwaltung und Speicherverwaltung wichtige Rollen.

Multimedia Frameworks Frameworks wie DirectX oder auch OpenGL stellen eine Programmierschnittstelle für multimediaintensive Anwendungen dar. Dabei gibt es für jedes Multimedia-Modul eine Komponente. Hierbei soll es dem Programmierer ermöglicht werden einen schnellen und direkten Zugriff auf die Grafikkarte zu erhalten.

DirectMusic ist die Komponente, welche als Synthesizer zur Wiedergabe von MIDI-Files fungiert.

DirectShow ist vor allem für das Streaming von Video- und Audiodaten bedeutend.

Mit DirectSound / XAudio können Klangeffekte verbessert werden und Schnittstellen zur Aufnahme und Wiedergabe von Audio-Signalen erstellt werden.

DirectX stellt dabei seine DirectX-Graphics-Komponente zur Verfügung, welche DirectDraw für 2D-Grafiken und DirectX für 3D-Grafiken vereint. Bei der 3D-Grafik spielt die Hardwarebeschleunigung eine bedeutende Rolle.

Eine quelloffene ("open source") und plattformunabhängige Alternative zu DirectX ist OpenGl.

Netzwerke

Um einen kontinuierlichen Datenaustausch zwischen Mediengeräten gewährleisten zu können, müssen Netzwerke über geeignete Dienste und Protokolle geschaffen werden.

Kommunikation Voraussetzung für die Kommunikation in einem interaktiven Netzwerk sind geringe Verzögerungen, Unterstützung für die Übertragung hoher Datenraten und eine geringe Fehlerrate. Um dies zu ermöglichen, wurden Netzwerktechnologien wie FDDI, High-Speed-Ethernet, Token Ring und ATM geschaffen. Die Kommunikation zwischen Multimedia-Systemen, welche die Vermittlungsschicht bildet, wird über Netz- und Transportprotokolle realisiert.

Anforderungen an Dienste und Protokolle Je nach Anwendung erfordern Audio- bzw. Videodaten eine zeitbegrenzte Bearbeitung. Die Datenübertragung muss dementsprechend während der vorgegebenen Intervalle erfolgen. Die Verzögerung zwischen den Endnutzern einer Anwendung, wie zum Beispiel aus dem Dialogbetrieb (z. B. Telefon), müssen gering gehalten werden. Das Hauptanwendungsgebiet kommunikationsfähiger Multimediasysteme liegt meist auf kooperatives Arbeiten und Konferenzsystemen unter Verwendung mehrerer unterschiedlicher Medien. Das Verbinden und Trennen von Konferenzmitgliedern sollte gelingen, ohne dass die Konferenzverbindung völlig neu aufgebaut werden muss. Bei der Übertragung bevorzugter oder garantierter Multimedia-Daten darf es zu keiner Einschränkung bei der Kommunikation der restlichen Daten kommen. Um das Fairnessprinzip zwischen unterschiedlichen Anwendungen, Anwendern und Stationen zu schützen, darf kein Client bevorzugt werden.

Meist werden zugrundeliegende Netzsysteme, zum Beispiel das Ethernet, für kommunikative Multimedia-Anwendungen genutzt und keine neuen separaten Netzwerke geschaffen. Die Annahme, dass für multimediale Kommunikationssysteme mindestens eine Bandbreite von mindestens 100 Bit/s benötigt wird, ist somit nicht grundsätzlich wahr.

Wichtige Protokolle im Überblick

IGMP (Internet Group Management Protocol): kann Internet-Multicast-Gruppen verwalten dynamisches An- und Abmelden von Systemen möglich muss selbst nicht Mitglied der Gruppe sein

IP (Internet Protocol): ermöglicht Datenübertragung zwischen Absender und Zielsystem mehrere Transfersysteme (Gateways oder Router) können durchlaufen werden

RTP (Real-Time Transport Protocol): unterstützt Multicast-Sitzungen

RTSP (Real-Time Streaming Protocol): steuert keine Nutzdaten, sondern Datenströme ähnlich wie HTTP, jedoch bidirektional und zustandbasiert

SIP (Session Initiation Protocol): richtet Sitzungen ein und übernimmt dann das Management der Sitzung

TCP (Transmission Control Protocol): wird für Videokonferenzen benötigt

TP (Telnet Protocol): umfasst das RMTP (Real-Time Message Transport Protocol) und MTP (Continuous Media Transport Protocol) unterstützt Übertragung von Multimedia-Daten, da es beim Ausliefern von Daten gewisse Leistungen garantiert

Dienstgüte

Die Dienstgüte (englisch QoS (Quality of Service)) ist ein grundlegendes Konzept für Multimediasysteme. Mit ihr können quantifizierbare technische Parameter für Netzwerke in Echtzeit erfasst, verarbeitet, übertragen und dargestellt werden. Eine Bewertung des Multimediasystems ist vor allem im Sinne vom Ressourcenmanagement wichtig.

Betriebsmittel (Dienstgüte) Bandbreite Latenz-/Laufzeit maximale Bitfehlerrate maximaler Paketverlust Prozessorleistung Speicherplatz

Für die Verwaltung der Betriebsmittel existieren die beiden Ansätze Skalierung und Ressourcenreservierung, die häufig zeitgleich zum Einsatz kommen.

Die Skalierung bezeichnet eine möglichst einfache Anpassung des Datenflusses an vordefinierte Randbedingungen. Dafür werden die Betriebsmittel in Beziehung mit dem Datenstrom gesetzt.

Der Zweite betrachtet einzelne Komponenten als Ressourcen, die noch vor der Ausführung der Evaluation reserviert werden müssen. Sobald alle Ressourcen reserviert wurden, kann beim Ressourcenmanagement eine sinnvolle Zuteilung der Betriebsmittel erfolgen.

Schwer oder nicht quantifizierbare Eigenschaften

Bedienbarkeit der eingesetzten Endgeräte nicht vorhersagbare Einflüsse von außen Störungen im Netzwerk

Optische Datenspeicher

Mit der Entwicklung optischer Speicher wurde die Multimedia-Welt grundlegend revolutioniert. Sie sind hauptsächlich wegen ihrer hohen Anforderungen interessant, da sie im Gegensatz zu magnetischen Massenspeichern einen wahlfreien Zugriff ermöglichen. Weitere Vorteile gegenüber den veralteten magnetischen Speichern sind ihre Haltbarkeit und die geringe Abnutzung.