Vocaloid

mini|Lied mit durch die Vocaloid-Stimme Miriam erzeugtem Gesang Vocaloid ist ein Software-Synthesizer, der es durch Sprachsynthese ermöglicht, künstlichen Gesang zu erzeugen, der dem einer menschlichen Stimme ähnelt. Dazu benötigt das Programm die Vorgabe des Liedtextes, der Melodie und die Angabe von Eigenheiten der Betonung. Die Software wurde von der Yamaha Corporation in Zusammenarbeit mit der Universität Pompeu Fabra aus BarcelonaBill Werde, „“, The New York Times, 23. November 2003, S. 42 entwickelt und wurde erstmals im Jahr 2003 auf der Audiomesse in Deutschland vorgestellt. Seit Anfang 2004 erscheinen verschiedene Stimmen, die auf dem Synthesizer und seinen Nachfolgern Vocaloid2, Vocaloid3, Vocaloid4, Vocaloid 5 und Vocaloid 6 aufbauen. Diese Stimmen wurden größtenteils von anderen Firmen auf Basis von Gesangsaufnahmen echter Sänger erstellt.

Funktionsprinzip und Bedienung mini|Oberfläche von Vocaloid, die einer Notenrolle nachempfunden ist Das Ziel des Software-Synthesizers sollte es sein, aus der reinen Eingabe von Noten und zugehörigem Liedtext Gesang zu erzeugen. In dem Editor, der ebenfalls ein Bestandteil von Vocaloid ist, werden die einzelnen Noten in einer Oberfläche eingetragen, die einer Notenrolle nachempfunden ist und sich in horizontaler Richtung scrollen und skalieren lässt. Die alleinige Angabe bzw. Platzierung des Textes und der Noten reicht jedoch nicht aus, um einen natürlich wirkenden Gesang zu erzeugen. Hierzu müssen die einzelnen Passagen noch mit zusätzlichen Effekten wie Vibrato, Flexion oder Tremolo versehen werden, die die Dynamik und die Tonlage der Stimme beeinflussen. Die Stärke der Effekte kann zusätzlich in einem Bereich unterhalb der Notenrolle zeitlich variabel und voneinander getrennt angepasst werden.

Damit nicht alle Noten von Hand eingegeben werden müssen, wird MIDI als Import-Format unterstützt. Der Gesang selbst kann als WAV-Datei exportiert werden, um ihn anschließend in anderen Programmen weiterverarbeiten zu können. Zusätzlich wurde aber auch die Schnittstelle Virtual Studio Technology (VST) von Steinberg Media Technologies implementiert, was eine direkte Verbindung zu anderen Programmen ermöglicht.

Vocaloid gilt als erstes Programm seiner Art und war Vorbild für diverse neuere synthetische Gesangssoftware.

Technik mini|Übergang zwischen unterschiedlichen Lauten im Frequenzbereich Für die Berechnungen, die bis zur Ausgabe des Audiosignals notwendig sind, benutzt Vocaloid intern intensiv die Darstellung der Signale im Frequenzbereich. Dazu müssen zunächst alle aufgenommenen Sprachdaten – die Samples – mit Hilfe einer Form der Integraltransformation von zeitabhängigen Signalen in frequenzabhängige Signale umgerechnet werden. Anschaulich lassen sich diese Signale dann als Betragsspektrum darstellen, bei denen sich analog zu einem Spektrumanalysator die enthaltenen Frequenzen leicht ablesen lassen. Diese Darstellung ist aber nicht nur anschaulicher, sie rechtfertigt sich auch dadurch, dass sich viele Operationen auf den Signalen im Frequenzbereich wesentlich einfacher und somit auch schneller berechnen lassen.

Die notwendigen Eingangsdaten des Synthesizers sind folglich die einzelnen Silben des Liedtextes, die zugehörigen Noten und die Frequenzmuster einer echten Stimme. Die Frequenzmuster können hier als Fensterfunktionen verstanden werden, die zuvor in einer Datenbank hinterlegt wurden. In der Datenbank liegen die unterschiedlichen Phoneme in Form dieser Fenster vor und wurden von Hand einzelnen Silben oder Silbengruppen zugeordnet. Ein einzelner Laut kann anschließend direkt aus der Datenbank übernommen werden, muss aber in anschließenden Folgeschritten weiter modifiziert werden.

Durch die Nutzung des Frequenzbereichs reduziert sich eine Änderung der Tonlage auf eine vergleichsweise einfache Verschiebung der Daten entlang der Frequenzachse. Einzelne Phone können ebenfalls leicht ineinander überführt werden. So wird beispielsweise das sai von „Saitama“ durch die Verwendung der Laute „sa“ und „ai“ realisiert. Da sich jedoch die Klangfarbe des Vokals „a“ in „sa“ und „ai“ unterscheidet, würde sich eine einfache Aneinanderreihung beider unnatürlich anhören. Daher werden im Frequenzbereich die Spektren beider Signale zeitlich „überblendet“, was schließlich einen weichen Übergang zwischen beiden Lauten ergibt, wie es in nebenstehender Grafik schematisch dargestellt ist. Dieser Prozess ist recht aufwendig, da es nicht ausreicht, die Spektren abhängig von der Zeit zu gewichten. Es müssen vielmehr einzelne Frequenzabschnitte so lange entlang der Frequenzachse verschoben werden, bis sich das Spektrum des ersten und zweiten Phons gleicht. Hierbei helfen erneut die bereits bekannten Übergänge aus den Gesangsdaten eines echten Sängers, die im Vorfeld analysiert wurden und ebenfalls in der Datenbank hinterlegt wurden. Durch die zahlreichen Variationen und die notwendige Zuordnung zur Sprache entstehen so Datenmengen von ca. 500–600 MiB für jede Stimme und Sprache.

Der Frequenzbereich bietet darüber hinaus aber auch noch die Möglichkeit, die Tonlänge und Klangfarbe unabhängig von der vorgegebenen Melodie zu verändern. Dadurch können Effekte wie z. B. das Vibrato mit vergleichsweise geringem Rechenaufwand erschaffen werden. Mit all diesen Verfahren kann der Gesang der künstlichen Stimme in Echtzeit moduliert werden, der aber immer noch im Frequenzbereich vorliegt. Anschließend müssen die Ergebnisse durch eine inverse Transformation wieder in den Zeitbereich zurückgewandelt werden, um ein Audiosignal zu erhalten.

Entwicklungsgeschichte

Vocaloid1 Yamaha stellte im Jahr 1998 mit dem FS1R einen Synthesizer für Sprache vor, der zwischen stimmhaften (‚a‘, ‚u‘) und stimmlosen Lauten (‚f‘, ‚s‘) unterschied und diese durch unterschiedliche Modellansätze synthetisierte. Die Umsetzung der stimmhaften Laute griff auf Formanten zurück, während die stimmlosen Laute durch moduliertes Rauschen entstanden. Der FS1R war damit bereits im Stande, Gesang zu synthetisieren.

Im Jahr 2003 kündigte Yamaha eine Weiterentwicklung mit dem Namen Vocaloid an, die aus einem Software-Synthesizer und einem zugehörigen Editor bestand. Mit Leon und Lola wurden am 15. Januar 2004 die ersten zwei Versionen eines Programms vorgestellt, die auf dieser neuen Technologie aufbauten, mit Stimmen die einen männlichen bzw. weiblichen Soul-Sänger darstellen sollen. Dazu musste der Hersteller jedoch noch die als benannten Datenbanken entwickeln, die die Grundlage für die Sprachausgabe darstellen. Mit Miriam, einer Stimme moduliert nach der von Miriam Stockley, entstand eine dritte Umsetzung auf der Basis von Vocaloid. Diese wurde wie die beiden vorherigen vom Publisher Zero-G in Zusammenarbeit mit Yamaha erstellt und veröffentlicht. Leon und Lola verkauften sich jedoch kaum.

Mit Meiko, die aus Stimmproben der japanischen Sängerin Meiko Haigō () hervorging, und Kaito, basierend auf der Stimme von Naoto Fūga (), schlossen sich die beiden ersten japanischen Stimmen und Produkte der ersten Generation am 5. Oktober 2004 und 17. Februar 2006 an. Beide Stimmen wurden von Crypton Future Media erstellt und veröffentlicht. Auf dem Markt für virtuelle Instrumente sind 200 bis 300 verkaufte Exemplare im Jahr Durchschnitt und 1000 bereits ein Erfolg. Meiko wurde mit 3000 Exemplaren ein großer Erfolg, während Kaito mit nur 500 verkauften Exemplaren sich leicht über dem Durchschnitt befand. Die Gründe für den größeren Erfolg von Meiko werden darin gesehen, dass sie zwar wie die vorherigen Fassungen nicht von professionellen Musikern angenommen wurde, durch die Abbildung eines gezeichneten Mädchens auf dem Cover jedoch von den eher männlichen Anime-Fans gekauft wurde, während aus demselben Grund der männliche Kaito von dieser Käufergruppe ignoriert wurde.

2005 verwendete der britische Musiker Mike Oldfield die Software für einige Tracks seines Doppelalbums Light + Shade.

Vocaloid 2 Im Januar 2007 kündigte Yamaha eine neue Version des Synthesizers an. Vocaloid2 brachte verschiedene größere Verbesserungen in der Benutzung und der Qualität der Sprachsynthese, wobei sich hauptsächlich die Bedienfreundlichkeit verbessert haben soll, während der Gesang keine Revolution gegenüber dem Vorgänger darstellte. Zero-G und andere Publisher kündigten an, neue Produkte auf Basis der Software zu entwickeln und im Laufe des Jahres 2007 zu veröffentlichen. PowerFX publizierte mit Sweet Ann das erste Produkt, das auf der neuen Software aufsetzte.

Diesem folgte Crypton mit der Ankündigung einer Reihe von Produkten, die mit Miku Hatsune am 31. August 2007 begann. Bei Miku und den darauffolgenden setzt Crypton direkt auf Anime-Fans als Käufergruppe, nachdem mit dieser bei Meiko gute Erfahrungen gemacht wurden. Miku Hatsune verkaufte sich allein in der ersten Woche mehr als 1000 Mal und im ersten Halbjahr mehr als 30.000 Mal. Als zweite Variation erschien Rin/Len Kagamine am 27. Dezember 2007, von der im Juli 2008 ein Update mit dem Untertitel act2 erschien. Eine dritte Variation wird seit dem 30. Januar 2009 angeboten, die Luka Megurine getauft wurde. Zwischenzeitlich erschien mit Prima ein weiteres Produkt, das auf der NAMM Show 2008 vorgestellt wurde. Verkauft wurde es ab dem 14. Januar 2008 im Vereinigten Königreich sowie ab dem 22. Februar 2008 in Japan. In Japan erschien unterdessen mit Kamui Gakupo eine männliche Stimme, die aus der von Gackt moduliert wurde. In der Veröffentlichung war zusätzlich das neue Programm OPUS Express enthalten, mit dem Teile der Begleitung mit den Phonemen verbunden werden können. Das neue Programm stand daraufhin auch allen registrierten Käufern der Vocaloid-Reihe von Crypton kostenlos zum Download zur Verfügung.

Neben der Verwendung von Vocaloid durch Musiker, die die Stimmen hauptsächlich für Hintergrundgesänge und zur Erzeugung ausgefallener Soundeffekte benutzen, verbaute Yamaha einen Teil der Software auch in den stetig weiterentwickelten humanoiden Roboter ASIMO. Dies ermöglichte es ASIMO, ihm bekannte Musikstücke mit eigenem Gesang zu begleiten, der eine geringe Verzögerung von nur rund 200 ms aufweisen soll.

Vocaloid 3, 4 und 5 Eine neue Version des Stimmensynthesizers namens Vocaloid3 wurde am 8. Juni 2011 bekanntgegeben. Im Dezember 2014 wurde die Version „Vocaloid 4“ veröffentlicht. Vocaloid 4 bat erstmals die Möglichkeit, den Gesang durch die E.V.C.E. Funktion dynamischer klingen zu lassen. Vocaloid 4 erhielt im Gegensatz zu Vocaloid 3 viele Updates. Die nächste Version „Vocaloid 5“ wurde am 12. Juli 2018 veröffentlicht.

Vocaloid 6 Am 13. Oktober 2022 veröffentlichte Yamaha „Vocaloid 6“. Durch die lange Zeit seit der letzten Version waren viele beliebte Stimmen wie etwa Hatsune Miku, IA, und flower zu anderen Programmen wie etwa CevioAI oder Piapro Studio gewechselt. Der Versuch, dies mit Vocaloid 6 auszugleichen, gelang nur teilweise.

Vocaloid 6 bietet Vocaloid:AI eine KI-Funktion zur Verbesserung der Gesangsstimme. Hierfür muss die gewählte Stimme jedoch Vocaloid:AI unterstützen. In Vocaloid 6 ist es außerdem erstmals möglich, eine synthetische Stimme auf Grundlage seiner eigenen Stimme zu generieren. Hierfür wird die Stimme einer Person aufgenommen. Diese Funktion war vorher nur in anderen Programmen wie UTAU möglich. Des Weiteren wurden einige technische Aspekte überarbeitet. So ist nun auch ein direkter Export von MIDI-Dateien möglich. Vocaloid 6 enthält sechs kostenlose Stimmen. Weitere Stimmen können wie auch bei den Vorgängern separat erworben werden.

Auf Vocaloid aufbauende Stimmen