Einleitung

Die Fähigkeit, natürlich klingende Sprache aus Text zu synthetisieren und sogar menschliche Stimmen zu imitieren, ist ein Ziel, das Forscher seit Jahrzehnten beschäftigt. Jüngste Durchbrüche in der KI haben dieses Ziel in greifbare Nähe gerückt. Die Systeme können jetzt Audio in hoher Qualität erzeugen, das die Nuancen der menschlichen Sprache in allen Sprachen einfängt. Noch erstaunlicher ist, dass sie die Stimme einer beliebigen Person aus nur wenigen Proben klonen können.

In diesem Beitrag werden wir den neuesten Stand der KI-Text-to-Speech-Technologie erkunden. Wir konzentrieren uns insbesondere auf ein neues System namens VALL-E X.

VALL-E X ist ein transformatorbasiertes Text-to-Speech-Modell, das eine beliebige Stimme aus einem dreisekündigen Beispielclip nachbilden kann. Es ist ein wichtiges Werkzeug in der KI-Landschaft, weil es die Trainingszeit für die Erzeugung einer neuen Stimme reduziert und eine viel natürlicher klingende synthetische Stimme als andere Modelle erzeugt, indem es die Intonation (das Ansteigen und Abfallen der Stimme beim Sprechen), das Charisma (die Beherrschung der Sprache) und den Stil des Originalbeispiels beibehält. VALL-E X hat praktische Anwendungen in verschiedenen Bereichen, darunter Spiele, Unterhaltung und Barrierefreiheit. Auf GitHub ist eine Open-Source-Implementierung des Modells entstanden, die auf verschiedenen Sprachen trainiert worden ist. In diesem Blog gehen wir auf die Funktionen von VALL-E X ein, seine Bedeutung und wie es sich von ähnlichen Tools abhebt. Außerdem gehen wir auf den Installations- und Einrichtungsprozess, die Benutzerfreundlichkeit und den Vergleich mit ähnlichen Tools ein. Schließlich gehen wir kurz auf die Preise und die Lizenzierung ein.

Hintergrund

VALL-E X ist ein von Microsoft entwickeltes Modell für die mehrsprachige Text-to-Speech-Synthese und das Klonen von Stimmen. Es ist eine Erweiterung von VALL-E.

VALL-E X wurde mit einem mehrsprachigen Datensatz und Übersetzungsmodulen entwickelt, um die Stimme einer Person auf der Grundlage einer einzigen Äußerung in eine andere Sprache zu konvertieren. Das Modell hat praktische Anwendungen in verschiedenen Bereichen, darunter Spiele, Unterhaltung und Barrierefreiheit. Das Forschungspapier zu VALL-E X verrät nur wenig über Microsofts Absichten mit dem Modell, und der Code wurde noch nicht veröffentlicht. Eine Open-Source-Implementierung des Modells wurde jedoch auf GitHub veröffentlicht.

Die wichtigsten Funktionen von VALL-E X

Stimmenklonen: VALL-E X kann die Stimme einer Person auf der Grundlage einer Drei-Sekunden-Aufnahme überzeugend imitieren. Es ermöglicht die Kontrolle ausländischer Akzente, die Beibehaltung von Emotionen und die Synthese von Code-Switching-Äußerungen.
Natürlich klingende synthetische Stimme: VALL-E X erzeugt eine viel natürlicher klingende synthetische Stimme als andere Modelle, indem es die Intonation, das Charisma und den Stil der Originalstimme beibehält. Es bietet eine höhere Geschwindigkeit, eine bessere Qualität in verschiedenen Sprachen und eine benutzerfreundliche Stimme.
In-Context-Lernfähigkeiten: VALL-E X verfügt über In-Context-Learning-Funktionen, die es ermöglichen, sprachübergreifende Sprache zu generieren und dabei die Stimme, die Emotionen und die akustische Umgebung des unbekannten Sprechers beizubehalten.
Audio-Clip-Editor: VALL-E X verfügt über einen Audio-Clip-Editor, mit dem der Benutzer die generierte Sprache bearbeiten und verändern kann.
Erkennung von Emotionen: VALL-E X verfügt über Funktionen zur Erkennung von Emotionen, die es ermöglichen, die Emotionen des Originalbeispiels in der generierten Sprache zu erhalten.

Installation und Einrichtung

Um VALL-E X zu verwenden, können Benutzer die Open-Source-Implementierung des Modells von GitHub herunterladen. Die Implementierung enthält eine Demo, mit der die Benutzer die Fähigkeiten des Modells testen können.

Die folgenden Schritte können Sie befolgen, um VALL-E X auf Ihrem lokalen Rechner einzurichten und zu verwenden.

Klonen Sie das Repository von GitHub:

git clone https://github.com/Plachtaa/VALL-E-X.git

Installieren Sie die erforderlichen Abhängigkeiten:

pip install -r requirements.txt

Laden Sie die vortrainierten Modellgewichte von der Release-Seite herunter und legen Sie sie im Verzeichnis models ab.

Führen Sie das Demo-Skript aus:

python demo.py

Folgen Sie den Anweisungen, um Sprache in der Zielsprache zu erzeugen.

Das Demoskript ermöglicht es den Benutzern, Text in der Ausgangssprache einzugeben und Sprache in der Zielsprache zu erzeugen. Die Benutzer können auch die Stimmeigenschaften, wie Tonhöhe und Geschwindigkeit, ändern und die generierte Sprache als Audiodatei speichern. Die Installation und Einrichtung von VALL-E X ist einfach, und das Demoskript ist leicht zu bedienen.

Aber auch wenn Sie Schwierigkeiten haben, die Umgebung herunterzuladen und auf Ihrem lokalen Rechner einzurichten, können Sie VALL-E X direkt ausprobieren:

Hugging Face:

Oder

Google Colab:

Benutzerfreundlichkeit

Die Web-Demo-Schnittstelle von VALL-E X ist benutzerfreundlich und ermöglicht es den Benutzern, die Fähigkeiten des Modells zu testen, ohne dass eine Installation erforderlich ist.

Die Benutzeroberflächen von Hugging Face und Google Colab bieten die gleichen Funktionen und sehen gleich aus. Die Oberfläche besteht aus 4 Registerkarten für verschiedene Phasen des Prozesses. Alle Registerkarten enthalten Anweisungen zur Verwendung der jeweiligen Registerkarte.

Von Audio ableiten: Hier können Sie einen Audioclip mit einer Textaufforderung erstellen. Sie können die Sprache und den Akzent ändern. Sie können auch einen Audio-Prompt („.npz“-Datei) mit Text oder unter Verwendung eines aufgenommenen Audioclips erstellen.

Prompt erstellen: Wenn Sie nur einen Audio-Prompt („.npz“-Datei) aus einer hochgeladenen Audiodatei erstellen möchten, verwenden Sie diese Option sofort. Sie ist schneller. Er muss kürzer als 15 Sekunden sein.

Vom Prompt ableiten: Dann können Sie den zuvor erstellten Audio-Prompt („.npz“-Datei) hochladen, mit Sprachakzent und voreingestellten Optionen, um einen neuen Audioclip des gegebenen Transkripts zu synthetisieren, der den hochgeladenen Audio-Prompt klont. Die Länge des Transkripts ist auf 150 Zeichen begrenzt.

Inferieren Sie langen Text: Verwenden Sie diese Schnittstelle, um Audioclips zu synthetisieren, die aus Transkripten mit 150 bis 1000 Zeichen bestehen.

Preis und Lizenzierung

VALL-E X ist ein Open-Source-Tool und ist kostenlos auf GitHub verfügbar. Für die Verwendung von VALL-E X in Google Colab und Hugging Face fallen keine Kosten an. Das Tool kann für verschiedene Anwendungen verwendet werden, darunter Spiele, Unterhaltung und Barrierefreiheit. Benutzer können das Tool für persönliche und kommerzielle Zwecke ohne Lizenzgebühren verwenden.

Conclusio

Zusammenfassend lässt sich sagen, dass VALL-E X ein leistungsstarkes Tool für die mehrsprachige Text-to-Speech-Synthese und das Klonen von Stimmen ist. Es gibt zwar auch andere Tools für die mehrsprachige Text-zu-Sprache-Synthese und das Klonen von Stimmen, aber VALL-E X hebt sich durch seine einzigartigen Funktionen und Möglichkeiten ab. Es handelt sich um ein Open-Source-Tool, das auf GitHub kostenlos zur Verfügung steht und somit für jeden zugänglich ist, der es nutzen möchte. Microsoft hat den Code für VALL-E X noch nicht veröffentlicht, und es ist unklar, ob es in Zukunft Lizenzierungsanforderungen geben wird.

Insgesamt ist VALL-E X ein wertvolles Tool für Entwickler und Datenanalysten, die an Projekten arbeiten, für die hochwertige synthetische Stimmen und mehrsprachige Funktionen erforderlich sind. Es ist ein Tool, das sich für jeden lohnt, der seinen Prozess des Stimmenklonens und der Text-to-Speech-Synthese rationalisieren möchte.

KI-gesteuertes Stimmenklonen und Multilinguale Text-to-Speech: Ein Praxisbericht über VALL-E X