Differences

This shows you the differences between two versions of the page.

--- informatica:inteligencia_artificial:tts [2026/06/26 10:04] – [Entrenar COQUI TTS] jose
+++ informatica:inteligencia_artificial:tts [2026/06/26 18:55] (current) – jose
@@ Line 179: / Line 179: @@
   tts   --text "Hola, esto es una prueba de Coqui TTS funcionando en español."   --model_name tts_models/es/css10/vits   --out_path salida.wav
-====== Entrenar COQUI TTS ======
+====== Entrenar COQUI TTS con XTTS======
-Para entrenar a COQUI hay que hacerlo con el modelo de fine-tunning xtts_v2
+Para entrenar a COQUI hay que hacerlo con el modelo de fine-tunning xtts_v2 pero siempre carga los modelos y tarda mínimo 15 segundos. Lo ideal es entrenar a VITS con muchos audios y la ejecución dura menos de 1 segundo. Lo explico mas abajo
 Tenemos que instalarlo con estable:
@@ Line 261: / Line 261: @@
 </code>
+Grabamos ficheros wav con nuestra voz en el directorio mis_audios
+  python calcular_voz.py
+<code>
+-> Cargando modelo XTTS v2 desde: .cache/huggingface/hub/models--tts-hub--XTTS-v2/snapshots/345b56f6fbe25cca7103f7f34e471b8fe8e4945f
+Procesando 1 archivos para crear tu huella de voz...
+[OK] ¡Listo! Tu voz se ha promediado y guardado con éxito en 'mi_voz_entrenada.pth'
+</code>
+Luego ejecutamos el fichero hablar.py
+  hablar.py
+<code>
+import os
+import torch
+import torchaudio
+from TTS.tts.configs.xtts_config import XttsConfig
+from TTS.tts.models.xtts import Xtts
+# 1. Texto a sintetizar y salida
+texto_a_decir = "Hola, ahora estoy generando voz al vuelo de forma mucho más rápida y directa."
+archivo_salida = "resultado_rapido2.wav"
+# 2. Rutas del modelo base
+checkpoint_dir = os.path.expanduser("~/.cache/huggingface/hub/models--tts-hub--XTTS-v2/snapshots/345b56f6fbe25cca7103f7f34e471b8fe8e4945f")
+config_file = os.path.join(checkpoint_dir, "config.json")
+# 3. Cargamos configuración y modelo
+config = XttsConfig()
+config.load_json(config_file)
+model = Xtts(config)
+model.load_checkpoint(config, checkpoint_dir=checkpoint_dir, eval=True)
+# 4. Cargamos tu huella de voz precalculada (.pth)
+print("Cargando tu huella de voz precalculada...")
+voice_data = torch.load("mi_voz_entrenada.pth", weights_only=False)
+# Mapeamos los nombres a lo que exige el método interno .inference()
+gpt_cond_latent = voice_data["gpt_conditioning_latents"]
+speaker_embedding = voice_data["speaker_embedding"]
+# 5. Inferencia con los nombres de variables exactos del código de Coqui
+print("Sintetizando audio al vuelo...")
+outputs = model.inference(
+    text=texto_a_decir,
+    language="es",
+    gpt_cond_latent=gpt_cond_latent,
+    speaker_embedding=speaker_embedding,
+    temperature=config.temperature,
+    length_penalty=config.length_penalty,
+    repetition_penalty=config.repetition_penalty,
+    top_k=config.top_k,
+    top_p=config.top_p,
+)
+# 6. Guardamos el resultado en un archivo .wav
+audio_tensor = torch.tensor(outputs["wav"]).unsqueeze(0)
+torchaudio.save(archivo_salida, audio_tensor, 24000)
+print(f"¡Listo! Audio generado súper rápido en: {archivo_salida}")
+</code>
+====== Entrenar COQUI TTS con VITS ======
+Necesitamos muchísimas horas de audio y preparar un dataset
+Creamos la siguiente estructura de ficheros
+<code>
+mi_dataset_vits/
+├── wavs/
+│   ├── 00001.wav
+│   ├── 00002.wav
+│   └── 00003.wav ... (todos tus archivos de audio)
+└── metadata.csv
+</code>
+El archivo metadata.csv tiene que tener el formato:
+|Hola, esta es la primera frase que grabé para mi modelo.
+|El entrenamiento de inteligencia artificial requiere paciencia.
+|Generar voz al vuelo ahora será inmediato.
+Script entrenamiento
+  entrenar_vits.py
+<code>
+import os
+from unicodedata import normalize
+from trainer import Trainer, TrainerArgs
+from TTS.config import BaseAudioConfig
+from TTS.tts.configs.shared_configs import BaseDatasetConfig
+from TTS.tts.configs.vits_config import VitsConfig
+from TTS.tts.models.vits import CharactersConfig, Vits
+# 1. Rutas de carpetas
+PATH_DATASET = "/Users/T054810/Personal/IA/coqui-ai-TTS_beta/mi_dataset_vits"
+PATH_SALIDA = "/Users/T054810/Personal/IA/coqui-ai-TTS_beta/resultado_entrenamiento"
+SPANISH_PUNCTUATIONS = "!'(),-.:;? ¡¿"
+# Incluimos el alfabeto base del español y completamos con cualquier carácter extra presente en el dataset.
+BASE_SPANISH_CHARACTERS = "abcdefghijklmnopqrstuvwxyzáéíóúüñ0123456789"
+def build_characters_config(texts: list[str]) -> CharactersConfig:
+    normalized_text = normalize("NFC", " ".join(texts)).lower()
+    discovered_characters = sorted(
+        {
+            char
+            for char in normalized_text
+            if not char.isspace() and char not in SPANISH_PUNCTUATIONS
+        }
+    )
+    characters = "".join(dict.fromkeys(BASE_SPANISH_CHARACTERS + "".join(discovered_characters)))
+    return CharactersConfig(
+        characters_class="TTS.tts.models.vits.VitsCharacters",
+        pad="<PAD>",
+        eos=None,
+        bos=None,
+        blank="<BLNK>",
+        characters=characters,
+        punctuations=SPANISH_PUNCTUATIONS,
+        phonemes=None,
+        is_unique=False,
+        is_sorted=True,
+    )
+def load_samples(dataset_path: str) -> list[dict]:
+    samples = []
+    csv_path = os.path.join(dataset_path, "metadata.csv")
+    with open(csv_path, "r", encoding="utf-8") as file_handle:
+        for line in file_handle:
+            parts = line.strip().split("|")
+            if len(parts) < 2:
+                continue
+            audio_id, text = parts[0], parts[1]
+            samples.append(
+                {
+                    "text": text,
+                    "audio_file": os.path.join(dataset_path, "wavs", f"{audio_id}.wav"),
+                    "speaker_name": "mi_voz",
+                    "language": "es",
+                    "audio_unique_name": audio_id,
+                }
+            )
+    return samples
+def main():
+    samples = load_samples(PATH_DATASET)
+    if not samples:
+        raise RuntimeError(f"No se encontraron muestras válidas en {PATH_DATASET}")
+    characters_config = build_characters_config([sample["text"] for sample in samples])
+# 2. Configurar el Dataset Base
+    dataset_config = BaseDatasetConfig(
+        formatter="ljspeech",
+        path=PATH_DATASET,
+        language="es",
+    )
+# Configuración estándar de audio para VITS
+    audio_config = BaseAudioConfig(
+        sample_rate=22050,
+        resample=True,
+    )
+# 3. Configurar la arquitectura VITS
+# 3. Configurar la arquitectura VITS (Modo caracteres puros, sin fonemas externos)
+    config = VitsConfig(
+        audio=audio_config,
+        run_name="mi_voz_vits_rapida",
+        batch_size=16,
+        eval_batch_size=8,
+        num_loader_workers=0,
+        num_eval_loader_workers=0,
+        run_eval=True,
+        test_delay_epochs=5,
+        epochs=100,
+        text_cleaner="multilingual_cleaners",
+        use_phonemes=False,
+        datasets=[dataset_config],
+        characters=characters_config,
+        output_path=PATH_SALIDA,
+    )
+    # Fuerza la serialización de `characters` para que el tokenizer use este vocabulario desde el config.
+    config.from_dict(config.to_dict())
+    train_samples = samples
+    eval_samples = samples[:1]
+    model = Vits(config)
+    trainer = Trainer(
+        TrainerArgs(),
+        config,
+        output_path=PATH_SALIDA,
+        model=model,
+        train_samples=train_samples,
+        eval_samples=eval_samples,
+    )
+    print(f"Dataset cargado manualmente con éxito. Muestras encontradas: {len(samples)}")
+    print(f"Vocabulario de texto preparado con {len(config.characters.characters)} caracteres.")
+    print("Iniciando entrenamiento del modelo VITS con tu voz...")
+    trainer.fit()
+if __name__ == "__main__":
+    main()
+</code>
+Luego lo ejecutamos con (cambiar directorio de entreno):
+  python entrenar_vits.py --device mps --continue_path resultado_entrenamiento/mi_voz_vits_rapida-June-26-2026_05+24PM-ca2cf515 --epochs 200
+En mi caso:
+  python entrenar_vits.py --device mps --continue_path resultado_entrenamiento/entrenamiento1 --epochs 200
+MAC:
+Las notas de audio están en
+  open ~/Library/Group\ Containers/group.com.apple.VoiceMemos.shared
+====== Gráficas de rendimiento ======
+Levantamos servidor tensor con:
+  tensorboard --logdir=/Users/T054810/Personal/IA/coqui-ai-TTS_beta/resultado_entrenamiento/
+Entramos en: http://localhost:6006/
+Sacado de chatGPT:
+<code>
+oss_disc y loss_gen: Son las gráficas de rendimiento del Discriminador y el Generador de VITS. Verás curvas que van bajando. Cuanto más abajo y estables estén, mejor y más limpia sonará tu voz.
+loss_mel: Te indica cómo de bien está aprendiendo el modelo a imitar las frecuencias exactas de tu tono de voz.
+Rendimiento de tiempo: Te muestra cuántos segundos tarda por cada paso de entrenamiento.
+</code>