MELGAN.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "MELGAN.ipynb",
      "provenance": [],
      "collapsed_sections": [],
      "toc_visible": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    }
  },
  "cells": [
    {
      "cell_type": "code",
      "metadata": {
        "id": "a6g0FGX7ojkV",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!pip install librosa --upgrade"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "EVb9Z6ELPDRx",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import librosa\n",
        "import librosa.display\n",
        "import matplotlib.pyplot as plt\n",
        "from matplotlib import cm\n",
        "import numpy as np\n",
        "import IPython.display as ipd\n",
        "import copy\n",
        "import time\n",
        "\n",
        "!gdown https://drive.google.com/uc?id=110yz4UGIbveLW8ENFI1DjypNXs96q0FZ\n",
        "\n",
        "y, sr = librosa.load('/content/ex.wav',sr=16000) #Читаем файл\n",
        "ipd.Audio(y, rate=sr) "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "htuTLOYWvhYX",
        "colab_type": "text"
      },
      "source": [
        "Синетез речи не является простой задачей, так как звук содержит много данных, которые имеют сложные и долгосрочные зависимости. Из-за этого задачу разбивают на две. Сначала синтезатор из текста получают спектр, или мелспектр. Потом вокодер из него уже создаёт звук. \n",
        "\n",
        "Следующий блок объясняет, почему нельзя просто использовать обратное преобразование Фурье для получения сигнала только из амплитудного спектра, и почему сложно предсказывать фазу вместе с амплитудой"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "gAHWBCRWobgA",
        "colab_type": "text"
      },
      "source": [
        "# Сказ о том, почему сложно отказаться от вокодера"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "syrPWdv0pF8Y",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "class Hparams():\n",
        "  def __init__(self, sr):\n",
        "    self.n_fft = int(sr * 25 / 1000)\n",
        "    self.hop_length=int(sr * 10 / 1000)\n",
        "    self.n_mels = 40\n",
        "    self.n_iter = 10\n",
        "    self.win_length = 20"
      ],
      "execution_count": 3,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "YNbhD5dUooOf",
        "colab_type": "text"
      },
      "source": [
        "## Получить  спектр"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "WTtg1ISz3TGY",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "hp = Hparams(sr)\n",
        "# Получаем спектр\n",
        "spectr = librosa.stft(y=y,hop_length=hp.hop_length,n_fft=hp.n_fft)\n",
        "# Амплитуда\n",
        "ampl = np.abs(spectr) \n",
        "# Фаза\n",
        "phasa = np.angle(spectr)\n",
        "# Исходный сигнал только по амплитуде\n",
        "y_ampl = librosa.istft(ampl,hop_length=hp.hop_length)\n",
        "ipd.Audio(y_ampl, rate=sr) "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "eJatq9hqwJZ2",
        "colab_type": "text"
      },
      "source": [
        "Можно заменить, что звук, восстановленный только по амплитуде, очень некачественный"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "56apfijbo2Qd",
        "colab_type": "text"
      },
      "source": [
        "## Вернуть фазу"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Mva06Xs4o16-",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# Добавляем фазу\n",
        "ampl_phasa =  ampl*np.cos(phasa) + 1j*ampl*np.sin(phasa)\n",
        "# Исходный сигнал по амплитуде и фазе\n",
        "y_ampl_phasa = librosa.istft(ampl_phasa,hop_length=hp.hop_length)\n",
        "ipd.Audio(y_ampl_phasa, rate=sr) "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ZvpDDF8Fwfi6",
        "colab_type": "text"
      },
      "source": [
        "Если же вернуть фазу, то всё ок"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "PR8X0jI_U-bq",
        "colab_type": "text"
      },
      "source": [
        "## Получить мелспектрограмму"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "nxLTuk0zU8kg",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "melspectr = librosa.feature.melspectrogram( #Мелспектр\n",
        "    y,\n",
        "    sr,\n",
        "    n_fft=hp.n_fft,\n",
        "    hop_length=hp.hop_length,\n",
        "    n_mels=hp.n_mels\n",
        ")\n",
        "\n",
        "#Для отображения\n",
        "S_dB = librosa.power_to_db(melspectr, ref=np.max)\n",
        "plt.figure(figsize=(10, 4))\n",
        "cmap = cm.get_cmap('viridis')\n",
        "librosa.display.specshow(S_dB, x_axis='time', y_axis='mel', cmap=cmap)\n",
        "plt.colorbar()\n",
        "plt.title('Melspectrogram')\n",
        "plt.tight_layout()\n",
        "plt.show()"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "r6C2pK-7PU1N",
        "colab_type": "text"
      },
      "source": [
        "## Мелспектрограмма в аудио"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ccJwZwVplO9h",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "ampl_mel = librosa.feature.inverse.mel_to_stft(melspectr, sr, n_fft=hp.n_fft)\n",
        "y_mel_ampl = librosa.istft(ampl_mel,hop_length=hp.hop_length)\n",
        "ipd.Audio(y_mel_ampl, rate=sr) "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "DZtPs9YCwr1i",
        "colab_type": "text"
      },
      "source": [
        "Звук по амплитуде, полученной по мел-сигналу, тоже плохой"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "IZp0jwqqZgp3",
        "colab_type": "text"
      },
      "source": [
        "## Гриффин-Лим"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "BkmeHDHCZdoR",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "y_griffinlim = librosa.griffinlim(ampl_mel, hop_length=hp.hop_length)\n",
        "ipd.Audio(y_griffinlim, rate=sr) "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "QPuMpQENw-bP",
        "colab_type": "text"
      },
      "source": [
        "Данный алгоритм пытается восстановить фазу, что улучшает качество"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "RjH6nhDBWt61",
        "colab_type": "text"
      },
      "source": [
        "## Вернуть к мел фазу"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "GZE1MzjHWtLf",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "ampl_phasa =  ampl_mel*np.cos(phasa) + 1j*ampl_mel*np.sin(phasa)\n",
        "y_mel_ampl_phasa = librosa.istft(ampl_phasa,hop_length=hp.hop_length)\n",
        "ipd.Audio(y_mel_ampl_phasa, rate=sr) "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "0PFmyY8SxMCI",
        "colab_type": "text"
      },
      "source": [
        "Если же восстановить сигнал, добавив исходную фазу, то снова всё хорошо. А значит переход в мелспектр не сильно ухудшает качество."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "UZqBBFDEnDB0",
        "colab_type": "text"
      },
      "source": [
        "## Почему мы в синтезаторе отбрасываем фазу"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "5lbBd_L6oCzx",
        "colab_type": "text"
      },
      "source": [
        "### Амплитуда несёт информацию"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "PB32Cjdopd0X",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "Xdb = 10.0 * np.log10(ampl**2 + 1e-10)\n",
        "librosa.display.specshow(Xdb, sr=sr, x_axis='time', y_axis='hz')"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "piX6rt8soiR0",
        "colab_type": "text"
      },
      "source": [
        "### Фаза случайна"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "r-dvbzqcp6Xd",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "librosa.display.specshow(phasa, sr=sr, x_axis='time', y_axis='hz')"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "06I9cEK0ouHB",
        "colab_type": "text"
      },
      "source": [
        "В фазе нет паттерна, который нейронная сеть может хорошо достать"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "os5Opsskl9dJ",
        "colab_type": "text"
      },
      "source": [
        "## Отобразить все графики"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "VOg29xZAqGJh",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "plt.figure(figsize=(16, 12))\n",
        "ax = plt.subplot(5,1,1)\n",
        "librosa.display.waveplot(y, sr=sr, color='b')\n",
        "plt.title('Оригинал')\n",
        "plt.xlabel('')\n",
        "plt.subplot(5,1,2, sharex=ax, sharey=ax)\n",
        "librosa.display.waveplot(y_ampl, sr=sr, color='r')\n",
        "plt.title('Только Амплитуда')\n",
        "plt.xlabel('')\n",
        "plt.subplot(5,1,3, sharex=ax, sharey=ax)\n",
        "librosa.display.waveplot(y_mel_ampl, sr=sr, color='r')\n",
        "plt.title('Только Амплитуда, полученная из Mel')\n",
        "plt.xlabel('')\n",
        "plt.subplot(5,1,4, sharex=ax, sharey=ax)\n",
        "librosa.display.waveplot(y_griffinlim, sr=sr, color='g')\n",
        "plt.title('Только Амплитуда, полученная из Mel + griffinlim')\n",
        "plt.xlabel('')\n",
        "plt.subplot(5,1,5, sharex=ax, sharey=ax)\n",
        "librosa.display.waveplot(y_mel_ampl_phasa, sr=sr, color='r')\n",
        "plt.title('Амплитуда и фаза, полученная из Mel')\n",
        "plt.tight_layout()\n",
        "plt.show()"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "wXP8e9y7xpU4",
        "colab_type": "text"
      },
      "source": [
        "## Выводы"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "kpNKS6gtxkXk",
        "colab_type": "text"
      },
      "source": [
        "Хотя основная информация содержится в амплитуде, без информации о фазе восстановить качественный сигнал не получается. Можно пробовать использовать алгоритм Гриффин-Лима, но и он не даёт качественного сигнала. \n",
        "\n",
        "В силу своей природы амплитудный спектр содержит много характерных участков, которые сеть может выучить и восстановить. Фазовый спектр напротив, очень случаен и сложно восстановим.\n",
        "\n",
        "Именно поэтому существующие алгоритмы сначала получают спектр, а уже потом из него получают сигнал, без предсказывания фазы.\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "B9Eu1w4eq26S",
        "colab_type": "text"
      },
      "source": [
        "# MelGan"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "plX5R60Q0CIW",
        "colab_type": "text"
      },
      "source": [
        "Существующие модели, в основном, авторегресионные, а значит куски звука генерируются последовательно, а значит скорость их работы не очень высока.\n",
        "\n",
        "Авторы статьи решили использовать сеть GAN, которые до этого обычно использовались для работы с картинками, для преоброзования мелспектра в сырой звук. \n",
        "\n",
        "Архитектура состоит из генератора MelGAN, из 4 транспонированных сверток и 3*4 Residual блоков. А также трёх дискрименаторов, каждый из которых содержит 4 понижающие свёртки. Второй и третий дискрименатор принимает сигнал сжатый в 2 и 4 раза соответсвенно, что позволяет больше внимания уделять нижним частотам. "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "53dM5yTDrvGr",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!git clone https://github.com/vlomme/MelGan-WavGan.git"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "9Yd4rWixr4j8",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "cd MelGan-WavGan/"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "LBIC82Pbr-Kf",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!gdown https://drive.google.com/uc?id=10tLduS5fGNWby7IKvfltuIfUWUeAp9SM\n",
        "!unzip logs.zip"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "44oDW-goUBlq",
        "colab_type": "text"
      },
      "source": [
        "## Синтез из мелспектрограмм"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "D9CTeSskq-Lg",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!python melgan.py -r g -f mel"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Re9kF7Kgt4AP",
        "colab_type": "text"
      },
      "source": [
        "### Оригинальный сигнал"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "R6j6VCjWsUKq",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "y_orig, sr = librosa.load('./gen/orig/000000_RUSLAN.wav',sr=16000)\n",
        "ipd.Audio(y_orig, rate=sr) "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "6os93DOZuEon",
        "colab_type": "text"
      },
      "source": [
        "### Вокодер MelGan"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "eEdEtzjTtqY2",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "y_melgan, sr = librosa.load('./gen/output/mel_000000_RUSLAN.wav',sr=16000)\n",
        "ipd.Audio(y_melgan, rate=sr) "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "eC_uxy-CTlp2",
        "colab_type": "text"
      },
      "source": [
        "## Синтез из Гриффин-Лим сигнала"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "NGbVqYvyT0ub",
        "colab_type": "text"
      },
      "source": [
        "Если же ей на вход подавать мелспектр, полученный из Гриффин-Лим сигнала, то качество будет хуже"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "m1Woi2HtSSvQ",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!python melgan.py -r g -f wav"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "6hoYz8uYTOkF",
        "colab_type": "text"
      },
      "source": [
        "### Оригинальный сигнал"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Vl6Jw1FjTMFq",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "y_orig, sr = librosa.load('./gen/orig/RUSLAN.wav',sr=16000)\n",
        "ipd.Audio(y_orig, rate=sr) "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ApRYZbdbTNUh",
        "colab_type": "text"
      },
      "source": [
        "### Гриффин Лим"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "cA43wtc1toRS",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "y_griffinlim, sr = librosa.load('./gen/RUSLAN.wav',sr=16000)\n",
        "ipd.Audio(y_griffinlim, rate=sr) "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "qyDymHsITXXT",
        "colab_type": "text"
      },
      "source": [
        "### Вокодер MelGan"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "6dUxDmZESlIR",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "y_melgan, sr = librosa.load('./gen/output/mel_RUSLAN.wav',sr=16000)\n",
        "ipd.Audio(y_melgan, rate=sr) "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "YaQHu7VbT3K_",
        "colab_type": "text"
      },
      "source": [
        "### Выводы"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ZY6xE8vpT2XH",
        "colab_type": "text"
      },
      "source": [
        "Мои эксперименты показали, что модель даёт хорошее качество, чуть хуже, чем WaveRNN, но работает существенно быстрее. Для улучшения качества требуется либо обучать модель существенно дольше, или пробовать другие подходы.\n",
        "\n",
        "Из недостатков можно заметить, что модель требует мелспектрограммы в том формате, на котором она обучалась, что требует согласования и переобучения под конкретные модели синтезатора. \n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "AcPh6oNEq506",
        "colab_type": "text"
      },
      "source": [
        "# WavGan"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "FulSOOhAsOx8",
        "colab_type": "text"
      },
      "source": [
        "Идея. Зачем синтезировать из мелспектрограммы, если можно применить Гриффин-Лим и получить сигнал, очень похожий на оригинальный звук и останется его только подправить. Данный подход привёл к разработке WavGan. Структура его генератора похожа на U-net, а дискриминатор взят из MelGAN. Такая модель существенно быстрее учится, не требует настройки под различные синтезаторы, потенциально может удалять шумы и даёт схожее с MelGAN качество."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "vQ_PYdVQVx2c",
        "colab_type": "text"
      },
      "source": [
        "## Синтез из мелспектрограмм"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "00JTQT3Pq-k3",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!python wavgan.py -r g -f mel"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Ovpl01f0spbe",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "y_wavgan, sr = librosa.load('./gen/output/wav_000000_RUSLAN.wav',sr=16000)\n",
        "ipd.Audio(y_wavgan, rate=sr) "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "_od2CMIoV4tD",
        "colab_type": "text"
      },
      "source": [
        "## Синтез из Гриффин-Лим сигнала"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "UiWagDBAVe6N",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!python wavgan.py -r g -f wav"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "rnlJIxO4Vel4",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "y_wavgan, sr = librosa.load('./gen/output/wav_RUSLAN.wav',sr=16000)\n",
        "ipd.Audio(y_wavgan, rate=sr) "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Oiq8HvW_qXG6",
        "colab_type": "text"
      },
      "source": [
        "# TTS"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "9U3sqs42HXHN",
        "colab_type": "text"
      },
      "source": [
        "Здесь показан подход TTS. В качестве синтезатора используется Tacotron 2, а в качестве вокодера WavGAN"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Hc2GKJbDqWEh",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "%tensorflow_version 2.x\n",
        "!pip uninstall -y tensorflow\n",
        "!pip install tensorflow-gpu==1.14.0\n",
        "!sudo apt-get install portaudio19-dev\n",
        "!pip install PyAudio\n",
        "!pip install sounddevice\n",
        "!pip install unidecode\n",
        "\n",
        "!gdown https://drive.google.com/uc?id=19Gl9ejMUm_ll6cKozt5N99qDBN25FXDA\n",
        "!unzip test.zip"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "FdpS8sRgqdeo",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "cd test/"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "koCVWPcmqfOJ",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!python synthesize.py --text_list 'Привет сотрудники вконтакте. Спасибо, что дочитали до этого места' --checkpoint male\n",
        "#!python synthesize.py --text_list 'Привет сотрудники вконтакте. Спасибо, что дочитали до этого места' --checkpoint female\n",
        "#!python synthesize.py --text_list 'Привет сотрудники вконтакте. Спасибо, что дочитали до этого места' --checkpoint zueva"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "jRUvAXn-qi2n",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "y_tac, sr = librosa.load('./tacotron_output/wav-batch_0_sentence_0-mel.wav',sr=16000)\n",
        "ipd.Audio(y_tac, rate=sr) "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "tESG5J6fqkdl",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!python wavgan.py -r g -f wav"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Cvx5dfWJqlwb",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "y_tac, sr = librosa.load('./tacotron_output/output/wav_wav-batch_0_sentence_0-mel.wav',sr=16000)\n",
        "ipd.Audio(y_tac, rate=sr) "
      ],
      "execution_count": null,
      "outputs": []
    }
  ]
}