vc04 / demo

処理時間は、サーバーがすでに起動済みなら数秒程度、そうでなければ一分ほどです。

はっきりした発音の音声を入力するといい感じになる気がします。

環境音やノイズの影響をとても強く受けます。エアコンを止めた深夜の室内のような静かな環境で試すとうまくいきます。

モデルの概要

この声質変換モデルの特徴は以下のとおりです。

• 初めて聞く声からでも変換が可能
  例えば MVVC では事前に変換したい声を用意してモデルに学習させる必要がありますが、このモデルでは不要です。
• 文字起こししなくても変換が可能
  例えば Seiren Voice では事前に変換したい音声がどんな文章を読み上げているのか入力する必要がありますが、このモデルでは不要です。
• 学習にパラレル音声が不要
  どんな文章を読み上げている声からでも学習できるので、データセットを容易に用意できます。
• 学習が高速
  音声変換モデルを一から学習するためにかかる時間は現状 4 時間程度です。
• 変換が高速
  2 コアの CPU でもリアルタイムよりも高速に声を変換することができます。
• 変換精度が低い
  学習データセットに含まれているような音声（ノイズがなく、はっきりとした発音の音声）の変換はうまくいきますが、そうでない音声からの変換を行うと驚くほど性能が下がります。解決策を考えています。

参考文献

以下の論文を参考にしました。（目を通しただけの論文もあります）

• FastSpeech 2: Fast and High-Quality End-to-End Text to Speech
• FastPitch: Parallel Text-to-speech with Pitch Prediction
• AdaSpeech 2: Adaptive Text to Speech with Untranscribed Data
• JETS: Jointly Training FastSpeech2 and HiFi-GAN for End to End Text to Speech
• wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations
• HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units
• CREPE: A Convolutional Representation for Pitch Estimation
• Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
• HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
• Parallel-Data-Free Voice Conversion Using Cycle-Consistent Adversarial Networks
• Reducing over-smoothness in speech synthesis using Generative Adversarial Networks

また、学習データセットとして以下の音声を使用しました。

• JVS corpus: free Japanese multi-speaker voice corpus
• Common Voice Corpus (Japanese)
• あみたろITAコーパス読み上げ音声
• つくよみちゃんコーパス（CV.夢前黎）