10 KiB
Retrieval-based-Voice-Conversion-WebUI
Framework konversi suara yang mudah digunakan berdasarkan VITS.
Changelog | FAQ (Pertanyaan yang Sering Diajukan)
English | 中文简体 | 日本語 | 한국어 (韓國語) | Français | Türkçe | Português
Model dasar dilatih menggunakan hampir 50 jam set data pelatihan VCTK sumber terbuka berkualitas tinggi. Oleh karena itu, tidak ada masalah hak cipta, silakan gunakan dengan bebas.
Nantikan model dasar RVCv3 dengan parameter yang lebih besar, dataset yang lebih besar, efek yang lebih baik, kecepatan inferensi yang lebih cepat secara dasar, dan jumlah data latihan yang lebih sedikit yang dibutuhkan.
Ada downloader satu-klik untuk model/paket integrasi/alat. Selamat mencoba.
| Pelatihan dan Inferensi Webui | Antarmuka Grafis Pengubahan Suara Real-time |
| go-web.bat | go-realtime-gui.bat |
| Anda bebas memilih tindakan yang ingin Anda lakukan. | Kami telah mencapai latensi end-to-end sebesar 170ms. Dengan menggunakan perangkat input dan output ASIO, kami berhasil mencapai latensi end-to-end sebesar 90ms, tetapi ini sangat bergantung pada dukungan driver perangkat keras. |
Fitur:
- Kurangi kebocoran nada dengan mengganti fitur sumber ke fitur set-pelatihan menggunakan top1 retrieval;
- Pelatihan mudah + cepat, bahkan pada kartu grafis yang buruk;
- Pelatihan dengan jumlah data yang sedikit (>=10 menit bicara rendah bising disarankan);
- Fusi model untuk mengubah timbre (menggunakan tab proses ckpt->fusi ckpt);
- WebUI yang mudah digunakan;
- Model UVR5 untuk memisahkan vokal dan instrumen dengan cepat;
- Algoritma Ekstraksi Suara Pitch Tinggi InterSpeech2023-RMVPE untuk mencegah masalah suara yang membisu. Memberikan hasil terbaik (secara signifikan) dan lebih cepat dengan konsumsi sumber daya yang lebih rendah daripada Crepe_full;
- Dukungan akselerasi kartu grafis AMD/Intel;
- Dukungan akselerasi kartu grafis Intel ARC dengan IPEX.
Lihat Video Demo kami di sini!
Konfigurasi Lingkungan
Batasan Versi Python
Disarankan untuk menggunakan conda untuk mengelola lingkungan Python.
Untuk alasan batasan versi, silakan lihat bug ini.
python --version # 3.8 <= Python < 3.11
Instalasi & Skrip Awal Ketergantungan Satu-Klik Linux/MacOS
Dengan menjalankan `run
.shdi direktori root proyek, Anda dapat mengonfigurasi lingkungan virtualvenv`, secara otomatis menginstal dependensi yang diperlukan, dan memulai program utama dengan satu klik.
sh ./run.sh
Instalasi Manual Ketergantungan
- Instal
pytorchdan dependensi intinya, lewati jika sudah terinstal. Lihat: https://pytorch.org/get-started/locally/pip install torch torchvision torchaudio - Jika Anda menggunakan arsitektur Nvidia Ampere (RTX30xx) di Windows, sesuai pengalaman #21, Anda perlu menentukan versi cuda yang sesuai dengan pytorch.
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117 - Instal dependensi yang sesuai sesuai dengan kartu grafis Anda sendiri.
- Nvidia GPU
pip install -r requirements.txt - AMD/Intel GPU
pip install -r requirements-dml.txt - AMD ROCM (Linux)
pip install -r requirements-amd.txt - Intel IPEX (Linux)
pip install -r requirements-ipex.txt
Persiapan Berkas Lainnya
1. Aset
RVC memerlukan beberapa model yang terletak di folder
assetsuntuk inferensi dan pelatihan.
Periksa/Unduh Otomatis (Default)
Secara default, RVC dapat secara otomatis memeriksa integritas sumber daya yang diperlukan saat program utama dimulai.
Bahkan jika sumber daya tidak lengkap, program akan tetap mulai.
- Jika Anda ingin mengunduh semua sumber daya, tambahkan parameter
--update. - Jika Anda ingin melewati pemeriksaan integritas sumber daya saat mulai, tambahkan parameter
--nocheck.
Unduh Secara Manual
Semua berkas sumber daya berada di Hugging Face space
Anda dapat menemukan beberapa skrip untuk mengunduhnya di folder
tools
Anda juga dapat menggunakan downloader satu-klik untuk model/paket integrasi/alat
Berikut adalah daftar yang mencakup nama semua model pra dan berkas lain yang diperlukan oleh RVC.
- ./assets/hubert/hubert_base.pt
rvcmd assets/hubert # Perintah RVC-Models-Downloader - ./assets/pretrained
rvcmd assets/v1 # Perintah RVC-Models-Downloader - ./assets/uvr5_weights
rvcmd assets/uvr5 # Perintah RVC-Models-Downloader
Jika Anda ingin menggunakan versi v2 dari model, Anda perlu mengunduh sumber daya tambahan di
- ./assets/pretrained_v2
rvcmd assets/v2 # Perintah RVC-Models-Downloader
2. Instalasi alat ffmpeg
Jika ffmpeg dan ffprobe sudah terinstal, Anda dapat melewatkan langkah ini.
Ubuntu/Debian
sudo apt install ffmpeg
MacOS
brew install ffmpeg
Windows
Setelah diunduh, letakkan di direktori root.
rvcmd tools/ffmpeg # Perintah RVC-Models-Downloader
3. Unduh berkas yang diperlukan untuk algoritma ekstraksi pitch suara vokal rmvpe
Jika Anda ingin menggunakan algoritma ekstraksi pitch suara RMVPE terbaru, Anda perlu mengunduh parameter model ekstraksi pitch dan menempatkannya di assets/rmvpe.
- rmvpe.pt
rvcmd assets/rmvpe # Perintah RVC-Models-Downloader
Unduh lingkungan DML RMVPE (opsional, untuk GPU AMD/Intel)
- rmvpe.onnx
rvcmd assets/rmvpe # Perintah RVC-Models-Downloader
4. AMD ROCM (opsional, hanya untuk Linux)
Jika Anda ingin menjalankan RVC di sistem Linux berbasis teknologi ROCM milik AMD, harap pertama instal driver yang diperlukan di sini.
Jika Anda menggunakan Arch Linux, Anda dapat menggunakan pacman untuk menginstal driver yang diperlukan.
pacman -S rocm-hip-sdk rocm-opencl-sdk
Untuk beberapa model kartu grafis, Anda mungkin perlu mengonfigurasi variabel lingkungan berikut (seperti: RX6700XT).
export ROCM_PATH=/opt/rocm
export HSA_OVERRIDE_GFX_VERSION=10.3.0
Juga, pastikan pengguna saat ini Anda berada dalam grup pengguna render dan video.
sudo usermod -aG render $USERNAME
sudo usermod -aG video $USERNAME
Memulai
Mulai Langsung
Gunakan perintah berikut untuk memulai WebUI.
python infer-web.py
Linux/MacOS
./run.sh
Untuk pengguna I-card yang perlu menggunakan teknologi IPEX (hanya untuk Linux)
source /opt/intel/oneapi/setvars.sh
./run.sh
Menggunakan Paket Integrasi (Pengguna Windows)
Unduh dan ekstrak RVC-beta.7z. Setelah diekstraksi, klik dua kali go-web.bat untuk memulai program dengan satu klik.
rvcmd packs/general/latest # Perintah RVC-Models-Downloader