diff --git a/Changelog_KO.md b/Changelog_KO.md new file mode 100644 index 0000000..a2e2f27 --- /dev/null +++ b/Changelog_KO.md @@ -0,0 +1,69 @@ +### 2023년 5월 13일 업데이트 + +- 원클릭 패키지의 이전 버전 런타임 내, 불필요한 코드(infer_pack 및 uvr5_pack) 제거. +- 훈련 세트 전처리의 유사 다중 처리 버그 수정. +- Harvest 피치 인식 알고리즘에 대한 중위수 필터링 반경 조정 추가. +- 오디오 내보낼 때, 후처리 리샘플링 지원. +- 훈련에 대한 다중 처리 "n_cpu" 설정이 "f0 추출"에서 "데이터 전처리 및 f0 추출"로 변경. +- logs 폴더 하의 인덱스 경로를 자동으로 감지 및 드롭다운 목록 기능 제공. +- 탭 페이지에 "자주 묻는 질문과 답변" 추가. (github RVC wiki 참조 가능) +- 동일한 입력 오디오 경로를 사용할 때 추론, Harvest 피치를 캐시. + (주의: Harvest 피치 추출을 사용하면 전체 파이프라인은 길고 반복적인 피치 추출 과정을 거치게됩니다. 캐싱을 하지 않는다면, 첫 inference 이후의 단계에서 timbre, 인덱스, 피치 중위수 필터링 반경 설정 등 대기시간이 엄청나게 길어집니다!) + +### 2023년 5월 14일 업데이트 + +- 입력의 볼륨 캡슐을 사용하여 출력의 볼륨 캡슐을 혼합하거나 대체. (입력이 무음이거나 출력의 노이즈 문제를 최소화 할 수 있습니다. 입력 오디오의 배경 노이즈(소음)가 큰 경우 해당 기능을 사용하지 않는 것이 좋습니다. 기본적으로 비활성화 되어있는 옵션입니다. (1: 비활성화 상태)) +- 추출된 소형 모델을 지정된 빈도로 저장하는 기능을 지원. (다양한 에폭 하에서의 성능을 보려고 하지만 모든 대형 체크포인트를 저장하고 매번 ckpt 처리를 통해 소형 모델을 수동으로 추출하고 싶지 않은 경우 이 기능은 매우 유용합니다) +- 환경 변수를 설정하여 서버의 전역 프록시로 인한 "연결 오류" 문제 해결. +- 사전 훈련된 v2 모델 지원. (현재 40k 버전만 테스트를 위해 공개적으로 사용 가능하며, 다른 두 개의 샘플링 비율은 아직 완전히 훈련되지 않아 보류되었습니다.) +- 추론 전, 1을 초과하는 과도한 볼륨 제한. +- 데이터 전처리 매개변수 미세 조정. + +추후 업데이트 목록: + +- 일괄 음성 변환 처리 시, 사용자가 수동으로 출력 오디오의 내보내기 형식 선택기능 지원. +- Crepe 피치 감지 지원. + +이전 변경 로그: + +### 2023년 4월 9일 + +- GPU 이용률 향상을 위해 훈련 파라미터 수정: A100은 25%에서 약 90%로 증가, V100: 50%에서 약 90%로 증가, 2060S: 60%에서 약 85%로 증가, P40: 25%에서 약 95%로 증가. + 훈련 속도가 크게 향상. +- 매개변수 기준 변경: total batch_size는 GPU당 batch_size를 의미. +- total_epoch 변경: 최대 한도가 100에서 1000으로 증가. 기본값이 10에서 20으로 증가. +- ckpt 추출이 피치를 잘못 인식하여 비정상적인 추론을 유발하는 문제 수정. +- 분산 훈련 과정에서 각 랭크마다 ckpt를 저장하는 문제 수정. +- 특성 추출 과정에 나노 특성 필터링 적용. +- 무음 입력/출력이 랜덤하게 소음을 생성하는 문제 수정. (이전 모델은 새 데이터셋으로 다시 훈련해야 합니다) + +### 2023년 4월 16일 업데이트 + +- 로컬 실시간 음성 변경 미니-GUI 추가, go-realtime-gui.bat를 더블 클릭하여 시작. +- 훈련 및 추론 중 50Hz 이하의 주파수 대역에 대해 필터링 적용. +- 훈련 및 추론의 pyworld 최소 피치 추출을 기본 80에서 50으로 낮춤. 이로 인해, 50-80Hz 사이의 남성 저음이 무음화되지 않습니다. +- 시스템 지역에 따른 WebUI 언어 변경 지원. (현재 en_US, ja_JP, zh_CN, zh_HK, zh_SG, zh_TW를 지원하며, 지원되지 않는 경우 기본값은 en_US) +- 일부 GPU의 인식 수정. (예: V100-16G 인식 실패, P4 인식 실패) + +### 2023년 4월 28일 업데이트 + +- Faiss 인덱스 설정 업그레이드로 속도가 더 빨라지고 품질이 향상. +- total_npy에 대한 의존성 제거. 추후의 모델 공유는 total_npy 입력을 필요로 하지 않습니다. +- 16 시리즈 GPU에 대한 제한 해제, 4GB VRAM GPU에 대한 4GB 추론 설정 제공. +- 일부 오디오 형식에 대한 UVR5 보컬 동반 분리에서의 버그 수정. +- 실시간 음성 변경 미니-GUI는 이제 non-40k 및 non-lazy 피치 모델을 지원합니다. + +### 미래 계획 + +Features: + +- 각 에폭 저장에 대해 소형 모델 추출 옵션 추가. +- 추론 중 지정된 경로로 추가 mp3 내보내기 옵션 추가. +- 다중 사용자 훈련 탭 지원.(최대 4명) + +Base model: + +- 호흡 wav 파일을 수집하여 훈련 데이터셋에 추가, 이로써 왜곡된 호흡 소리 문제를 해결. +- 현재 확장된 노래 데이터셋을 이용하여 기본 모델을 훈련 중이며, 이는 미래에 발표될 예정. +- Discriminator 업그레이드. +- self-supervised 특성 구조 업그레이드. diff --git a/docs/README.ko.md b/docs/README.ko.md index fdaa943..c43510d 100644 --- a/docs/README.ko.md +++ b/docs/README.ko.md @@ -4,9 +4,9 @@ VITS 기반의 간단하고 사용하기 쉬운 음성 변환 프레임워크.

[![madewithlove](https://forthebadge.com/images/badges/built-with-love.svg)](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI) - +
- + [![Open In Colab](https://img.shields.io/badge/Colab-F9AB00?style=for-the-badge&logo=googlecolab&color=525252)](https://colab.research.google.com/github/liujing04/Retrieval-based-Voice-Conversion-WebUI/blob/main/Retrieval_based_Voice_Conversion_WebUI.ipynb) [![Licence](https://img.shields.io/github/license/liujing04/Retrieval-based-Voice-Conversion-WebUI?style=for-the-badge)](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI/blob/main/%E4%BD%BF%E7%94%A8%E9%9C%80%E9%81%B5%E5%AE%88%E7%9A%84%E5%8D%8F%E8%AE%AE-LICENSE.txt) [![Huggingface](https://img.shields.io/badge/🤗%20-Spaces-yellow.svg?style=for-the-badge)](https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main/) @@ -15,8 +15,9 @@ VITS 기반의 간단하고 사용하기 쉬운 음성 변환 프레임워크. ------- -[**업데이트 로그**](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI/blob/main/Changelog_CN.md) +--- + +[**업데이트 로그**](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI/blob/main/Changelog_KO.md) [**English**](./README.en.md) | [**中文简体**](../README.md) | [**日本語**](./README.ja.md) | [**한국어**](./README.ko.md) ([**韓國語**](./README.ko.han.md)) @@ -29,18 +30,22 @@ VITS 기반의 간단하고 사용하기 쉬운 음성 변환 프레임워크. 저작권 문제가 없는 고퀄리티의 노래를 이후에도 계속해서 훈련할 예정입니다. ## 소개 + 본 Repo는 다음과 같은 특징을 가지고 있습니다: -+ top1 검색을 이용하여 입력 음색 특징을 훈련 세트 음색 특징으로 대체하여 음색의 누출을 방지; -+ 상대적으로 낮은 성능의 GPU에서도 빠른 훈련 가능; -+ 적은 양의 데이터로 훈련해도 좋은 결과를 얻을 수 있음 (최소 10분 이상의 저잡음 음성 데이터를 사용하는 것을 권장); -+ 모델 융합을 통한 음색의 변조 가능 (ckpt 처리 탭->ckpt 병합 선택); -+ 사용하기 쉬운 WebUI (웹 인터페이스); -+ UVR5 모델을 이용하여 목소리와 배경음악의 빠른 분리; + +- top1 검색을 이용하여 입력 음색 특징을 훈련 세트 음색 특징으로 대체하여 음색의 누출을 방지; +- 상대적으로 낮은 성능의 GPU에서도 빠른 훈련 가능; +- 적은 양의 데이터로 훈련해도 좋은 결과를 얻을 수 있음 (최소 10분 이상의 저잡음 음성 데이터를 사용하는 것을 권장); +- 모델 융합을 통한 음색의 변조 가능 (ckpt 처리 탭->ckpt 병합 선택); +- 사용하기 쉬운 WebUI (웹 인터페이스); +- UVR5 모델을 이용하여 목소리와 배경음악의 빠른 분리; ## 환경의 준비 + poetry를 통해 dependecies를 설치하는 것을 권장합니다. 다음 명령은 Python 버전 3.8 이상의 환경에서 실행되어야 합니다: + ```bash # PyTorch 관련 주요 dependencies 설치, 이미 설치되어 있는 경우 건너뛰기 가능 # 참조: https://pytorch.org/get-started/locally/ @@ -56,6 +61,7 @@ curl -sSL https://install.python-poetry.org | python3 - # Dependecies 설치 poetry install ``` + pip를 활용하여 dependencies를 설치하여도 무방합니다. **공지**: `MacOS`에서 `faiss 1.7.2`를 사용하면 Segmentation Fault: 11 오류가 발생할 수 있습니다. 수동으로 pip를 사용하여 설치하는 경우 `pip install faiss-cpu==1.7.0`을 사용해야 합니다. @@ -65,38 +71,44 @@ pip install -r requirements.txt ``` ## 기타 사전 모델 준비 + RVC 모델은 추론과 훈련을 위하여 다른 사전 모델이 필요합니다. [Huggingface space](https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main/)를 통해서 다운로드 할 수 있습니다. 다음은 RVC에 필요한 사전 모델 및 기타 파일 목록입니다: + ```bash hubert_base.pt -./pretrained +./pretrained ./uvr5_weights # Windows를 사용하는 경우 이 사전도 필요할 수 있습니다. FFmpeg가 설치되어 있으면 건너뛰어도 됩니다. ffmpeg.exe ``` + 그 후 이하의 명령을 사용하여 WebUI를 시작할 수 있습니다: + ```bash python infer-web.py ``` + Windows를 사용하는 경우 `RVC-beta.7z`를 다운로드 및 압축 해제하여 RVC를 직접 사용하거나 `go-web.bat`을 사용하여 WebUi를 시작할 수 있습니다. ## 참고 -+ [ContentVec](https://github.com/auspicious3000/contentvec/) -+ [VITS](https://github.com/jaywalnut310/vits) -+ [HIFIGAN](https://github.com/jik876/hifi-gan) -+ [Gradio](https://github.com/gradio-app/gradio) -+ [FFmpeg](https://github.com/FFmpeg/FFmpeg) -+ [Ultimate Vocal Remover](https://github.com/Anjok07/ultimatevocalremovergui) -+ [audio-slicer](https://github.com/openvpi/audio-slicer) + +- [ContentVec](https://github.com/auspicious3000/contentvec/) +- [VITS](https://github.com/jaywalnut310/vits) +- [HIFIGAN](https://github.com/jik876/hifi-gan) +- [Gradio](https://github.com/gradio-app/gradio) +- [FFmpeg](https://github.com/FFmpeg/FFmpeg) +- [Ultimate Vocal Remover](https://github.com/Anjok07/ultimatevocalremovergui) +- [audio-slicer](https://github.com/openvpi/audio-slicer) + ## 모든 기여자 분들의 노력에 감사드립니다. -