mirror of
https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI.git
synced 2024-12-29 19:15:04 +08:00
docs(README.ko): add Korean Translation of README.md (#157)
* docs(README.ko): add Korean Translation of README.md * docs(Faiss): add Korean tips for Faiss * docs(README): add hyperlinks for Korean translation on all README * docs(training_tips): add Korean translation for training tips --------- Co-authored-by: Ftps <63702646+Tps-F@users.noreply.github.com>
This commit is contained in:
JiHo Han
GitHub
parent
964a85fe15
commit
71e2733719
@ -19,7 +19,8 @@
|
|||||||
|
|
||||||
[**更新日志**](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI/blob/main/Changelog_CN.md)
|
[**更新日志**](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI/blob/main/Changelog_CN.md)
|
||||||
|
|
||||||
[**English**](./docs/README.en.md) | [**中文简体**](./README.md) | [**日本語**](./docs/README.ja.md)
|
[**English**](./docs/README.en.md) | [**中文简体**](./README.md) | [**日本語**](./docs/README.ja.md) | [**한국어**](./docs/README.ko.md)
|
||||||
|
|
||||||
|
|
||||||
> 点此查看我们的[演示视频](https://www.bilibili.com/video/BV1pm4y1z7Gm/) !
|
> 点此查看我们的[演示视频](https://www.bilibili.com/video/BV1pm4y1z7Gm/) !
|
||||||
|
|
||||||
|
|||||||
@ -18,7 +18,7 @@ An easy-to-use SVC framework based on VITS.<br><br>
|
|||||||
------
|
------
|
||||||
[**Changelog**](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI/blob/main/Changelog_CN.md)
|
[**Changelog**](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI/blob/main/Changelog_CN.md)
|
||||||
|
|
||||||
[**English**](./README.en.md) | [**中文简体**](../README.md) | [**日本語**](./README.ja.md)
|
[**English**](./README.en.md) | [**中文简体**](../README.md) | [**日本語**](./README.ja.md) | [**한국어**](./README.ko.md)
|
||||||
|
|
||||||
> Check our [Demo Video](https://www.bilibili.com/video/BV1pm4y1z7Gm/) here!
|
> Check our [Demo Video](https://www.bilibili.com/video/BV1pm4y1z7Gm/) here!
|
||||||
|
|
||||||
|
|||||||
@ -19,7 +19,7 @@ VITSに基づく使いやすい音声変換（voice changer）framework<br><br>
|
|||||||
|
|
||||||
[**更新日誌**](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI/blob/main/Changelog_CN.md)
|
[**更新日誌**](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI/blob/main/Changelog_CN.md)
|
||||||
|
|
||||||
[**English**](./README.en.md) | [**中文简体**](../README.md) | [**日本語**](./README.ja.md)
|
[**English**](./README.en.md) | [**中文简体**](../README.md) | [**日本語**](./README.ja.md) | [**한국어**](./README.ko.md)
|
||||||
|
|
||||||
> デモ動画は[こちら](https://www.bilibili.com/video/BV1pm4y1z7Gm/)でご覧ください。
|
> デモ動画は[こちら](https://www.bilibili.com/video/BV1pm4y1z7Gm/)でご覧ください。
|
||||||
|
|
||||||
|
|||||||
104
docs/README.ko.md
Normal file
104
docs/README.ko.md
Normal file
@ -0,0 +1,104 @@
|
|||||||
|
<div align="center">
|
||||||
|
|
||||||
|
<h1>Retrieval-based-Voice-Conversion-WebUI</h1>
|
||||||
|
VITS 기반의 간단하고 사용하기 쉬운 음성 변환 프레임워크.<br><br>
|
||||||
|
|
||||||
|
[](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI)
|
||||||
|
|
||||||
|
<img src="https://counter.seku.su/cmoe?name=rvc&theme=r34" /><br>
|
||||||
|
|
||||||
|
[](https://colab.research.google.com/github/liujing04/Retrieval-based-Voice-Conversion-WebUI/blob/main/Retrieval_based_Voice_Conversion_WebUI.ipynb)
|
||||||
|
[](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI/blob/main/%E4%BD%BF%E7%94%A8%E9%9C%80%E9%81%B5%E5%AE%88%E7%9A%84%E5%8D%8F%E8%AE%AE-LICENSE.txt)
|
||||||
|
[](https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main/)
|
||||||
|
|
||||||
|
[](https://discord.gg/HcsmBBGyVk)
|
||||||
|
|
||||||
|
</div>
|
||||||
|
|
||||||
|
------
|
||||||
|
[**업데이트 로그**](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI/blob/main/Changelog_CN.md)
|
||||||
|
|
||||||
|
[**English**](./README.en.md) | [**中文简体**](../README.md) | [**日本語**](./README.ja.md) | [**한국어**](./README.ko.md)
|
||||||
|
|
||||||
|
> [데모 영상](https://www.bilibili.com/video/BV1pm4y1z7Gm/)을 확인해 보세요!
|
||||||
|
|
||||||
|
> RVC를 활용한 실시간 음성변환: [w-okada/voice-changer](https://github.com/w-okada/voice-changer)
|
||||||
|
|
||||||
|
> 기본 모델은 50시간 가량의 고퀄리티 오픈 소스 VCTK 데이터셋을 사용하였으므로, 저작권상의 염려가 없으니 안심하고 사용하시기 바랍니다.
|
||||||
|
|
||||||
|
> 저작권 문제가 없는 고퀄리티의 노래를 이후에도 계속해서 훈련할 예정입니다.
|
||||||
|
|
||||||
|
## 소개
|
||||||
|
본 Repo는 다음과 같은 특징을 가지고 있습니다:
|
||||||
|
+ top1 검색을 이용하여 입력 소스 기능을 훈련 세트 기능으로 대체하여 음색의 누출을 방지;
|
||||||
|
+ 상대적으로 낮은 성능의 GPU에서도 빠른 훈련 가능;
|
||||||
|
+ 적은 양의 데이터로 훈련해도 좋은 결과를 얻을 수 있음 (최소 10분 이상의 저잡음 음성 데이터를 사용하는 것을 권장);
|
||||||
|
+ 모델 융합을 통한 음색의 변조 가능 (ckpt 처리 탭->ckpt 병합 선택);
|
||||||
|
+ 사용하기 쉬운 WebUI (웹 인터페이스);
|
||||||
|
+ UVR5 모델을 이용하여 목소리와 배경음악의 빠른 분리;
|
||||||
|
|
||||||
|
## 환경의 준비
|
||||||
|
poetry를 통해 dependecies를 설치하는 것을 권장합니다.
|
||||||
|
|
||||||
|
다음 명령은 Python 버전 3.8 이상의 환경에서 실행되어야 합니다:
|
||||||
|
```bash
|
||||||
|
# PyTorch 관련 주요 dependencies 설치, 이미 설치되어 있는 경우 건너뛰기 가능
|
||||||
|
# 참조: https://pytorch.org/get-started/locally/
|
||||||
|
pip install torch torchvision torchaudio
|
||||||
|
|
||||||
|
# Windows + Nvidia Ampere Architecture(RTX30xx)를 사용하고 있다면, https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI/issues/21 에서 명시된 것과 같이 PyTorch에 맞는 CUDA 버전을 지정해야 합니다.
|
||||||
|
#pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
|
||||||
|
|
||||||
|
# Poetry 설치, 이미 설치되어 있는 경우 건너뛰기 가능
|
||||||
|
# Reference: https://python-poetry.org/docs/#installation
|
||||||
|
curl -sSL https://install.python-poetry.org | python3 -
|
||||||
|
|
||||||
|
# Dependecies 설치
|
||||||
|
poetry install
|
||||||
|
```
|
||||||
|
pip를 활용하여 dependencies를 설치하여도 무방합니다.
|
||||||
|
|
||||||
|
**공지**: `MacOS`에서 `faiss 1.7.2`를 사용하면 Segmentation Fault: 11 오류가 발생할 수 있습니다. 수동으로 pip를 사용하여 설치하는 경우 `pip install faiss-cpu==1.7.0`을 사용해야 합니다.
|
||||||
|
|
||||||
|
```bash
|
||||||
|
pip install -r requirements.txt
|
||||||
|
```
|
||||||
|
|
||||||
|
## 기타 사전 모델 준비
|
||||||
|
RVC 모델은 추론과 훈련을 위하여 다른 사전 모델이 필요합니다.
|
||||||
|
|
||||||
|
[Huggingface space](https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main/)를 통해서 다운로드 할 수 있습니다.
|
||||||
|
|
||||||
|
다음은 RVC에 필요한 사전 모델 및 기타 파일 목록입니다:
|
||||||
|
```bash
|
||||||
|
hubert_base.pt
|
||||||
|
|
||||||
|
./pretrained
|
||||||
|
|
||||||
|
./uvr5_weights
|
||||||
|
|
||||||
|
# Windows를 사용하는 경우 이 사전도 필요할 수 있습니다. FFmpeg가 설치되어 있으면 건너뛰어도 됩니다.
|
||||||
|
ffmpeg.exe
|
||||||
|
```
|
||||||
|
그 후 이하의 명령을 사용하여 WebUI를 시작할 수 있습니다:
|
||||||
|
```bash
|
||||||
|
python infer-web.py
|
||||||
|
```
|
||||||
|
Windows를 사용하는 경우 `RVC-beta.7z`를 다운로드 및 압축 해제하여 RVC를 직접 사용하거나 `go-web.bat`을 사용하여 WebUi를 시작할 수 있습니다.
|
||||||
|
|
||||||
|
중국어로 된 RVC에 대한 튜토리얼도 있으니 필요하다면 확인할 수 있습니다.
|
||||||
|
|
||||||
|
## 크레딧
|
||||||
|
+ [ContentVec](https://github.com/auspicious3000/contentvec/)
|
||||||
|
+ [VITS](https://github.com/jaywalnut310/vits)
|
||||||
|
+ [HIFIGAN](https://github.com/jik876/hifi-gan)
|
||||||
|
+ [Gradio](https://github.com/gradio-app/gradio)
|
||||||
|
+ [FFmpeg](https://github.com/FFmpeg/FFmpeg)
|
||||||
|
+ [Ultimate Vocal Remover](https://github.com/Anjok07/ultimatevocalremovergui)
|
||||||
|
+ [audio-slicer](https://github.com/openvpi/audio-slicer)
|
||||||
|
## 모든 기여자 분들의 노력에 감사드립니다.
|
||||||
|
|
||||||
|
<a href="https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI/graphs/contributors" target="_blank">
|
||||||
|
<img src="https://contrib.rocks/image?repo=liujing04/Retrieval-based-Voice-Conversion-WebUI" />
|
||||||
|
</a>
|
||||||
|
|
||||||
132
docs/faiss_tips_ko.md
Normal file
132
docs/faiss_tips_ko.md
Normal file
@ -0,0 +1,132 @@
|
|||||||
|
Facebook AI Similarity Search (Faiss) 팁
|
||||||
|
==================
|
||||||
|
# Faiss에 대하여
|
||||||
|
Faiss 는 Facebook Research가 개발하는, 고밀도 벡터 이웃 검색 라이브러리입니다. 근사 근접 탐색법 (Approximate Neigbor Search)은 약간의 정확성을 희생하여 유사 벡터를 고속으로 찾습니다.
|
||||||
|
|
||||||
|
## RVC에 있어서 Faiss
|
||||||
|
RVC에서는 HuBERT로 변환한 feature의 embedding을 위해 훈련 데이터에서 생성된 embedding과 유사한 embadding을 검색하고 혼합하여 원래의 음성에 더욱 가까운 변환을 달성합니다. 그러나, 이 탐색법은 단순히 수행하면 시간이 다소 소모되므로, 근사 근접 탐색법을 통해 고속 변환을 가능케 하고 있습니다.
|
||||||
|
|
||||||
|
# 구현 개요
|
||||||
|
모델이 위치한 `/logs/your-experiment/3_feature256`에는 각 음성 데이터에서 HuBERT가 추출한 feature들이 있습니다. 여기에서 파일 이름별로 정렬된 npy 파일을 읽고, 벡터를 연결하여 big_npy ([N, 256] 모양의 벡터) 를 만듭니다. big_npy를 `/logs/your-experiment/total_fea.npy`로 저장한 후, Faiss로 학습시킵니다.
|
||||||
|
|
||||||
|
2023/04/18 기준으로, Faiss의 Index Factory 기능을 이용해, L2 거리에 근거하는 IVF를 이용하고 있습니다. IVF의 분할수(n_ivf)는 N//39로, n_probe는 int(np.power(n_ivf, 0.3))가 사용되고 있습니다. (infer-web.py의 train_index 주위를 찾으십시오.)
|
||||||
|
|
||||||
|
이 팁에서는 먼저 이러한 매개 변수의 의미를 설명하고, 개발자가 추후 더 나은 index를 작성할 수 있도록 하는 조언을 작성합니다.
|
||||||
|
|
||||||
|
# 방법의 설명
|
||||||
|
## Index factory
|
||||||
|
index factory는 여러 근사 근접 탐색법을 문자열로 연결하는 pipeline을 문자열로 표기하는 Faiss만의 독자적인 기법입니다. 이를 통해 index factory의 문자열을 변경하는 것만으로 다양한 근사 근접 탐색을 시도해 볼 수 있습니다. RVC에서는 다음과 같이 사용됩니다:
|
||||||
|
|
||||||
|
```python
|
||||||
|
index = Faiss.index_factory(256, "IVF%s,Flat" % n_ivf)
|
||||||
|
```
|
||||||
|
`index_factory`의 인수들 중 첫 번째는 벡터의 차원 수이고, 두번째는 index factory 문자열이며, 세번째에는 사용할 거리를 지정할 수 있습니다.
|
||||||
|
|
||||||
|
기법의 보다 자세한 설명은 https://github.com/facebookresearch/Faiss/wiki/The-index-factory 를 확인해 주십시오.
|
||||||
|
|
||||||
|
## 거리에 대한 index
|
||||||
|
embedding의 유사도로서 사용되는 대표적인 지표로서 이하의 2개가 있습니다.
|
||||||
|
|
||||||
|
- 유클리드 거리 (METRIC_L2)
|
||||||
|
- 내적(内積) (METRIC_INNER_PRODUCT)
|
||||||
|
|
||||||
|
유클리드 거리에서는 각 차원에서 제곱의 차를 구하고, 각 차원에서 구한 차를 모두 더한 후 제곱근을 취합니다. 이것은 일상적으로 사용되는 2차원, 3차원에서의 거리의 연산법과 같습니다. 내적은 그 값을 그대로 유사도 지표로 사용하지 않고, L2 정규화를 한 이후 내적을 취하는 코사인 유사도를 사용합니다.
|
||||||
|
|
||||||
|
어느 쪽이 더 좋은지는 경우에 따라 다르지만, word2vec에서 얻은 embedding 및 ArcFace를 활용한 이미지 검색 모델은 코사인 유사성이 이용되는 경우가 많습니다. numpy를 사용하여 벡터 X에 대해 L2 정규화를 하고자 하는 경우, 0 division을 피하기 위해 충분히 작은 값을 eps로 한 뒤 이하에 코드를 활용하면 됩니다.
|
||||||
|
|
||||||
|
```python
|
||||||
|
X_normed = X / np.maximum(eps, np.linalg.norm(X, ord=2, axis=-1, keepdims=True))
|
||||||
|
```
|
||||||
|
|
||||||
|
또한, `index factory`의 3번째 인수에 건네주는 값을 선택하는 것을 통해 계산에 사용하는 거리 index를 변경할 수 있습니다.
|
||||||
|
|
||||||
|
```python
|
||||||
|
index = Faiss.index_factory(dimention, text, Faiss.METRIC_INNER_PRODUCT)
|
||||||
|
```
|
||||||
|
|
||||||
|
## IVF
|
||||||
|
IVF (Inverted file indexes)는 역색인 탐색법과 유사한 알고리즘입니다. 학습시에는 검색 대상에 대해 k-평균 군집법을 실시하고 클러스터 중심을 이용해 보로노이 분할을 실시합니다. 각 데이터 포인트에는 클러스터가 할당되므로, 클러스터에서 데이터 포인트를 조회하는 dictionary를 만듭니다.
|
||||||
|
|
||||||
|
예를 들어, 클러스터가 다음과 같이 할당된 경우
|
||||||
|
|index|Cluster|
|
||||||
|
|-----|-------|
|
||||||
|
|1|A|
|
||||||
|
|2|B|
|
||||||
|
|3|A|
|
||||||
|
|4|C|
|
||||||
|
|5|B|
|
||||||
|
|
||||||
|
IVF 이후의 결과는 다음과 같습니다:
|
||||||
|
|
||||||
|
|cluster|index|
|
||||||
|
|-------|-----|
|
||||||
|
|A|1, 3|
|
||||||
|
|B|2, 5|
|
||||||
|
|C|4|
|
||||||
|
|
||||||
|
탐색 시, 우선 클러스터에서 `n_probe`개의 클러스터를 탐색한 다음, 각 클러스터에 속한 데이터 포인트의 거리를 계산합니다.
|
||||||
|
|
||||||
|
# 권장 매개변수
|
||||||
|
index의 선택 방법에 대해서는 공식적으로 가이드 라인이 있으므로, 거기에 준해 설명합니다.
|
||||||
|
https://github.com/facebookresearch/Faiss/wiki/Guidelines-to-choose-an-index
|
||||||
|
|
||||||
|
1M 이하의 데이터 세트에 있어서는 4bit-PQ가 2023년 4월 시점에서는 Faiss로 이용할 수 있는 가장 효율적인 수법입니다. 이것을 IVF와 조합해, 4bit-PQ로 후보를 추려내고, 마지막으로 이하의 index factory를 이용하여 정확한 지표로 거리를 재계산하면 됩니다.
|
||||||
|
|
||||||
|
```python
|
||||||
|
index = Faiss.index_factory(256, "IVF1024,PQ128x4fs,RFlat")
|
||||||
|
```
|
||||||
|
|
||||||
|
## IVF 권장 매개변수
|
||||||
|
IVF의 수가 너무 많으면, 가령 데이터 수의 수만큼 IVF로 양자화(Quantization)를 수행하면, 이것은 완전탐색과 같아져 효율이 나빠지게 됩니다. 1M 이하의 경우 IVF 값은 데이터 포인트 수 N에 대해 4sqrt(N) ~ 16sqrt(N)를 사용하는 것을 권장합니다.
|
||||||
|
|
||||||
|
n_probe는 n_probe의 수에 비례하여 계산 시간이 늘어나므로 정확도와 시간을 적절히 균형을 맞추어 주십시오. 개인적으로 RVC에 있어서 그렇게까지 정확도는 필요 없다고 생각하기 때문에 n_probe = 1이면 된다고 생각합니다.
|
||||||
|
|
||||||
|
## FastScan
|
||||||
|
FastScan은 직적 양자화를 레지스터에서 수행함으로써 거리의 고속 근사를 가능하게 하는 방법입니다.직적 양자화는 학습시에 d차원마다(보통 d=2)에 독립적으로 클러스터링을 실시해, 클러스터끼리의 거리를 사전 계산해 lookup table를 작성합니다. 예측시는 lookup table을 보면 각 차원의 거리를 O(1)로 계산할 수 있습니다. 따라서 PQ 다음에 지정하는 숫자는 일반적으로 벡터의 절반 차원을 지정합니다.
|
||||||
|
|
||||||
|
FastScan에 대한 자세한 설명은 공식 문서를 참조하십시오.
|
||||||
|
https://github.com/facebookresearch/Faiss/wiki/Fast-accumulation-of-PQ-and-AQ-codes-(FastScan)
|
||||||
|
|
||||||
|
## RFlat
|
||||||
|
RFlat은 FastScan이 계산한 대략적인 거리를 index factory의 3번째 인수로 지정한 정확한 거리로 다시 계산하라는 인스트럭션입니다. k개의 근접 변수를 가져올 때 k*k_factor개의 점에 대해 재계산이 이루어집니다.
|
||||||
|
|
||||||
|
# Embedding 테크닉
|
||||||
|
## Alpha 쿼리 확장
|
||||||
|
퀴리 확장이란 탐색에서 사용되는 기술로, 예를 들어 전문 탐색 시, 입력된 검색문에 단어를 몇 개를 추가함으로써 검색 정확도를 올리는 방법입니다. 백터 탐색을 위해서도 몇가지 방법이 제안되었는데, 그 중 α-쿼리 확장은 추가 학습이 필요 없는 매우 효과적인 방법으로 알려져 있습니다. [Attention-Based Query Expansion Learning](https://arxiv.org/abs/2007.08019)와 [2nd place solution of kaggle shopee competition](https://www.kaggle.com/code/lyakaap/2nd-place-solution/notebook) 논문에서 소개된 바 있습니다..
|
||||||
|
|
||||||
|
α-쿼리 확장은 한 벡터에 인접한 벡터를 유사도의 α곱한 가중치로 더해주면 됩니다. 코드로 예시를 들어 보겠습니다. big_npy를 α query expansion로 대체합니다.
|
||||||
|
|
||||||
|
```python
|
||||||
|
alpha = 3.
|
||||||
|
index = Faiss.index_factory(256, "IVF512,PQ128x4fs,RFlat")
|
||||||
|
original_norm = np.maximum(np.linalg.norm(big_npy, ord=2, axis=1, keepdims=True), 1e-9)
|
||||||
|
big_npy /= original_norm
|
||||||
|
index.train(big_npy)
|
||||||
|
index.add(big_npy)
|
||||||
|
dist, neighbor = index.search(big_npy, num_expand)
|
||||||
|
|
||||||
|
expand_arrays = []
|
||||||
|
ixs = np.arange(big_npy.shape[0])
|
||||||
|
for i in range(-(-big_npy.shape[0]//batch_size)):
|
||||||
|
ix = ixs[i*batch_size:(i+1)*batch_size]
|
||||||
|
weight = np.power(np.einsum("nd,nmd->nm", big_npy[ix], big_npy[neighbor[ix]]), alpha)
|
||||||
|
expand_arrays.append(np.sum(big_npy[neighbor[ix]] * np.expand_dims(weight, axis=2),axis=1))
|
||||||
|
big_npy = np.concatenate(expand_arrays, axis=0)
|
||||||
|
|
||||||
|
# index version 정규화
|
||||||
|
big_npy = big_npy / np.maximum(np.linalg.norm(big_npy, ord=2, axis=1, keepdims=True), 1e-9)
|
||||||
|
```
|
||||||
|
|
||||||
|
위 테크닉은 탐색을 수행하는 쿼리에도, 탐색 대상 DB에도 적응 가능한 테크닉입니다.
|
||||||
|
|
||||||
|
## MiniBatch KMeans에 의한 embedding 압축
|
||||||
|
|
||||||
|
total_fea.npy가 너무 클 경우 K-means를 이용하여 벡터를 작게 만드는 것이 가능합니다. 이하 코드로 embedding의 압축이 가능합니다. n_clusters에 압축하고자 하는 크기를 지정하고 batch_size에 256 * CPU의 코어 수를 지정함으로써 CPU 병렬화의 혜택을 충분히 얻을 수 있습니다.
|
||||||
|
|
||||||
|
```python
|
||||||
|
import multiprocessing
|
||||||
|
from sklearn.cluster import MiniBatchKMeans
|
||||||
|
kmeans = MiniBatchKMeans(n_clusters=10000, batch_size=256 * multiprocessing.cpu_count(), init="random")
|
||||||
|
kmeans.fit(big_npy)
|
||||||
|
sample_npy = kmeans.cluster_centers_
|
||||||
|
```
|
||||||
53
docs/training_tips_ko.md
Normal file
53
docs/training_tips_ko.md
Normal file
@ -0,0 +1,53 @@
|
|||||||
|
RVC 훈련에 대한 설명과 팁들
|
||||||
|
======================================
|
||||||
|
본 팁에서는 어떻게 데이터 훈련이 이루어지고 있는지 설명합니다.
|
||||||
|
|
||||||
|
# 훈련의 흐름
|
||||||
|
GUI의 훈련 탭의 단계를 따라 설명합니다.
|
||||||
|
|
||||||
|
## step1
|
||||||
|
실험 이름을 지정합니다. 또한, 모델이 피치(소리의 높낮이)를 고려해야 하는지 여부를 여기에서 설정할 수도 있습니다..
|
||||||
|
각 실험을 위한 데이터는 `/logs/experiment name/`에 배치됩니다..
|
||||||
|
|
||||||
|
## step2a
|
||||||
|
음성 파일을 불러오고 전처리합니다.
|
||||||
|
|
||||||
|
### 음성 파일 불러오기
|
||||||
|
음성 파일이 있는 폴더를 지정하면 해당 폴더에 있는 음성 파일이 자동으로 가져와집니다.
|
||||||
|
예를 들어 `C:Users\hoge\voices`를 지정하면 `C:Users\hoge\voices\voice.mp3`가 읽히지만 `C:Users\hoge\voices\dir\voice.mp3`는 읽히지 않습니다.
|
||||||
|
|
||||||
|
음성 로드에는 내부적으로 ffmpeg를 이용하고 있으므로, ffmpeg로 대응하고 있는 확장자라면 자동적으로 읽힙니다.
|
||||||
|
ffmpeg에서 int16으로 변환한 후 float32로 변환하고 -1과 1 사이에 정규화됩니다.
|
||||||
|
|
||||||
|
### 잡음 제거
|
||||||
|
음성 파일에 대해 scipy의 filtfilt를 이용하여 잡음을 처리합니다.
|
||||||
|
|
||||||
|
### 음성 분할
|
||||||
|
입력한 음성 파일은 먼저 일정 기간(max_sil_kept=5초?)보다 길게 무음이 지속되는 부분을 감지하여 음성을 분할합니다.무음으로 음성을 분할한 후에는 0.3초의 overlap을 포함하여 4초마다 음성을 분할합니다.4초 이내에 구분된 음성은 음량의 정규화를 실시한 후 wav 파일을 `/logs/실험명/0_gt_wavs`로, 거기에서 16k의 샘플링 레이트로 변환해 `/logs/실험명/1_16k_wavs`에 wav 파일로 저장합니다.
|
||||||
|
|
||||||
|
## step2b
|
||||||
|
### 피치 추출
|
||||||
|
wav 파일에서 피치(소리의 높낮이) 정보를 추출합니다. parselmouth나 pyworld에 내장되어 있는 메서드으로 피치 정보(=f0)를 추출해, `/logs/실험명/2a_f0`에 저장합니다. 그 후 피치 정보를 로그로 변환하여 1~255 정수로 변환하고 `/logs/실험명/2b-f0nsf`에 저장합니다.
|
||||||
|
|
||||||
|
### feature_print 추출
|
||||||
|
HuBERT를 이용하여 wav 파일을 미리 embedding으로 변환합니다. `/logs/실험명/1_16k_wavs`에 저장한 wav 파일을 읽고 HuBERT에서 wav 파일을 256차원 feature들로 변환한 후 npy 형식으로 `/logs/실험명/3_feature256`에 저장합니다.
|
||||||
|
|
||||||
|
## step3
|
||||||
|
모델의 훈련을 진행합니다.
|
||||||
|
|
||||||
|
### 초보자용 용어 해설
|
||||||
|
심층학습(딥러닝)에서는 데이터셋을 분할하여 조금씩 학습을 진행합니다.한 번의 모델 업데이트(step) 단계 당 batch_size개의 데이터를 탐색하여 예측과 오차를 수정합니다. 데이터셋 전부에 대해 이 작업을 한 번 수행하는 이를 하나의 epoch라고 계산합니다.
|
||||||
|
|
||||||
|
따라서 학습 시간은 단계당 학습 시간 x (데이터셋 내 데이터의 수 / batch size) x epoch 수가 소요됩니다. 일반적으로 batch size가 클수록 학습이 안정적이게 됩니다. (step당 학습 시간 ÷ batch size)는 작아지지만 GPU 메모리를 더 많이 사용합니다. GPU RAM은 nvidia-smi 명령어를 통해 확인할 수 있습니다. 실행 환경에 따라 배치 크기를 최대한 늘리면 짧은 시간 내에 학습이 가능합니다.
|
||||||
|
|
||||||
|
### 사전 학습된 모델 지정
|
||||||
|
RVC는 적은 데이터셋으로도 훈련이 가능하도록 사전 훈련된 가중치에서 모델 훈련을 시작합니다. 기본적으로 `rvc-location/pretrained/f0G40k.pth` 및 `rvc-location/pretrained/f0D40k.pth`를 불러옵니다. 학습을 할 시에, 모델 파라미터는 각 save_every_epoch별로 `logs/experiment name/G_{}.pth` 와 `logs/experiment name/D_{}.pth`로 저장이 되는데, 이 경로를 지정함으로써 학습을 재개하거나, 다른 실험에서 학습한 모델의 가중치에서 학습을 시작할 수 있습니다.
|
||||||
|
|
||||||
|
### index의 학습
|
||||||
|
RVC에서는 학습시에 사용된 HuBERT의 feature값을 저장하고, 추론 시에는 학습 시 사용한 feature값과 유사한 feature 값을 탐색해 추론을 진행합니다. 이 탐색을 고속으로 수행하기 위해 사전에 index을 학습하게 됩니다.
|
||||||
|
Index 학습에는 근사 근접 탐색법 라이브러리인 Faiss를 사용하게 됩니다. `/logs/실험명/3_feature256`의 feature값을 불러와, 이를 모두 결합시킨 feature값을 `/logs/실험명/total_fea.npy`로서 저장, 그것을 사용해 학습한 index를`/logs/실험명/add_XXX.index`로 저장합니다.
|
||||||
|
|
||||||
|
### 버튼 설명
|
||||||
|
- モデルのトレーニング (모델 학습): step2b까지 실행한 후, 이 버튼을 눌러 모델을 학습합니다.
|
||||||
|
- 特徴インデックスのトレーニング (특징 지수 훈련): 모델의 훈련 후, index를 학습합니다.
|
||||||
|
- ワンクリックトレーニング (원클릭 트레이닝): step2b까지의 모델 훈련, feature index 훈련을 일괄로 실시합니다.
|
||||||
Loading…
Reference in New Issue
Block a user