EraX-Smile-UnixSex-F5: Giving F5-TTS a Unisex Vietnamese Twist (with Online Zero-Shot Voice Cloning!) ✨

Hey there, fellow Vietnamese AI explorers! 👋

This model is built upon the fantastic F5-TTS architecture (arXiv:2410.06885). To teach it the beautiful nuances of Vietnamese, we embarked on a fine-tuning adventure using a pretty hefty dataset: over 2,700,000 Vietnamese-only samples! This includes a mix of public data and a significant 1000-hour private dataset (we’re incredibly grateful for the usage rights! 🙏).

Unfortunelately…

The base F5-TTS model was pretrained with Emilia dataset which is under BY-NC 4.0 license (non-commercial). Sorry for any inconvenient.

Training Journey:

This model has been putting in the work! It’s powered through approximately 12 epochs and some until almost overfit. It’s been quite the ride – almost a full week of number crunching, complete with the occasional fiery crash and burn 🔥😅, but we’re super proud of how far it’s come!

Our hope is that EraX-Smile-UnixSex-F5 proves to be a useful contribution to the community for ethical and creative purposes.

⚠️ Important Note on Responsible Use ⚠️

Voice cloning technology is powerful and comes with significant ethical responsibilities.

Intended Use: This model is intended for creative purposes, accessibility tools, personal projects, and applications where consent is explicit and ethical considerations are prioritized.

Prohibited Use: We strongly condemn and strictly prohibit the use of this model for any malicious or unethical purposes, including but not limited to:

Creating non-consensual deepfakes or impersonating individuals without permission. Generating misinformation, fraudulent content, or defamatory material. Harassment, abuse, or any form of criminal activity. User Responsibility: By using this model, you agree to do so responsibly and ethically. You are solely responsible for the content you generate and ensuring it complies with all applicable laws and ethical standards. The creators (EraX Team) disavow any responsibility for misuse of this model.

Please use this technology thoughtfully and ethically.

⚠️ Lưu ý Quan trọng về Việc Sử dụng có Trách nhiệm ⚠️

Sức mạnh và Trách nhiệm: Công nghệ nhân bản giọng nói sở hữu sức mạnh to lớn và đi kèm với những trách nhiệm đạo đức hết sức quan trọng.

Mục đích Sử dụng Dự kiến: Mô hình này được tạo ra nhằm phục vụ các mục đích sáng tạo, phát triển công cụ hỗ trợ tiếp cận, thực hiện dự án cá nhân và các ứng dụng khác nơi có sự đồng thuận rõ ràng từ các bên liên quan và các yếu tố đạo đức luôn được đặt lên hàng đầu.

Nghiêm cấm Sử dụng Sai trái: Chúng tôi cực lực lên án và nghiêm cấm tuyệt đối việc sử dụng mô hình này cho bất kỳ mục đích xấu xa, phi đạo đức nào, bao gồm nhưng không giới hạn ở:

Tạo ra deepfake hoặc mạo danh người khác khi chưa được sự cho phép hoặc đồng thuận rõ ràng. Phát tán thông tin sai lệch, tạo nội dung lừa đảo hoặc các tài liệu mang tính phỉ báng, bôi nhọ. Thực hiện hành vi quấy rối, lạm dụng hoặc bất kỳ hoạt động tội phạm nào khác. Trách nhiệm của Người dùng: Khi sử dụng mô hình này, bạn cam kết hành động một cách có trách nhiệm và tuân thủ các chuẩn mực đạo đức. Bạn phải chịu trách nhiệm hoàn toàn về nội dung do mình tạo ra và đảm bảo rằng nội dung đó tuân thủ mọi quy định pháp luật hiện hành và các tiêu chuẩn đạo đức. Đội ngũ phát triển (Nhóm EraX) hoàn toàn không chịu trách nhiệm cho bất kỳ hành vi lạm dụng nào đối với mô hình này.

Lời kêu gọi: Xin hãy sử dụng công nghệ này một cách có suy xét, thận trọng và đạo đức.

License Stuff 📜

We’re keeping it simple with the MIT License for our codes, following in the footsteps of giants like Whisper. Use it, break it, hopefully make cool things with it! Unfortunelately, the base F5-TTS model was pretrained with Emilia dataset which is under BY-NC 4.0 license (non-commercial). Sorry for any inconvenient.

Feeling Generous? (Citation) 🙏

Did this model actually help you? Or maybe just provide a moment’s amusement? If so, a star ⭐ on our GitHub repo would totally make our day! And if you’re writing something fancy (like a research paper) and want to give us a nod, here’s the bibtex snippet:

@misc{EraXSmileF5_2024, author = {Nguyễn Anh Nguyên and The EraX Team}, title = {EraX-Smile-UnixSex-F5: Người Việt sành tiếng Việt.}, year = {2025}, publisher = {Hugging Face}, journal = {Hugging Face Model Hub}, howpublished = {\url{https://github.com/EraX-AI/viF5TTS}} }