Bộ tách giọng nói được dùng để trích xuất một giọng nói ra khỏi bản ghi âm lộn xộn—tránh xa tiếng giao thông, âm nhạc, tiếng vọng phòng, hoặc một người thứ hai đang nói—để bạn có được một đoạn giọng nói sạch hơn mà bạn có thể chép lời, chỉnh sửa, lồng tiếng hoặc tái sử dụng. Một công việc đơn giản đó lại nằm bên dưới một số lượng đáng ngạc nhiên các tác vụ sản xuất hằng ngày. Một YouTuber loại bỏ tiếng ồn đường phố ra khỏi cuộc phỏng vấn. Một nhà sản xuất podcast cứu vãn đoạn hội thoại được ghi trong một quán cà phê đông đúc. Một đội ngũ tiếp thị chuẩn bị một mẫu sạch trước khi nhân bản giọng nói. Công cụ này làm tốt một việc, và hiểu chính xác việc đó là gì sẽ giúp bạn không yêu cầu nó thực hiện những công việc mà nó chưa từng được thiết kế để làm.
Hãy xem nó như một lớp làm sạch chứ không phải lớp tạo mới. Nó không dịch, nó không tạo ra lời dẫn mới, và nó không ngụy trang người nói. Nó lấy âm thanh đã chứa sẵn giọng nói và trả lại cho bạn giọng nói đó với ít nhiễu xung quanh hơn. Mọi điều bên dưới sẽ đi qua những nơi mà điều đó thực sự hữu ích, cách mô hình nền tảng tiếp cận vấn đề, và khi nào bạn nên tìm đến một công cụ khác thay thế.
Mục lục
Bộ tách giọng nói thực sự hoạt động như thế nào
Bên dưới nút bấm là một mô hình AI được huấn luyện để nhận ra các mẫu đặc trưng của giọng nói con người và phân biệt chúng với mọi thứ khác trong bản phối. Nó đọc thông tin thời gian và tần số của bản ghi, ước tính phần nào của tín hiệu là giọng nói và phần nào là âm thanh không mong muốn, rồi tái tạo lại giọng nói thành một tệp riêng, sạch hơn. Nhiều hệ thống sử dụng phương pháp dựa trên mặt nạ (mask): các phần tín hiệu liên quan đến giọng nói được cho đi qua trong khi các thành phần khác bị giảm bớt. Các quy trình tiên tiến hơn xếp chồng khử nhiễu, tách người nói và khử tiếng vọng lại với nhau. Nghiên cứu của Microsoft mô tả các hệ thống đơn kênh thời gian thực kết hợp các giai đoạn này để tách nhiều người nói ra khỏi nhiễu và tiếng vọng.
Lưu ý quan trọng nằm ở từ tái tạo. Đầu ra không phải là bản ghi sạch nguyên gốc mà bạn ước giá như mình đã thu được. Nó là một ước tính của AI về việc giọng nói đó nên nghe như thế nào khi đã loại bỏ nhiễu, nên các hỗn hợp phức tạp có thể tạo ra hiện tượng nhiễu—âm sắc kim loại, mất phụ âm, rung rè, hoặc chuyển tiếp không tự nhiên. Hiệu suất cũng giảm trong các điều kiện thực tế có khoảng cách xa và nhiều tiếng vọng, như nghiên cứu về tách giọng nói trên các bản ghi thực tế ghi nhận. Micro càng đặt xa người nói và phòng càng vọng nhiều, công việc của mô hình càng khó khăn hơn.

Tách giọng so với khử nhiễu: vì sao nhãn gọi quan trọng
Những thuật ngữ này thường được dùng thay thế cho nhau, nhưng công việc bạn thực sự cần sẽ thay đổi công cụ nào phù hợp. Khử nhiễu làm giảm âm thanh nền không mong muốn. Tăng cường giọng nói làm cho một giọng nói sẵn có dễ hiểu hơn. Tách giọng nói trích xuất giọng nói ra khỏi một tín hiệu thực sự bị trộn lẫn. Tách người nói đi xa hơn một bước và cố gắng tạo ra các bản riêng biệt khi hai người nói cùng lúc. Và tách giọng hát chia nhỏ các thành phần âm nhạc, đây là một lĩnh vực khác nhắm vào bài hát thay vì hội thoại.
| Tác vụ | Mục đích chính | Ví dụ |
|---|---|---|
| Khử nhiễu | Giảm âm thanh nền không mong muốn | Giảm tiếng giao thông hoặc tiếng vù máy lạnh |
| Tăng cường giọng nói | Cải thiện độ rõ của giọng nói | Làm cho một cuộc phỏng vấn nhỏ dễ nghe hơn |
| Tách giọng nói | Trích xuất giọng nói từ tín hiệu bị trộn lẫn | Tách lời thoại ra khỏi âm nhạc hoặc âm thanh môi trường |
| Tách người nói | Cho mỗi người nói một bản riêng biệt | Tách hai người nói chồng lên nhau |
| Tách giọng hát | Chia các thành phần âm nhạc thành các stem | Trích xuất giọng hát ra khỏi bản nhạc nền |
Bộ tách giọng nói của chúng tôi nằm ở phía tách giọng nói và khử nhiễu nền của bảng đó. Công việc của nó là trao cho bạn một đoạn giọng nói sạch hơn, và trang sản phẩm liệt kê phim, podcast, phỏng vấn, lồng tiếng và chuẩn bị nhân bản giọng nói là những quy trình mà nó được xây dựng xoay quanh. Nó chấp nhận các định dạng âm thanh phổ biến như MP3, WAV và AAC, cùng với các tệp video. Biết bạn đang ở cột nào sẽ giúp bạn không kỳ vọng có các stem riêng cho từng người nói từ một công cụ được tinh chỉnh để làm sạch giọng-khỏi-nhiễu.
Tám công việc mà mọi người thuê một bộ tách giọng nói để làm
Các trường hợp sử dụng có chồng chéo, nhưng mỗi cái giải quyết một vấn đề hơi khác nhau. Đọc chúng như những công việc riêng biệt giúp bạn quyết định liệu tách giọng có phải là bước đầu tiên đúng đắn hay không, hay liệu một công cụ khác nên đứng trước trong chuỗi.
Làm sạch bản ghi phỏng vấn. Các cuộc phỏng vấn hiếm khi diễn ra trong phòng được xử lý âm thanh. Văn phòng, đường phố, sự kiện và nhà riêng đều để âm thanh lọt vào bản thu. Tách giọng làm giảm sự xao nhãng đó và làm cho đối tượng dễ nghe hơn trước khi bạn chỉnh sửa, làm phụ đề hoặc lồng tiếng. Điều mà nó không thể làm là bịa ra giọng nói chưa từng được thu—nếu micro đặt quá xa hoặc một ban nhạc ồn ào chôn vùi giọng nói, có thể không còn gì sạch để khôi phục.
Cải thiện âm thanh podcast. Tiếng gõ bàn phím, tiếng quạt, tiếng xì và tiếng vọng phòng đều lấn át một cuộc trò chuyện. Một đoạn ghi sạch hơn giúp công việc về sau dễ dàng hơn: cắt khoảng dừng, cân bằng người nói, cắt clip và viết ghi chú chương trình. Khi nhiều người nói cùng lúc, kết quả phụ thuộc nặng vào mức độ chồng chéo, và các mô hình được tinh chỉnh cho người nói chồng chéo có thể tự tạo ra hiện tượng nhiễu xử lý của riêng chúng.
Chuẩn bị âm thanh cho chuyển giọng nói thành văn bản. Các công cụ chép lời làm việc tốt nhất khi từ ngữ rõ ràng và nhiễu thấp. Chạy tách giọng trước thường cải thiện bản chép lời, phụ đề hoặc việc tạo caption. Công cụ Chuyển giọng nói thành văn bản của chúng tôi chép lời âm thanh và video và tạo phụ đề qua nhiều ngôn ngữ, và độ chính xác của nó vẫn thay đổi theo chất lượng âm thanh, giọng vùng miền và điều kiện ghi âm. Hãy xem tách giọng như một bước chuẩn bị, không phải một bảo đảm: trong một số trường hợp hiện tượng nhiễu từ việc tăng cường thực sự có thể làm giảm độ chính xác nhận dạng, nên việc so sánh đoạn đã làm sạch với đoạn gốc là đáng giá đối với bất cứ điều gì quan trọng.
Làm sạch lời thoại cho hậu kỳ video. Các nhà biên tập thường xuyên phải đối phó với gió, giao thông, tiếng vù, tiếng cầm micro và tiếng nhạc nền lấn vào. Một đoạn lời thoại dùng được sau đó có thể được phối lại với hiệu ứng hoặc lời dẫn thay thế, và kết quả thường cho bạn biết liệu một cảnh có thể cứu vãn trong hậu kỳ hay cần ghi âm lại. Việc xử lý quá mạnh có thể loại bỏ âm nền phòng tự nhiên, nên các bản phát hành chuyên nghiệp vẫn xứng đáng có tai nghe của một biên tập viên.
Cải thiện đầu vào nhân bản giọng nói. Một mô hình nhân bản học các đặc điểm của người nói từ một mẫu, và nhiễu, âm nhạc cùng tiếng vọng làm điều đó khó hơn. Đầu vào sạch hơn thường cho kết quả tốt hơn, đó là lý do chúng tôi giới thiệu tách giọng như một bước chuẩn bị cho việc nhân bản trên trang Bộ tách giọng nói. Điều này quan trọng nhất khi mẫu duy nhất của bạn đến từ một video có nhạc nền, một bản ghi điện thoại, hoặc một buổi phát trực tiếp. Mẫu phải được sử dụng hợp pháp và có đạo đức: chỉ tải lên âm thanh mà bạn sở hữu hoặc có quyền xử lý, và xin sự đồng ý của người nói trước khi tạo hoặc triển khai một bản nhân bản.
Tạo lời dẫn rõ ràng hơn. Khi việc ghi âm lại bất tiện nhưng một bản thu lời dẫn có mức nhiễu vừa phải, tách giọng có thể làm sạch nó đủ để lồng vào video, ghép với âm nhạc, hoặc cắt thành dạng ngắn. Nó sẽ không tạo ra lời dẫn mới—nếu bản thu thực sự không dùng được, một lộ trình chuyển văn bản thành giọng nói hoặc nhân bản giọng nói sẽ phù hợp hơn.
Hỗ trợ bản địa hóa và lồng tiếng. Trước khi dịch một video, bạn thường muốn có một đoạn lời thoại sạch để có thể chép lời, làm phụ đề và lồng tiếng trong khi giữ nguyên hoặc phối lại phần nền. Chúng tôi cũng cung cấp Lồng tiếng AI để bản địa hóa nội dung, nhưng tách giọng và lồng tiếng làm những công việc khác nhau: tách giọng làm sạch âm thanh nguồn, trong khi lồng tiếng tạo ra giọng nói bằng một ngôn ngữ khác.
Khôi phục giọng nói từ các kho lưu trữ nhiễu. Các đoạn phim cũ, hội thảo trực tuyến, các cuộc họp được ghi âm và các clip do người dùng tạo đôi khi trở nên đủ rõ để hiểu hoặc để có một bản chép lời sơ bộ. Đối với tài liệu pháp lý, y tế, tài chính hoặc nhạy cảm về tuân thủ, hãy kiểm tra đầu ra so với bản gốc, vì xử lý bằng AI có thể thay đổi hoặc làm mất từ.
Khi nào nên dùng và khi nào nên ghi âm lại
Tách giọng xứng đáng có chỗ của nó khi giọng nói có mặt nhưng bị che bởi nhiễu vừa phải, khi bạn cần một đoạn lời thoại sạch hơn để chỉnh sửa, khi bạn đang cải thiện đầu vào trước khi chép lời hoặc nhân bản, hoặc khi việc ghi âm lại đơn giản là không khả thi. Điểm chung là có giọng nói có thể khôi phục được tồn tại trong tệp.
Nó gặp khó khăn khi giọng nói cực kỳ nhỏ hoặc không thể hiểu được, khi nhiều người nói chồng lên nhau liên tục, khi âm nhạc hoàn toàn che mất giọng nói, hoặc khi bản ghi mang tiếng vọng hoặc méo tiếng nghiêm trọng. Nó cũng là công cụ sai khi bạn cần phục hồi cấp độ pháp y hoặc cấp độ phát sóng, hoặc khi độ chính xác chính xác từng từ là thiết yếu và không ai sẽ xem lại kết quả. Nhiễu càng nghiêm trọng, khả năng xuất hiện hiện tượng nhiễu nghe được càng lớn—và các yếu tố thực tế như khoảng cách micro, tiếng vọng và nhiều người nói đều làm giảm hiệu suất tách giọng. Nếu bản thu gốc bị méo hoặc bị chôn vùi, một bản ghi âm mới thường nghe tự nhiên hơn bất cứ thứ gì bạn có thể cứu vãn.
Cách đánh giá một bộ tách giọng nói trước khi cam kết
Hãy chọn công cụ dựa trên bản ghi cụ thể bạn cần sửa, chứ không phải một clip demo sạch. Một vài tiêu chí phân biệt một lựa chọn phù hợp với một lựa chọn gây bực bội.
- Loại tách giọng. Quyết định xem bạn cần tách giọng khỏi nhiễu, lời thoại khỏi âm nhạc, một người nói khỏi người khác, hay giọng hát khỏi nhạc nền. Một công cụ được xây dựng để tách giọng nói có thể không tạo ra một bản riêng cho mỗi giọng trong một cuộc trò chuyện.
- Định dạng đầu vào và giới hạn. Xác nhận công cụ chấp nhận tệp nguồn của bạn. Bộ tách giọng nói của chúng tôi hỗ trợ MP3, WAV, AAC và các tệp video; vẫn hãy kiểm tra kích thước tệp tối đa và định dạng xuất trước một dự án lớn.
- Chất lượng âm thanh trong điều kiện thực tế. Kiểm tra một mẫu bao gồm phần nền tệ nhất trong dự án của bạn, để bạn đánh giá công cụ dựa trên trường hợp khó nhất chứ không phải trường hợp dễ nhất.
- Hiện tượng nhiễu đầu ra. Hãy lắng nghe âm sắc kim loại, phụ âm bị thiếu, âm tiết đứt quãng, nhạc nền lấn vào, và tiếng rung rè trong khi có giọng nói chồng chéo. Với nội dung quan trọng, hãy so sánh đầu ra đã xử lý với bản gốc và xem lại bản chép lời bằng tay.
- Khả năng tương thích quy trình. Kiểm tra bước tiếp theo cần gì. Nếu chép lời diễn ra sau đó, hãy đảm bảo đầu ra tải xuống ở định dạng dùng được; nếu nhân bản hoặc lồng tiếng diễn ra sau, hãy xác nhận các tệp chuyển qua được mà không cần chuyển đổi vô nghĩa.
- Quyền riêng tư và sự đồng ý. Âm thanh có thể chứa dữ liệu cá nhân hoặc giọng nói có thể nhận dạng. Xác nhận bạn có quyền tải lên và xử lý nó, và xử lý các mẫu nhân bản với sự cẩn trọng đặc biệt, vì một mẫu đã làm sạch khiến một giọng nói dễ tái tạo hơn.
Cách tách giọng khớp vào quy trình bản địa hóa DubSmart
Tách giọng hiếm khi hoạt động một mình. Nó là lớp làm sạch ở đầu một chuỗi dài hơn, và các công cụ xung quanh quyết định nó bổ sung bao nhiêu giá trị. Đối với một nhà sáng tạo đang bản địa hóa một cuộc phỏng vấn, một trình tự hợp lý trông như thế này:
- Chạy Bộ tách giọng nói để tách và làm sạch lời thoại.
- Gửi âm thanh đã làm sạch đến công cụ chuyển giọng nói thành văn bản để có một bản chép lời có thể chỉnh sửa.
- Xem lại tên riêng, thuật ngữ kỹ thuật, con số và bất kỳ phần nào không rõ ràng.
- Dịch hoặc điều chỉnh văn bản đã được duyệt.
- Tạo âm thanh lồng tiếng hoặc dẫn chuyện thông qua quy trình giọng nói phù hợp.
- So sánh âm thanh cuối với bản gốc về nghĩa, giọng điệu và nhịp thời gian.
Mô hình đó phù hợp với các kênh YouTube, podcast, khóa học trực tuyến, video tiếp thị và phim độc lập như nhau. Bộ tách giọng xử lý một công việc mà nó giỏi; nó không thay thế việc chép lời, dịch thuật, chỉnh sửa hay quản lý sự đồng ý. Khi bạn giữ các vai trò đó tách biệt, mỗi công cụ nhận được đầu vào công bằng và kết quả hoàn thiện sẽ đứng vững.
Câu hỏi thường gặp
Một bộ tách giọng nói có thể loại bỏ nhạc nền không?
Nó có thể giảm hoặc tách giọng nói khỏi nhạc nền, nhưng kết quả phụ thuộc vào mức độ lớn, phức tạp và giống giọng nói của âm nhạc. Hãy luôn lắng nghe nhạc nền lấn vào và hiện tượng nhiễu giọng nói trước khi bạn dựa vào đầu ra.
Tách giọng nói có thể cải thiện việc chép lời không?
Thường là có—làm sạch nhiễu giúp công cụ chép lời đọc giọng nói dễ hơn. Nhưng việc tăng cường đôi khi có thể tạo ra hiện tượng nhiễu làm hại độ chính xác, nên các bản chép lời quan trọng vẫn cần một lượt xem lại của con người.
Tôi có thể dùng một bộ tách giọng nói trước khi nhân bản giọng nói không?
Có. Một mẫu sạch hơn cho mô hình nhân bản đầu vào tốt hơn. Chỉ sử dụng âm thanh mà bạn sở hữu hoặc có quyền xử lý, và xin sự đồng ý của người nói trước khi tạo hoặc triển khai một bản nhân bản.
Nó có tách hai người nói cùng lúc không?
Một số hệ thống tách giọng nói cố gắng làm điều này, nhưng người nói chồng chéo khó hơn nhiều so với khử nhiễu thông thường. Kết quả thay đổi theo chất lượng micro, sự tương đồng giữa các người nói, tiếng vọng phòng và mức độ các giọng chồng lên nhau.
Một bộ tách giọng nói có giống với một bộ đổi giọng không?
Không. Một bộ tách giọng làm sạch hoặc tách giọng nói đã tồn tại. Một bộ đổi giọng biến đổi bản sắc giọng của người nói. Tách giọng cũng khác với chuyển giọng nói thành văn bản, chuyển văn bản thành giọng nói, nhân bản giọng nói và lồng tiếng AI—những công cụ liên quan giải quyết các vấn đề khác nhau.
