Diterbitkan January 16, 2025•~10 min baca

Memahami Tingkat Kesalahan Kata dalam Model Pidato

Tingkat Kesalahan Kata (WER) adalah metrik utama untuk mengevaluasi akurasi sistem pengenalan suara. Ini mengukur kesalahan transkripsi dengan menganalisis penggantian, penyisipan, dan penghapusan dalam output dibandingkan dengan teks asli. Skor WER yang lebih rendah berarti kualitas transkripsi yang lebih baik, dengan transkripsi oleh manusia biasanya mencapai sekitar 4% WER.

Poin Kunci:

Rumus:
WER = (Penggantian + Penyisipan + Penghapusan) / Total Kata × 100%
Contoh:
Asli: "Cuaca hari ini sangat indah"
Output ASR: "Apakah cuaca hari indah"
WER = 40%
Aplikasi: Digunakan dalam asisten suara, transkripsi otomatis, dan subtitle video.
Tantangan: Kesulitan dengan aksen, konteks, dan terminologi khusus.

Alternatif untuk WER:

Metrik lain seperti Tingkat Kesalahan Token (TER), Tingkat Kesalahan Karakter (CER), dan Formatting F1 Score menangani keterbatasan WER dengan fokus pada konteks, tanda baca, dan akurasi tingkat kalimat.

Perbandingan Cepat Layanan Pengenalan Suara:

Layanan	WER	Bahasa Didukung	Fitur Khusus
Google Speech-to-Text	4.9%	125+	Kosa kata khusus, tanda baca
Microsoft Azure	5.1%	100+	Transkripsi waktu nyata
DubSmart	Tidak diungkapkan	70+	Dubbing video, subtitle
Upbe ASR	Bervariasi	Terbatas	Aturan tata bahasa dan konteks

WER adalah metrik dasar, tetapi menggabungkannya dengan alat evaluasi lain memberikan gambaran yang lebih lengkap tentang kinerja ASR.

Perhitungan Tingkat Kesalahan Kata

Rumus dan Komponen WER

Tingkat Kesalahan Kata (WER) mengukur kesalahan dalam pengenalan suara dengan memperhitungkan penggantian, penyisipan, dan penghapusan. Setiap tipe kesalahan memiliki bobot yang sama dalam perhitungan, meskipun dampaknya terhadap makna teks dapat berbeda.

Rumus untuk WER sederhana:

WER = (Penggantian + Penyisipan + Penghapusan) / Total Kata × 100%

Ayo kita uraikan dengan sebuah contoh.

Contoh Perhitungan WER

Teks Asli: "Cuaca hari ini sangat indah"
Output ASR: "Apakah cuaca hari indah"

Penggantian: 2 ("apakah" menggantikan "cuaca" dan "hari" menggantikan "hari ini")
Penyisipan: 0
Penghapusan: 0
Total Kata dalam Asli: 5

Sekarang, menerapkan rumus:

WER = (2 + 0 + 0) / 5 × 100% = 40%

Contoh ini menggambarkan bagaimana setiap tipe kesalahan memengaruhi skor keseluruhan WER.

Misalnya, layanan speech-to-text DubSmart menggunakan algoritma canggih untuk mencapai WER yang lebih rendah dalam 70 bahasa. Sistem ini meningkatkan akurasi dengan mengandalkan data pelatihan berkualitas tinggi dan teknik mutakhir.

Aplikasi dan Tantangan WER

Aplikasi WER

Tingkat Kesalahan Kata (WER) memainkan peran kunci dalam mengukur seberapa akurat sistem pengenalan suara di berbagai kasus penggunaan, seperti transkripsi panggilan otomatis dan sistem yang menangani banyak bahasa. Perusahaan sering mengandalkan WER untuk menilai sistem ini, terutama dalam pengaturan layanan pelanggan di mana presisi adalah hal yang penting.

Dalam sistem multibahasa, WER membantu menangani tugas sulit menjaga konsistensi akurasi transkripsi di berbagai bahasa dan sistem fonetik. Ini sangat berguna ketika bekerja dengan kumpulan data besar, karena WER menjadi tolok ukur seberapa baik sistem Automatic Speech Recognition (ASR) berkinerja di lingkungan linguistik yang beragam.

Ambil contoh platform seperti DubSmart. Mereka menggunakan WER untuk meningkatkan kualitas transkripsi dan terjemahan dalam 70 bahasa. Ini memastikan hasil yang lebih baik untuk layanan seperti pengisian suara dan aplikasi pengiriman-ucapan-ke-teks. Dengan menganalisis WER, pengembang dapat mengidentifikasi area untuk perbaikan dan menyempurnakan model ASR untuk penggunaan praktis di dunia nyata.

Meskipun demikian, meskipun WER adalah alat yang berharga, ia memiliki kekurangannya, terutama ketika berhadapan dengan konteks dan keragaman linguistik.

Keterbatasan WER

WER, sebagai metrik, memiliki beberapa kekurangan yang signifikan yang membatasi efektivitasnya jika digunakan sendiri:

Kekurangan Konteks: WER memperlakukan semua kesalahan dengan sama, bahkan ketika kesalahan tertentu secara drastis mengubah makna kalimat.
Tantangan Aksen: Ini kesulitan dengan variasi aksen, menunjukkan keterbatasan dalam cara model ASR saat ini menangani pola bicara yang beragam.
Makna Terabaikan: Dengan hanya fokus pada akurasi tingkat kata, WER sering melewatkan gambaran besar seperti tujuan atau makna keseluruhan dari konten yang diucapkan.

Untuk mengatasi masalah ini, pendekatan baru seperti Estimasi WER Sistem-Independen (SIWE) telah muncul. Metode ini menunjukkan kemajuan, meningkatkan akar rata-rata kesalahan kuadrat (RMSE) dan koefisien korelasi Pearson masing-masing sebesar 17,58% dan 18,21% pada kumpulan data standar.

Di bidang spesialis seperti transkripsi medis, keterbatasan WER menyoroti perlunya metrik tambahan untuk memastikan hasil yang andal dan tepat. Tantangan ini menunjukkan bahwa WER harus dilengkapi dengan alat evaluasi lain untuk memberikan penilaian yang lebih lengkap tentang kinerja ASR.

Metrik Evaluasi Lain untuk Pengenalan Suara

Metrik Alternatif

Sementara Tingkat Kesalahan Kata (WER) adalah ukuran akurasi yang banyak digunakan, itu tidak menangkap semua - konteks, format, dan detail khusus bahasa dapat terabaikan. Di situlah metrik tambahan masuk.

Tingkat Kesalahan Token (TER) melampaui kata-kata, dengan fokus pada format, tanda baca, dan istilah khusus. Ini membuatnya sangat berguna untuk tugas yang membutuhkan ketelitian dalam area ini. Tingkat Kesalahan Karakter (CER), di sisi lain, unggul dalam menangani sistem penulisan yang kompleks, sementara Tingkat Kesalahan Kalimat (SER) mengevaluasi akurasi di tingkat kalimat.

Metrik berguna lainnya adalah Formatting F1 Score, yang menilai seberapa baik sistem menjaga elemen struktural seperti tanda baca dan kapitalisasi. Hal ini sangat penting untuk industri seperti transkripsi hukum atau medis, di mana detail-detail ini penting.

Mengapa Menggunakan Banyak Metrik?

Mengandalkan hanya satu metrik dapat memberikan gambaran yang tidak lengkap tentang kinerja sistem. Menggabungkan metrik yang berbeda membantu menciptakan kerangka evaluasi yang lebih menyeluruh. Misalnya, kumpulan data Fleurs dari Google menunjukkan ini dengan menawarkan data evaluasi untuk 120 bahasa, yang menangani berbagai tantangan linguistik.

Berikut adalah ringkasan cepat dari metrik kunci dan aplikasi idealnya:

Jenis Metrik	Area Fokus	Terbaik Untuk
Tingkat Kesalahan Kata	Akurasi tingkat kata	Transkripsi umum
Tingkat Kesalahan Token	Format dan tanda baca	Dokumentasi teknis
Tingkat Kesalahan Karakter	Ketelitian tingkat karakter	Sistem penulisan yang kompleks
Tingkat Penyelesaian Tugas	Sukses fungsional	Sistem perintah suara
Formatting F1 Score	Akurasi struktural	Transkripsi profesional

Menggunakan banyak metrik mengungkap kekuatan dan kelemahan dalam sistem. Misalnya, sistem mungkin berkinerja baik dalam akurasi kata tetapi kesulitan dengan format. Dengan menganalisis berbagai metrik, pengembang dan pengguna dapat memilih alat yang tepat untuk kebutuhan spesifik mereka.

Platform pengenalan suara modern menggunakan pendekatan ini, menggunakan banyak metrik untuk mengidentifikasi area untuk perbaikan tanpa mengorbankan kinerja keseluruhan. Metode ini memastikan sistem disesuaikan untuk aplikasi yang beragam, mulai dari pengisian suara video hingga transkripsi tingkat profesional.

Kesimpulan dan Masa Depan Evaluasi Pengenalan Suara

Meninjau Kembali WER

Tingkat Kesalahan Kata (WER) telah lama menjadi metrik andalan untuk menilai akurasi sistem pengenalan suara. Ini menawarkan cara yang jelas untuk mengukur kinerja, membantu pengembang dan bisnis membuat keputusan yang terinformasi. Misalnya, sistem terkemuka seperti yang dari Google dan Microsoft sekarang memiliki skor WER sebesar 4.9% dan 5.1%, yang mendekati akurasi transkripsi manusia pada 4%.

Namun, WER tidaklah tanpa kekurangan. Ini tidak mempertimbangkan konteks kata, variasi dalam kualitas audio, atau penggunaan terminologi khusus. Hal ini membuat jelas bahwa WER seharusnya menjadi bagian dari kerangka evaluasi yang lebih luas daripada menjadi satu-satunya ukuran keberhasilan.

Beralihnya Tren dalam Evaluasi

Cara kita mengevaluasi sistem pengenalan suara sedang berubah, dengan penekanan yang lebih besar pada pemahaman konteks dan menangani berbagai skenario. Pergeseran ini bertujuan untuk mengisi kesenjangan yang ditinggalkan oleh WER dan menciptakan proses evaluasi yang lebih menyeluruh.

Tren	Dampak Potensial
Pemahaman Kontekstual	Menambahkan analisis semantik untuk memahami makna yang lebih dalam
Evaluasi Multi-metrik	Memberikan gambaran yang lebih luas tentang kinerja
Analisis yang Ditingkatkan AI	Mengidentifikasi dan mengkategorikan pola kesalahan lebih efektif
Penggunaan Kumpulan Data Skala Besar	Meningkatkan adaptabilitas terhadap pola bicara yang beragam

Kumpulan data seperti Fleurs menggambarkan bagaimana data pelatihan yang beragam dapat meningkatkan kinerja sistem di berbagai bahasa. Metode evaluasi baru berfokus pada:

Kecerdasan Kontekstual: Mengukur tidak hanya akurasi transkripsi tetapi juga seberapa baik sistem menangkap makna keseluruhan dari ucapan.
Kinerja dalam Berbagai Lingkungan: Menguji bagaimana sistem menangani pengaturan akustik yang berbeda.
Akurasi Khusus Industri: Mengevaluasi seberapa baik sistem berkinerja di bidang khusus seperti kesehatan atau keuangan.

Pembaruan ini sangat penting untuk aplikasi yang disesuaikan. Alat yang didukung AI sudah menggunakan kemajuan ini untuk memberikan pengenalan suara yang lebih tepat dan andal di seluruh bahasa dan industri. Fokus evaluasi bergeser ke arah pemahaman bagaimana kesalahan memengaruhi penggunaan di dunia nyata.

Ke depan, metode evaluasi cenderung menyeimbangkan presisi kuantitatif WER dengan wawasan yang lebih bernuansa dan kontekstual. Evolusi ini akan sangat penting seiring dengan meningkatnya penggunaan pengenalan suara dalam kehidupan pribadi dan profesional kita.

Opsional: Perbandingan Layanan Pengenalan Suara

Memilih layanan pengenalan suara melibatkan melihat lebih dari sekadar Tingkat Kesalahan Kata (WER) untuk menilai fitur tambahan dan bagaimana mereka sejalan dengan kebutuhan Anda. Inilah rincian beberapa layanan populer untuk membantu Anda memutuskan:

Fitur Layanan	Google Speech-to-Text	Microsoft Azure Speech	DubSmart	Upbe ASR
Tingkat Kesalahan Kata	4.9%	5.1%	Tidak diungkapkan secara publik	Bervariasi berdasarkan penggunaan
Dukungan Bahasa	125+ bahasa	100+ bahasa	70+ bahasa	Bahasa terbatas
Peniruan Suara	Terbatas	Ya	Ya	Tidak
Penanganan Kebisingan Latar Belakang	Lanjutan	Lanjutan	Moderat	Khusus
Model Harga	Bayar per penggunaan	Bayar per penggunaan	Paket berjenjang mulai dari $19.9/bulan	Harga kustom
Fitur Khusus	Kosa kata khusus, Tanda baca otomatis	Model pidato khusus, Transkripsi waktu nyata	Subtitle dalam 70+ bahasa	Aturan tata bahasa dan konteks

Saat membandingkan layanan, perhatikan poin-poin penting ini:

Penanganan Kualitas Audio: Beberapa layanan, seperti Upbe ASR, unggul dalam menangani audio dari lingkungan yang bising, menjadikannya ideal untuk dukungan pelanggan atau penggunaan di luar ruangan.
Aplikasi Khusus: DubSmart, misalnya, memenuhi kebutuhan pencipta konten dengan fitur seperti pengisian suara video dan pembuatan subtitle, sementara yang lain mungkin fokus pada area seperti transkripsi medis atau layanan pelanggan.
Penetapan Harga dan Skalabilitas: DubSmart menawarkan paket berjenjang yang cocok untuk tingkat penggunaan berbeda, sementara layanan seperti Google dan Microsoft menggunakan model bayar per penggunaan, yang mungkin lebih cocok untuk kebutuhan skalabilitas yang bervariasi.
Opsi Integrasi: Beberapa platform memprioritaskan API yang ramah pengembang, sementara yang lain dirancang agar ramah pengguna untuk pengguna non-teknis, seperti pencipta konten.

Walaupun WER adalah metrik penting, fitur seperti dukungan bahasa, fleksibilitas harga, dan opsi integrasi memainkan peran penting dalam menentukan layanan yang tepat untuk kebutuhan Anda. Evaluasi yang seimbang dari semua faktor ini akan membantu Anda membuat pilihan terbaik.

Pertanyaan yang Sering Diajukan

Berikut adalah ringkasan cepat dari pertanyaan umum tentang WER dan bagaimana penggunaannya.

Apa itu tingkat kesalahan kata dalam pengenalan suara?

WER adalah metrik yang menunjukkan seberapa akurat transkripsi dengan menghitung persentase kesalahan dalam jumlah total kata. Ini mempertimbangkan penggantian, penghapusan, dan penyisipan untuk mengukur sejauh mana sistem pengenalan suara berkinerja baik.

Bagaimana cara menghitung tingkat kesalahan kata?

WER dihitung dengan menambahkan jumlah penggantian, penghapusan, dan penyisipan, lalu membagi total tersebut dengan jumlah kata dalam teks asli. Untuk penjelasan detail, lihat bagian "Rumus dan Komponen WER".

Bagaimana cara mengurangi tingkat kesalahan kata?

Berikut beberapa cara untuk menurunkan WER:

Tingkatkan Teknologi
Gunakan alat pengurangan kebisingan, pra-pemrosesan audio berkualitas tinggi, dan model ASR canggih yang memahami konteks.
Tingkatkan Kualitas Data
Latih model dengan konten khusus industri, sertakan berbagai aksen dan pola bicara, dan secara rutin perbarui model dengan transkripsi yang telah dikoreksi.
Pilih Platform yang Tepat
Pilih layanan yang disesuaikan dengan kebutuhan Anda, seperti platform multibahasa seperti DubSmart, dan prioritaskan penyedia dengan tingkat WER rendah yang terbukti.

Apa itu tingkat kesalahan kata yang baik?

Berikut adalah panduan cepat untuk tolok ukur WER:

5-10% WER: Berkualitas tinggi, cocok untuk produksi.
20% WER: Dapat digunakan tetapi dapat ditingkatkan.
Di atas 20%: Membutuhkan penyesuaian besar.

Alat pengenalan suara terbaik saat ini dapat mencapai tingkat WER serendah 4,9–5,1% dalam kondisi ideal, yang mendekati akurasi tingkat manusia.

Tolok ukur ini berguna untuk menilai kinerja di berbagai industri. Untuk evaluasi yang lebih detal, eksplorasilah metrik yang disebutkan dalam bagian "Metrik Evaluasi Lain".