Institutional demo build

Evaluating Hindi speech-to-text
in the finance domain.

A structured benchmark of five automatic speech recognition systems transcribing real Hindi customer-support conversations across lending, credit, and payments. Each sample surfaces the finance-critical errors that matter for compliance, collections, and downstream automation.

ASR models
5
Call samples
10
Language
Hindi
Domain
Finance
Sample 01 · EMI & Collections

EMI & Collections

Hindi customer call · 13.44s · 5 model outputs

Red = finance-critical transcription error
Major error

₹10,000 becomes ₹10 lakh — a 100× blunder

One model swaps 'दस हज़ार' (10K) for 'दस लाख' (10 lakh) and even invents 'छह लाख'; another transcribes the entire reply in Urdu script instead of Hindi.

Call audio13.44s
S

Sarvam

तो कहूं कि चाहिए ₹10000 तभी मैं करा देता लेकिन ₹8000 आपके ऑटो डेबिट हो गए तो इतनी भी क्या गलती है सर और अभी। अब मान लीजिए फिर ऑटो डेबिट हो गया आपके अकाउंट पे। सपोज कीजिए।

G

Gnani

बहुत परेशान हो चुका हूँ क्योंकि ₹10,000 तभी मैं करा देता लेकिन ₹8,000 आपके ऑटो डेबिट हो गए तो मेरी क्या गलती है सर और अब भी मान लीजिए फिर ऑटो डेबिट हो गया आपके अकाउंट से सपोज़ कीजिए

S

Smallest

बहुत परेशान हो चुका हूँ कि दस हज़ार रुपए तभी मैं करा देता, लेकिन आठ हज़ार में आपके ऑटो डेबिट हो गए तो इसमें भी क्या करती है सर? और अब भी अब मान लीजिए फिर ऑटो डेबिट हो गए आपके अकाउंट से सपोज कीजिए.

G

GPT-4o-mini

Wrong script

اتنے ہزار روپے طبیب میں کرا دیتا لیکن آٹھ ہزار روپے آپ کے آٹو ڈیبٹ ہو گئے تو اس میں میری کیا غلطی ہے سر اور اب بھی مان لیجیے پھر آٹو ڈیبٹ ہو گئے آپ کے اکاؤنٹ سے سپوز کیجیے

S

Shunya

बहुत परेशान हो चुका हूँ किसी दस लाख तक भी वह करा देता लेकिन आठ हजार तक आपके Auto Debit OK थे स्नेही के अगर तीसर अब भी हमारे लिए छह लाख Auto Debit OK आपके Route से Force किस Way