bitg sifati: ochiq o‘lchov va uni qayta tekshirish

bitg aniqligi har kim yuklab olib tekshira oladigan ochiq to‘plamda o‘lchanadi: 3 000 ta o‘zbekcha, 3 000 ta apostrofsiz va 3 000 ta inglizcha gap. O‘lchov sanasi — 2026-yil 12-noyabr.

Natijalar

Hisob butun gap bo‘yicha: gapdagi bitta so‘z xato bo‘lsa ham, gap xato sanaladi. Bu harf yoki so‘z bo‘yicha hisobdan qattiqroq o‘lchov.

To‘plam: nima o‘lchanadi

Har qator: til<TAB>kirish<TAB>kutilgan. To‘plam Leipzig Corpora Collection gaplaridan tasodifiy tanlangan (--seed 2026 --limit 3000) va CC BY 4.0 litsenziyasida tarqatiladi — o‘z konvertoringizni xuddi shu gaplarda tekshirishingiz mumkin.

Usul: nega bu o‘lchovga ishonsa bo‘ladi

• Javob konvertordan mustaqil. O‘zbekcha qatorda kirish ham, kutilgan javob ham kirill gapdan alohida olinadi (kirill → eski lotin, kirill → yangi lotin). Kirillda ш, ч, ў, ғ alohida harf, shuning uchun to‘g‘ri javob noaniq emas. Konvertor esa faqat eski lotinni ko‘radi va Is'hoq → Ishoq, O'zA → ÖzA, Sh.Sharipov → Ş.Şaripov kabi holatlarni o‘zi topishi kerak.
• Baholash gaplari o‘qitishda ishlatilmagan. Lug‘at qurilayotganda har bir manba gapi to‘plamdagi gaplar bilan solishtiriladi va mos kelgani tashlab yuboriladi (tools/build_lexicon.py --exclude-eval).
• Inglizcha to‘plam alohida. Faqat o‘zbekcha aniqlikni o‘lchash yetmaydi: hamma sh ni ş qiladigan vosita o‘zbekchada yaxshi, lekin shop → şop qilib inglizchani buzadi. Shuning uchun ikkalasi birga ko‘rsatiladi.

Qolgan xatolar qayerdan

uzb_community_2017 — foydalanuvchi izohlari, kirill matnning o‘zida imlo xatolari bor (masalan, Киргизистон, Фаргона). Kutilgan javob xatoni saqlaydi, bitg esa ba’zan uni to‘g‘rilab qo‘yadi — bunday «xato» haqiqiy xato emas. 34 ta farqli gapning ko‘pi shu turdagi shovqin.

Apostrofsiz matnda bitg ikki ma’noli so‘zni taxmin qilmaydi: qol / qo‘l, oz / o‘z, yoq / yo‘q yozilganicha qoladi va «tekshiring» deb belgilanadi. 81,20 % ning sababi shu ehtiyotkorlik: noto‘g‘ri tiklangan so‘z jim qolgan xatodan yomonroq.

O‘zingiz tekshiring

Kerak bo‘ladigani — Git va Rust. Buyruqlar:

git clone https://github.com/dtwinuz/bitg
cd bitg
cargo build --release -p bitg-cli
target/release/bitg eval eval/uz.tsv
target/release/bitg eval eval/uz_noapos.tsv
target/release/bitg eval eval/en.tsv

Har buyruq to‘g‘ri gaplar sonini va foizni chiqaradi (masalan, uz 2966/3000 98.87%). To‘plamni noldan qurish: tools/build_eval.py. Tezlik o‘lchovi alohida: cargo run --release -p bitg-core --example bench -- eval/uz.tsv.

Tezlik va resurs: boshqa konvertorlar bilan bir xil matnda

Bir xil gaplarda: eval/uz.tsv (42 670 so‘z) va eval/en.tsv (62 082 so‘z). Boshqa konvertorlarning dvigateli ularning saytidagi JavaScript faylidan olinib, o‘zgartirilmasdan Node’da yurgizilgan. Isitishdan keyin 5 marta o‘rtachasi, bitta kompyuterda.

Jadval bilan almashtiradigan konvertorlar o‘zbekcha matnda taxminan 15 % tezroq, chunki bitg har so‘zni lug‘at va kontekst bilan tekshiradi. Inglizcha matnda bitg eng tez. Amalda bu farq sezilmaydi: tugmalar orasidagi vaqt taxminan 100 000 µs, bir so‘zni o‘girish esa 2–3 µs.

Boshqa konvertorlar 2026-yil 12-noyabrdagi saytlaridagi fayl bilan o‘lchangan; saytlar yangilansa, natija o‘zgarishi mumkin. Microsoft Store’dagi ilovalar (ular haqida — taqqoslash sahifasida) bu to‘plamda o‘lchanmagan.

Xato topdingizmi?

Noto‘g‘ri o‘girilgan so‘zni GitHub’da yoki fikr sahifasida yuboring. Yangi reliz chiqqanda o‘lchov qayta yurgiziladi va bu sahifa yangilanadi.

Yangilangan: 2026-yil 14-noyabr