Исследования · Языковые технологии

Честная оценка транслитерации: почему наш результат упал с 99,17% до 98,87%

Наш конвертер узбекского текста показывал 99,17%, пока не выяснилось, что словарь учитывал и тестовые предложения. Устранение утечки стоило 0,30 пункта, а девять изменившихся предложений показали, чему именно утечка научила модель.

· 5 мин чтения

bitg переводит узбекский текст на латиницу 2026 года прямо во время набора: o'zbek становится özbek, shahar — şahar, а английские слова вроде check или push остаются нетронутыми. С первого дня мы оценивали каждое изменение правил не на примерах, а на трёх фиксированных тестовых наборах. Утром 12 ноября 2026 года главный показатель упал — с 99,17% до 98,87%, и это падение оказалось самым полезным результатом из всех, что мы публиковали.

В этой статье — как устроены тестовые наборы, как возникла утечка, что говорят девять изменившихся предложений и чего цифры по-прежнему не измеряют.

Три набора, которые конвертер не может обмануть

Оценочные данные лежат в репозитории в папке eval/ и опубликованы под CC BY 4.0, так что любой может прогнать свой конвертер на тех же предложениях. В каждом файле 3 000 строк вида язык<TAB>вход<TAB>ожидаемое.

Набор Что проверяет Источник
uz.tsv на входе старая латиница со смешанными апострофами, на выходе латиница 2026 года Leipzig uzb_community_2017
uz_noapos.tsv та же задача, но апостроф в oʻ/gʻ пропущен (ozbek, togri) тот же корпус, другие предложения
en.tsv английские предложения с sh, ch или апострофом; они должны выйти без изменений Leipzig, английские новости 2020 (1 523) и веб 2018 (1 477)
Рисунок 1

У узбекских наборов есть свойство важнее размера. Исходные предложения написаны кириллицей, и вход, и ожидаемый ответ получаются из неё независимо: для входа — из кириллицы в старую латиницу, для ответа — из кириллицы в латиницу 2026 года. Конвертер никогда не видит написание ответа во входе, поэтому сам должен вывести Is'hoq → Ishoq и Sh.Sharipov → Ş.Şaripov. Берутся только предложения, где больше 20 кириллических букв и нет ни одной латинской; выборка зафиксирована через --seed 2026.

  1. Выборкаtools/build_eval.py берёт по 3 000 кириллических предложений на набор с фиксированным seed.
  2. Два независимых выводаВход (старая латиница) и ожидаемый ответ (латиница 2026 года) транслитерируются из кириллицы по отдельности.
  3. Исключениеtools/build_lexicon.py выбрасывает каждое предложение корпуса, совпадающее со строкой eval, до подсчёта слов.
  4. Оценкаbitg eval засчитывает предложение, только если весь вывод совпал точно.
Рисунок 2

Оценка строгая: одна неверная буква в любом месте проваливает всё предложение.

Как появилась утечка

bitg решает, узбекское ли слово, с помощью частотного словаря, собранного из открытых корпусов. Первый словарь считал слова по uzb_community_2017-words.txt — файлу частот, который Leipzig поставляет рядом с предложениями. Оценочные предложения были взяты из того же корпуса. Список слов не может сказать, из каких предложений получены его счётчики, поэтому 3 000 тестовых предложений незаметно оказались частью обучающих данных.

Исправление вошло в коммит b3102bc — тот же, что добавил новые корпуса. Теперь вместо списка слов читается полный файл предложений, и каждое исходное предложение, совпадающее с ожидаемой колонкой строки eval, отбрасывается (--exclude-eval eval/uz.tsv eval/uz_noapos.tsv). Согласно eval/README.md, так было удалено 6 002 предложения из community_2017 и 767 из newscrawl_2011, с учётом повторов.

В сообщении коммита записаны три строки, README репозитория их сохраняет:

Словарь uz uz_noapos en
прежний, тестовые предложения учтены 99,17% 69,07% 99,73%
те же источники, eval исключён 98,87% 68,50% 99,73%
больше источников, eval исключён 98,87% 81,30% 99,73%
Рисунок 3

Вторая строка — честная версия первой. Третья — реальный прогресс на тексте без апострофов, и верить ей можно только потому, что существует вторая.

Для этой статьи мы пересобрали обе версии из исходников на одной машине. Словарь из родительского коммита a7962ef на опубликованных файлах eval даёт 2975/3000 (99,17%) на uz.tsv и 2072/3000 (69,07%) на uz_noapos.tsv. Текущий main (2de5c94) даёт 2966/3000 (98,87%), 2436/3000 (81,20%) и 2992/3000 (99,73%). Опубликованные цифры воспроизводятся точно.

Чему учила утечка

Девять предложений — небольшая разница, поэтому мы сравнили два прогона построчно. Десять предложений, которые проходили со «протёкшим» словарём, теперь не проходят; одно, которое раньше не проходило, теперь проходит.

Эти десять многое объясняют. Корпус community_2017 — это пользовательские комментарии, и в кириллице часто встречаются опечатки: г вместо ғ, к вместо қ. Поскольку ожидаемый ответ транслитерирован из этой кириллицы, опечатка в нём сохраняется. При утечке словарь видел эти ошибочные формы в самих тестовых предложениях, поэтому bitg их не трогал и совпадал с «ожидаемым» ответом. Без утечки он делает то, что сделал бы внимательный читатель. В шести случаях из десяти, по нашему прочтению, bitg восстанавливает букву, потерянную в источнике:

  • girt → ğirt, kambagal → kambağal, garbga → ğarbga, yorug → yoruğ, gazabiga → ğazabiga, kopda → köpda.

Остальные четыре — настоящие ошибки:

  • holdan toyadi («валится с ног от усталости») превратилось в töyadi («насыщается»); художник Шагал, Şagal, стал Şağal; orka и kolsa (опечатки вместо orqa и qolsa) стали örka и kölsa.

Значит, утечка не сделала bitg лучше в узбекском языке. Она сделала его лучше в воспроизведении шума одного конкретного тестового набора. Такое завышение легко пропустить, и оно ведёт не туда: модель получает награду за согласие с опечатками.

Это также означает, что 98,87% — шумная мера: часть оставшихся 34 ошибок — шум корпуса, часть — реальные ошибки. README говорит об этом одной строкой («большая часть разрыва — ошибки кириллического корпуса»); после этого сравнения мы бы формулировали осторожнее, ведь четыре из десяти новых ошибок оказались настоящими.

Намеренное ухудшение

Та же дисциплина действует, когда изменение снижает цифру сознательно. В PR #8 мы перестали угадывать слова, которые без апострофа действительно читаются двояко. ochmaydi можно прочитать как «не открывает» или как oʻchmaydi («не гаснет»); otdim — «я бросил» или oʻtdim — «я прошёл». Старый код выбирал более частую основу и молча менял слово.

Новое правило оставляет такое слово как есть, если обе основы распространены (вес не меньше 2,9, разница не больше 1,2), форма без апострофа ни разу не встречается в корпусе, а кандидат редок (вес ниже 3,0). Конвертер на сайте подсвечивает такое слово жёлтым и даёт читателю переключить вариант.

На uz_noapos.tsv это сдвинуло результат с 2439 до 2436. На уровне слов три предложения, где eval ожидал слово без изменений (otdim, oçmaydi, otlikka), стали правильными, а десять действительно двусмысленных слов (среди них otmoqchi, oqdan, oqidan) больше не угадываются. Прежде чем выбрать порог, мы прошлись по значениям: 3,0 дало 2434, 3,2 — 2430, 3,6 — 2424, 4,0 — 2402. Мы выпустили версию с более низкой цифрой, потому что для пишущего человека молчаливая неверная догадка хуже видимой пометки «проверьте».

Ограничения

  • Одно семейство корпусов. Оба узбекских набора взяты из Leipzig uzb_community_2017. Комментарии неплохо представляют повседневный набор текста, но не юридические, технические или художественные тексты. Второй предметной области у нас пока нет.
  • Оценка по точному совпадению. Предложение с одной ошибочной буквой считается так же, как предложение с десятью. Точность на уровне слов мы пока не публикуем.
  • Шум в ответах. Ожидаемый вывод сохраняет опечатки кириллического источника. Вручную набор мы не чистили, поэтому часть «ошибок» — случаи, где прав bitg.
  • Английский всё ещё не идеален. Восемь английских предложений меняются. Пример: RP'er превращается в RPʼer, потому что bitg нормализует апостроф.
  • Скорость зависит от машины. README приводит 2,7 мкс на узбекское слово по отдельному бенчмарку. Строка скорости, которую bitg eval вывел на машине, где мы перепроверяли эту статью, — 7,48 мкс на слово; это не бенчмарк, и мы не сравниваем эти числа.

Правило, которого мы держимся: оценочный набор открыт, он исключается из обучения кодом, а не благими намерениями, и каждое изменение оценивается по трём цифрам — даже когда они падают.

Повторите сами

Первые три команды дают на main 2966/3000, 2436/3000 и 2992/3000; последние две пересобирают словарь до исправления и дают 2975/3000 (99,17%) на тех же предложениях.

$ cargo build --release -p bitg-cli
$ target/release/bitg eval eval/uz.tsv
$ target/release/bitg eval eval/uz_noapos.tsv && target/release/bitg eval eval/en.tsv
$ git checkout a7962ef -- crates Cargo.toml Cargo.lock
$ cargo build --release -p bitg-cli && target/release/bitg eval eval/uz.tsv
Репозиторий
dtwinuz/bitg
Коммит
2de5c94
Материалы
wonmortech/research

Источники

  1. github.com/dtwinuz/bitg/commit/b3102bc0f4127e8ccb9f05a21a76cce20275353e
  2. github.com/dtwinuz/bitg/pull/8
  3. dtwinuz/bitg eval/README.md
  4. dtwinuz/bitg README.md (sections Sifat, Lug'at)

Похожие материалы

Смотреть ещё