Как сравнить распознавание казахской и смешанной речи без утечки в тест
По документации ISSAI составьте план проверки распознавания на казахской речи и на записях с переключением на русский, исключив пересечение с обучением.
Как решить эту задачу
Авторы KSC2 указывают, что в корпус вошли и высказывания с переключением между казахским и русским. Для оценки выделите два среза: фрагменты только на казахском и фрагменты, где действительно звучат оба языка. Если в выбранных материалах нет пригодной разметки, разметьте небольшую выборку вручную по аудио и транскрипции; отдельно оговорите, считать ли имена и заимствования переключением языка. Используйте приведённые ниже карточки, чтобы перейти к официальным ресурсам и сверить доступность нужного набора с его владельцем.
Источников: 1 · Снимок реестра: . Это порталы и репозитории, не отдельные наборы данных.
Как отобраны источники
Выбран каталог ISSAI Назарбаев Университета. Страница KSC2 описывает состав корпуса, а публикация авторов и описание KazakhTTS2 помогают проверить происхождение записей. Доступность, состав данных и условия использования проверяйте на сайте владельца. Метаданные реестра не являются подтверждением работоспособности.
Разведите две задачи распознавания
Авторы KSC2 указывают, что в корпус вошли и высказывания с переключением между казахским и русским. Для оценки выделите два среза: фрагменты только на казахском и фрагменты, где действительно звучат оба языка. Если в выбранных материалах нет пригодной разметки, разметьте небольшую выборку вручную по аудио и транскрипции; отдельно оговорите, считать ли имена и заимствования переключением языка.
Проверьте происхождение записей до разбиения
KSC2 включает материалы прежних KSC и KazakhTTS2, а также передачи и подкасты. Обучение на KazakhTTS2 и тест на случайных строках KSC2 не дают независимой оценки. Сверьте состав уже использованных корпусов; по возможности группируйте записи по диктору и исходному выпуску передачи и не делите одну группу между обучением и тестом. Если происхождение записей нельзя сверить, не называйте тест независимым.
Зафиксируйте единые правила подсчёта ошибок
В одном и том же тесте сравнивайте ответы моделей с одними и теми же транскрипциями. До прогона задайте правила для регистра, пунктуации, чисел и разделения на слова. Сохраняйте различия казахских и русских букв. Для каждого среза разделите сумму замен, пропусков и вставок на число слов в эталоне; рядом с долей ошибок (WER) укажите объём теста.
Проверьте, чем объясняется разница между срезами
Сравните ошибки внутри однотипных записей, например только подкастов: студийное чтение и разговор в эфире различаются не только языком. Посмотрите вручную, чаще ли модель пропускает русские фрагменты или ошибается на всём высказывании. Если по одному из срезов мало источников, укажите это и не переносите вывод на всю разговорную речь Казахстана.
Научный репозиторий данных. География: Казахстан. Тематики: Наука и технологии, Образование, культура и спорт. Сайт источника: issai.nu.edu.kz. В реестре указан программный доступ через API. Состав наборов, даты обновления и условия использования уточняйте на сайте владельца.
Автоматически сформированное описаниеСоставлено по полям реестра. Это не цитата владельца и не результат проверки наборов.
API указанAPI указан в метаданных; работоспособность методов не подтверждена Ссылка не проверяласьАвтоматическая проверка для этой ссылки не выполнялась.
География
Казахстан🇰🇿
Владелец
Institute of Smart Systems and Artificial Intelligence. Nazarbayev University
Режим доступа
Открытый доступРежим доступа указан в метаданных портала. Он может отличаться для отдельных наборов; уточняйте условия у владельца.
Карточка
Заполненность метаданных 90%Показывает, насколько заполнены поля карточки. Не оценивает точность данных, доступность портала или качество конкретного набора.
Карточка обновлена . Не дата обновления набора.Это дата снимка метаданных или технической проверки ссылки, а не дата публикации или обновления данных владельцем.
Статус реестра и заполненность карточки не подтверждают доступность, актуальность или право на использование наборов. Условия проверяйте у владельца.