В Ubuntu появится голосовой ввод на базе ИИ под названием Myna. Это функция распознавания речи, которая позволяет диктовать текст в любое доступное текстовое поле. Проект ещё в разработке, но редакция взяла раннюю сборку, чтобы посмотреть, как он развивается.

Ubuntu 26.10 уже перешла в стадию заморозки, и пользовательские части Myna начинают обретать форму. На этой неделе в стандартную установку добавили новое расширение GNOME Shell, которое показывает на экране индикатор, когда Myna слушает и записывает.

Подробнее о сути, назначении и устройстве Myna рассказывает отдельный разбор. Редакция обновляет его по мере появления новых сведений о реализации.

Уточним: Myna не расширение GNOME Shell. Это оркестратор, который управляет загрузкой ИИ-модели, отслеживает нажатие горячей клавиши, передаёт звук с микрофона модели для распознавания и возвращает результат в текстовое поле через IBus.

Расширение важно как видимая часть: оно показывает, когда Myna активно слушает и обрабатывает звук.

Ниже запись экрана, на которой редакция активирует Myna и использует её для расшифровки предложения в приложении Text Editor:

Myna запущена в виртуальной машине, поэтому выводов о производительности по этой записи делать не нужно.

В описании Myna на GitHub сказано: “Хотите ли вы диктовать текст без рук, улучшить доступность или упростить рабочий процесс, Myna встраивает распознавание речи прямо в вашу Linux-экосистему”.

Myna активируется нажатием, а не удержанием горячей клавиши, которая включает прослушивание. В тестах редакции для этого был назначен Super + T.

Экранный индикатор (OSD) показывает, что прослушивание активно. Во время речи внутри OSD колеблется анимированная “волна”, что служит наглядным подтверждением работы.

После завершения диктовки нужно снова нажать ту же комбинацию. Анимация OSD замирает, пока аудио расшифровывается в фоне. Через короткую паузу текст появляется в текстовом поле приложения, которое было в фокусе при запуске распознавания.

Что произойдёт, если закрыть или свернуть целевое окно? OSD Myna сообщит, что фокус потерян.

Однако уход курсора за пределы окна или переключение по Alt+Tab, согласно спецификации, не должно приводить к этому. Myna запоминает нужное целевое окно, поэтому текст не попадёт в другое текстовое поле, которое вы выделите позже.

Если звука нет, Myna сообщит об этом. Тишину она не расшифровывает.

ИИ-модели, на которых работает Myna

В Canonical заявляют, что аудио не покидает устройство. Myna не полагается на облачные модели и работает полностью офлайн, в прямом и переносном смысле. Аудио, используемое для расшифровки, не сохраняется, не пишется в логи и не применяется для обучения.

В тестах редакции Myna использовала Whisper. Однако будут доступны разные локальные ИИ-модели, все в виде snap-пакетов. Среди них есть варианты только для NVIDIA GPU, только для CPU, а также модели с более широкой языковой поддержкой.

К тому времени, когда эта функция будет готова к более широкому тестированию, система сможет выбирать наиболее подходящую локальную ИИ-модель для конкретного оборудования.

На момент тестирования в Snap Store ещё не было ни голосовых snap-пакетов, ни оркестратора Myna, но редакция собрала и запустила его из исходного кода на GitHub.

Хорошая новость: всё работало достаточно точно, хотя и с заметной задержкой. Редакция запускала незавершённый код в виртуальной машине, поэтому окончательных выводов о скорости делать не стоит. Текст появлялся в большинстве проверенных полей, включая текстовый редактор, обзор GNOME Shell и Firefox.

По словам вице-президента Canonical по разработке Джона Сигера, компания будет обдуманно подходить к ИИ-функциям в Ubuntu. Он отметил, что использование ИИ ради самого ИИ редко приносит пользу, и любые функции в Ubuntu должны давать пользователям реальную ценность.

Не нравится ИИ? Эта функция будет включаться по желанию, а поскольку ИИ-модели поставляются как snap-пакеты, их можно легко удалить целиком. Пока рабочий стол Ubuntu не требует и не зависит от этой технологии. В дальнейшем, вероятно, появятся и другие функции на базе ИИ. Марк Шаттлворт уже говорил о намерении сделать Ubuntu операционной системой для эпохи агентов.