Speech Info
@speechinfo - Канал Telegram
0/5
0 отзывы
1.3K
Подписчики
11/07/26
Добавлено
О канале Speech Info
Speech Info — Telegram-канал на тему Разное, более 1k подписчиков. Инженеры из Яндекса разбирают и комментируют горячие статьи об ML и аудио. Вопросы и предложения > @yandex_ml_brand Подпишитесь на канал, чтобы получать все обновления прямо в Telegram.
Оригинальное описание
Инженеры из Яндекса разбирают и комментируют горячие статьи об ML и аудио. Вопросы и предложения > @yandex_ml_brand
Последние сообщения
Qwen3-TTS Technical Report [2/2]
Продолжаем обсуждать
новинку
от команды Alibaba. В предыдущем посте разобрали архитектуру Qwen3-TTS, в этом рассмотрим, как и на чём его обучали.
Для обучения используют сначала 5M+ часов многоязычной речи, затем continual pretraining на более качественных данных, чтобы снизить галлюцинации и улучшить качество, затем long-context stage, где увеличивают контекст с 8
Три работы о том, как сделать речь полноценной модальностью для LLM
В сегодняшней подборке — три любопытные идеи: от генерации голосового ответа с ризонингом без лишней задержки до более компактных речевых представлений и подготовки аудиоданных для мультимодального претрейна.
STITCH: Simultaneous Thinking and Talking with Chunked Reasoning for Spoken Language Models
Статья Microsoft о том, как доб
Reward-Driven Interaction: Enhancing Proactive Dialogue Agents through User Satisfaction Prediction
Разбираем
статью
об улучшении диалоговых агентов с помощью «проактивности». Речь о способности системы в нужный момент задать уточняющий вопрос, если она понимает, что пользователь, скорее всего, останется недоволен ответом.
Применяют обычный для голосового ассистента каскадный пайплайн: отдельный A
Как устроена голосовая активация в Яндекс Дропс
Недавно Яндекс запустил свои первые ИИ-наушники — Яндекс Дропс. В числе прочего они умеют распознавать обращение «Алиса», а отвечает за эту способность компонент, который мы внутри называем «споттером» (чуть подробнее писали о споттерах
тут
). И если с голосовой активацией в колонках всё плюс-минус понятно, то перенести её в наушники — это челлендж.
Chunk-wise Attention Transducers for Fast and Accurate Streaming Speech-to-Text
В NVIDIA есть несколько сотрудников, которые стабильно пишут интересные статьи об ASR в целом и RNN-T в частности. Примеры таких работ —
FastConformer
,
TDT
,
WIND
. Сегодня расскажем о
CHAT
, суть которого также в улучшении RNN-T. Но сначала вспомним, что это такое.
Recurrent Neural Network Transducer — архитектура дл
Ускорили перевод видео в Яндекс Браузере — задистиллировали диффузионный декодер TTS
Сегодня делимся свежей
хабростатьёй
о том, как ускорили синтез речи при переводе видео в Яндекс Браузере.
С чего стартовали
Внутри TTS — каскад из трёх частей:
🔴
языковая модель предсказывает аудиотокены по тексту;
🔴
диффузионный декодер восстанавливает мел-спектрограмму из латентов;
🔴
вокодер превращает её в звук
UALM: Unified Audio Language Model for Understanding, Generation and Reasoning
В более ранних статьях аудиопонимание и генерация традиционно шли параллельно и не пересекались. Но, если задуматься, человек, решая задачу в области аудио, одновременно мыслит словами и воспринимает звук, постоянно переключая в голове эти модальности — например, так происходит, когда композитор пишет музыку.
Объединить
Voxtral Realtime
Разбираем статью о модели
Voxtral Realtime
, в которой предложили ещё один способ, как стримить speech-to-text.
Авторы утверждают, что у них получилось сделать модель, в которой можно контролировать латенси и которая при задержке в полсекунды имеет паритет по качеству с Whisper. Если увеличить задержку до секунды, то модель начинает превосходить Whisper, ещё больше — например, 2,5
Текстовый предпросмотр последних публичных сообщений — медиа не показывается.
Отзывы (0)
Пока нет отзывов
Частые вопросы
Нажмите кнопку 'Открыть в Telegram', а затем нажмите 'Подписаться', чтобы вступить в канал.
Да, откройте канал, коснитесь названия вверху, затем выберите 'Уведомления' и нажмите 'Без звука' на нужный период.
Частота публикаций у разных каналов отличается. Посмотрите последние посты, чтобы составить представление.
У некоторых каналов в описании есть ссылка на чат для обсуждения или контакт администратора. В остальных случаях связаться напрямую нельзя.
Другие Каналы в категории Разное
