КПД
@quant_prune_distill - Канал Telegram
—
0 отзывы
3.4K
Подписчики
13/07/26
Добавлено
О канале КПД
КПД — Telegram-канал на тему Разное, более 3k подписчиков. Квантование & Прунинг & Дистилляция Блог про сжатие сетей и не только. От древнейших времен по настоящее время. Подпишитесь на канал, чтобы получать все обновления прямо в Telegram.
Оригинальное описание
Квантование & Прунинг & Дистилляция Блог про сжатие сетей и не только. От древнейших времен по настоящее время.
Последние сообщения
🛠
Метод
🎯
Авторы ставят своей целью эффективный инференс на edge-девайсах вроде мобилок. iOS накладывает жёсткие ограничения на размер памяти, используемой приложением, — ~3 гига, поэтому чекпоинт 4B-модели туда никак не влезет без оффлоадинга.
🏗
Архитектура модели включает в себя трансформерные блоки, PLE-эмбеддинги и объединённую LM-голову / эмбеддинги. Каждая из компонент требует своего рецепта
Годный
блогпостик
про использование FP4 квантизации в проде от провайдера Spheron.
В частности, оценивается стоимость инференса при аренде конкретной GPU с учетом максимально достижимого throughput при использовании данного типа данных, а также вопросы качества и доступности в инференсных фреймворках.
Quantized Reasoning Models Think They Need to Think Longer, but They Do Not
📄
Статья
📝
Блогпост
Известно, что квантизованные модели просаживаются в качестве несколько сильнее, чем модели на остальных классах задач.
Но из-за чего именно это происходит?
Команда из Meta обнаружила, что квантизованные модели подвержены overthinking: они начинают зацикливаться в рассуждениях и, даже получая в промежуто
🧪
Метод и эксперименты
Авторы рассматривают следующие варианты квантизации:
*
🔹
weight-only AWQ в 3 и 4 бита;
*
🔹
weight-only GPTQ в 3 и 4 бита;
*
🔹
weight + activation + KV-cache-квантизация в 4 и 8 бит при помощи
FlatQuant
.
Качество оценивают на задачах по математике, общим научным вопросам (GPQA-Diamond) и кодингу (LiveCodeBench). В качестве моделей рассматривают дистиллы дипсика и QwQ (почему
Extreme Low-Bit Inference in Reasoning Models: Failure Modes and Targeted Recovery
📄
Статья
💻
Код
Вдогонку про влияние квантизации на ризонинг.
Ребята из Brain Lab выпустили интересное исследование, показывающее, как ломается ризонинг у квантизованных моделей, а также пару стратегий, помогающих предотвратить зацикливание генерации.
🧪
Метод и эксперименты
В данной работе фокусируются на 2-битном weight-only-сжатии ризонящих моделей. В аппендиксе есть эксперименты с FP4, со сжатием активаций и KV-кэшей. Квантизуют модели Qwen3-8B / Qwen3-32B через GPTQ.
Оказывается, что квантизация сильно меняет поведение трейсов ризонинга:
🔄
Число циклов резко возрастает, особенно для меньшей модели.
📏
Многие трейсы не вписываются в заданный
Интересная по описанию либа
Humming
от InclusionAI.
Позиционируется как легковесный, высокопроизводительный фреймворк с JIT-компилированными GEMM-операциями (под NVIDIA GPU).
⚙️
Он предлагает широкий ассортимент кернелов под разные конфигурации квантованных весов и активаций:
•
🧮
Веса можно квантовать почти в любую целочисленную битность от 1 до 8, а также в разные варианты FP.
•
⚡
Активации можно
Бывает и такое, что Reviewer #2 ставит тебе Accept.
Но ревью настолько короткое и несодержательное, что Area Chair не примет во внимание...
Текстовый предпросмотр последних публичных сообщений — медиа не показывается.
Отзывы (0)
Пока нет отзывов
Частые вопросы
Нажмите кнопку 'Открыть в Telegram', а затем нажмите 'Подписаться', чтобы вступить в канал.
Да, откройте канал, коснитесь названия вверху, затем выберите 'Уведомления' и нажмите 'Без звука' на нужный период.
Частота публикаций у разных каналов отличается. Посмотрите последние посты, чтобы составить представление.
У некоторых каналов в описании есть ссылка на чат для обсуждения или контакт администратора. В остальных случаях связаться напрямую нельзя.
Другие Каналы в категории Разное
