КПД

@quant_prune_distill - Canal Telegram

Outros

★★★★★

—

0 avaliações

3.4K

Inscritos

13/07/26

Adicionado

Abrir no Telegram

Sobre КПД

КПД é um canal do Telegram dedicado a Outros, com mais de 3k inscritos. Квантование & Прунинг & Дистилляция Блог про сжатие сетей и не только. От древнейших времен по настоящее время. Entre no canal para receber todas as novidades diretamente no Telegram.

Descrição original

Квантование & Прунинг & Дистилляция Блог про сжатие сетей и не только. От древнейших времен по настоящее время.

Mensagens recentes

🛠 Метод 🎯 Авторы ставят своей целью эффективный инференс на edge-девайсах вроде мобилок. iOS накладывает жёсткие ограничения на размер памяти, используемой приложением, — ~3 гига, поэтому чекпоинт 4B-модели туда никак не влезет без оффлоадинга. 🏗 Архитектура модели включает в себя трансформерные блоки, PLE-эмбеддинги и объединённую LM-голову / эмбеддинги. Каждая из компонент требует своего рецепта

08/07/26 1.91K

Годный блогпостик про использование FP4 квантизации в проде от провайдера Spheron. В частности, оценивается стоимость инференса при аренде конкретной GPU с учетом максимально достижимого throughput при использовании данного типа данных, а также вопросы качества и доступности в инференсных фреймворках.

20/07/26 10.5K

Quantized Reasoning Models Think They Need to Think Longer, but They Do Not 📄 Статья 📝 Блогпост Известно, что квантизованные модели просаживаются в качестве несколько сильнее, чем модели на остальных классах задач. Но из-за чего именно это происходит? Команда из Meta обнаружила, что квантизованные модели подвержены overthinking: они начинают зацикливаться в рассуждениях и, даже получая в промежуто

20/07/26 1.03K

🧪 Метод и эксперименты Авторы рассматривают следующие варианты квантизации: * 🔹 weight-only AWQ в 3 и 4 бита; * 🔹 weight-only GPTQ в 3 и 4 бита; * 🔹 weight + activation + KV-cache-квантизация в 4 и 8 бит при помощи FlatQuant . Качество оценивают на задачах по математике, общим научным вопросам (GPQA-Diamond) и кодингу (LiveCodeBench). В качестве моделей рассматривают дистиллы дипсика и QwQ (почему

20/07/26 1.03K

Extreme Low-Bit Inference in Reasoning Models: Failure Modes and Targeted Recovery 📄 Статья 💻 Код Вдогонку про влияние квантизации на ризонинг. Ребята из Brain Lab выпустили интересное исследование, показывающее, как ломается ризонинг у квантизованных моделей, а также пару стратегий, помогающих предотвратить зацикливание генерации.

21/07/26 1.11K

🧪 Метод и эксперименты В данной работе фокусируются на 2-битном weight-only-сжатии ризонящих моделей. В аппендиксе есть эксперименты с FP4, со сжатием активаций и KV-кэшей. Квантизуют модели Qwen3-8B / Qwen3-32B через GPTQ. Оказывается, что квантизация сильно меняет поведение трейсов ризонинга: 🔄 Число циклов резко возрастает, особенно для меньшей модели. 📏 Многие трейсы не вписываются в заданный

21/07/26 1.04K

Интересная по описанию либа Humming от InclusionAI. Позиционируется как легковесный, высокопроизводительный фреймворк с JIT-компилированными GEMM-операциями (под NVIDIA GPU). ⚙️ Он предлагает широкий ассортимент кернелов под разные конфигурации квантованных весов и активаций: • 🧮 Веса можно квантовать почти в любую целочисленную битность от 1 до 8, а также в разные варианты FP. • ⚡ Активации можно

22/07/26 1.23K

Бывает и такое, что Reviewer #2 ставит тебе Accept. Но ревью настолько короткое и несодержательное, что Area Chair не примет во внимание...

23/07/26 984

Prévia em texto das últimas mensagens públicas — o conteúdo de mídia não é mostrado.

Avaliações (0)

Ainda sem avaliações

Perguntas Frequentes

Toque no botão 'Abrir no Telegram' e depois pressione 'Inscrever-se' para entrar no canal.

Sim, abra o canal, toque no nome no topo, depois em 'Notificações' e escolha 'Silenciar' pelo período que quiser.

A frequência de publicação varia de canal para canal. Confira as publicações recentes para ter uma ideia.

Alguns canais têm um link para um grupo de discussão ou o contato do administrador na descrição. Caso contrário, não é possível contatá-los diretamente.