КПД
@quant_prune_distill - کانال Telegram
—
0 نظر
3.4K
مشترکان
13/07/26
افزودهشده
درباره КПД
КПД یک کانال تلگرام است که به سایر اختصاص دارد و بیش از 3 هزار مشترک دارد. Квантование & Прунинг & Дистилляция Блог про сжатие сетей и не только. От древнейших времен по настоящее время. به کانال بپیوندید تا همه بهروزرسانیها را مستقیماً در تلگرام دریافت کنید.
توضیحات اصلی
Квантование & Прунинг & Дистилляция Блог про сжатие сетей и не только. От древнейших времен по настоящее время.
پیامهای اخیر
🛠
Метод
🎯
Авторы ставят своей целью эффективный инференс на edge-девайсах вроде мобилок. iOS накладывает жёсткие ограничения на размер памяти, используемой приложением, — ~3 гига, поэтому чекпоинт 4B-модели туда никак не влезет без оффлоадинга.
🏗
Архитектура модели включает в себя трансформерные блоки, PLE-эмбеддинги и объединённую LM-голову / эмбеддинги. Каждая из компонент требует своего рецепта
Годный
блогпостик
про использование FP4 квантизации в проде от провайдера Spheron.
В частности, оценивается стоимость инференса при аренде конкретной GPU с учетом максимально достижимого throughput при использовании данного типа данных, а также вопросы качества и доступности в инференсных фреймворках.
Quantized Reasoning Models Think They Need to Think Longer, but They Do Not
📄
Статья
📝
Блогпост
Известно, что квантизованные модели просаживаются в качестве несколько сильнее, чем модели на остальных классах задач.
Но из-за чего именно это происходит?
Команда из Meta обнаружила, что квантизованные модели подвержены overthinking: они начинают зацикливаться в рассуждениях и, даже получая в промежуто
🧪
Метод и эксперименты
Авторы рассматривают следующие варианты квантизации:
*
🔹
weight-only AWQ в 3 и 4 бита;
*
🔹
weight-only GPTQ в 3 и 4 бита;
*
🔹
weight + activation + KV-cache-квантизация в 4 и 8 бит при помощи
FlatQuant
.
Качество оценивают на задачах по математике, общим научным вопросам (GPQA-Diamond) и кодингу (LiveCodeBench). В качестве моделей рассматривают дистиллы дипсика и QwQ (почему
Extreme Low-Bit Inference in Reasoning Models: Failure Modes and Targeted Recovery
📄
Статья
💻
Код
Вдогонку про влияние квантизации на ризонинг.
Ребята из Brain Lab выпустили интересное исследование, показывающее, как ломается ризонинг у квантизованных моделей, а также пару стратегий, помогающих предотвратить зацикливание генерации.
🧪
Метод и эксперименты
В данной работе фокусируются на 2-битном weight-only-сжатии ризонящих моделей. В аппендиксе есть эксперименты с FP4, со сжатием активаций и KV-кэшей. Квантизуют модели Qwen3-8B / Qwen3-32B через GPTQ.
Оказывается, что квантизация сильно меняет поведение трейсов ризонинга:
🔄
Число циклов резко возрастает, особенно для меньшей модели.
📏
Многие трейсы не вписываются в заданный
Интересная по описанию либа
Humming
от InclusionAI.
Позиционируется как легковесный, высокопроизводительный фреймворк с JIT-компилированными GEMM-операциями (под NVIDIA GPU).
⚙️
Он предлагает широкий ассортимент кернелов под разные конфигурации квантованных весов и активаций:
•
🧮
Веса можно квантовать почти в любую целочисленную битность от 1 до 8, а также в разные варианты FP.
•
⚡
Активации можно
Бывает и такое, что Reviewer #2 ставит тебе Accept.
Но ревью настолько короткое и несодержательное, что Area Chair не примет во внимание...
پیشنمایش متنی آخرین پیامهای عمومی — محتوای رسانهای نمایش داده نمیشود.
نظرات (0)
هنوز نظری ثبت نشده است
پرسشهای متداول
روی دکمه «باز کردن در تلگرام» کلیک کنید و سپس «پیوستن» را بزنید تا در کانال مشترک شوید.
بله، کانال را باز کنید، روی نام آن در بالا ضربه بزنید، سپس «اعلانها» را انتخاب کرده و «بیصدا» را برای مدت دلخواه انتخاب کنید.
دفعات انتشار از کانالی به کانال دیگر متفاوت است. برای درک بهتر، پستهای اخیر را بررسی کنید.
برخی کانالها پیوند گروه گفتگو یا اطلاعات تماس مدیر را در توضیحات دارند. در غیر این صورت نمیتوان مستقیماً با آنها تماس گرفت.
سایر کانالها در سایر
