SAQ-SAM: Семантически согласованная квантизация модели сегментации всего (Segment Anything Model)
Краткое содержание
arXiv:2503.06515v2 Тип объявления: замена Аннотация: Модель Segment Anything Model (SAM) демонстрирует выдающиеся возможности сегментации нулевого выстрела; однако её высокие вычислительные затраты затрудняют развертывание на периферийных устройствах. Хотя постобучающая квантизация (PTQ) предлагает многообещающее решение проблемы сжатия модели, существующие методы приводят к неудовлетворительным результатам при применении к SAM вследствие специализированных компонентов модели и интерактивной схемы работы с подсказками: (i) Внимание декодера масок характеризуется экстремальными выбросами активаций, и мы обнаружили, что агрессивное отсечение (даже в 100 раз), без сглаживания или изоляции, эффективно подавляет выбросы, сохраняя производительность. К сожалению, традиционные метрики распределения (например, среднеквадратичная ошибка — MSE) не способны обеспечить такое масштабное отсечение. (ii) Современные методы реконструкции после квантизации игнорируют семантическое взаимодействие SAM, приводя к рассогласованию между признаками изображения и намерением подсказки. Для решения указанных проблем в данной статье предлагается метод SAQ-SAM, который улучшает PTQ...
Полный текст статьи пока не загружен.