Краткое содержание

Может ли кто-нибудь предоставить оценочное время для того, сколько времени требуется модели Llama-3.2 Vision-Instruct 11-B: обработать изображение размером 1 МБ и размер подсказки в 1000 слов и сгенерировать ответ на 500 слов? Используемые GPU для вывода могут быть A100, A6000 или H100. Оценочное время обработки: - Для изображения размером 1 МБ и подсказки в 1000 слов на модели Llama-3.2 Vision-Instruct 11-B с использованием GPU A100, A6000 или H100 может составлять от 5 до 15 секунд. (Примечание: точное время зависит от конкретной конфигурации и нагрузки на оборудование.)