[P] Cornserve: Микросервисная архитектура для обслуживания моделей типа "любой-к-любому", таких как Qwen Omni!
Краткое содержание
Привет всем! Мы рады представить вам Cornserve — открытую платформу для развертывания любых мультимодальных моделей искусственного интеллекта. Современные мультимодальные модели становятся все более сложными, например, Qwen 3 Omni обрабатывает текстовые, визуальные, видеовходные и аудиосигналы с возможностью генерировать как текстовый, так и аудио-вывод. Однако это усложняет создание монолитной системы обслуживания таких моделей. Именно поэтому мы разработали Cornserve – подход на основе микросервисов к обслуживанию ИИ-моделей, который разделяет сложные модели на независимые компоненты и автоматически распределяет общие части (например, языковые модели, кодировщики изображений, генераторы звука) между вашими приложениями. Поддерживаемые модели: — Модели Any-to-Any, такие как Qwen 3 Omni; — Языковые модели видения, такие как Gemma 3, Qwen3-VL, InternVL3, LLaVA-OneVision и другие; — Любые текстовые модели, поддерживаемые vLLM. Домашняя страница: https://cornserve.ai Будем признательны за ваши отзывы и приветствуем вклад в проект! отправлено пользователем /u/Intr
Полный текст статьи пока не загружен.