Проект **vllm-project/vllm** предназначен для локального запуска и высокопроизводительного обслуживания запросов к большим языковым моделям.
vLLM поддерживает более **200 архитектур моделей**, включая текстовые и мультимодальные решения. Совместимость с API в формате **OpenAI** упрощает подключение к существующим приложениям и сервисам.
Инструмент работает на GPU **NVIDIA, AMD и Intel**, а также на стандартных CPU.
Репозиторий: https://github.com/vllm-project/vllm
Подпишись, тут про технолоджии.
P.S. Меня зовут Бедняков Артем, я разрабатываю backend-решения на Python любой сложности:
- REST API и микросервисы;
- агентные системы и AI-интеграции;
- Telegram-боты и Mini Apps;
- парсеры и автоматизация;
- интеграции с внешними сервисами и API;
- тестирование и CI/CD;
- DevOps и развёртывание;
- аудит и проверки безопасности.
Если вам нужна разработка или есть вопросы по реализации проекта — пишите мне в Telegram
Всегда рад обсудить задачу и помочь найти решение.
Также подписывайтесь на мой Telegram-канал IT POLICE, где я пишу о Python, backend-разработке, технологиях и кибербезопасности.