Проект AirLLM позволяет запускать большие языковые модели на обычных потребительских GPU с небольшим объёмом видеопамяти — без сжатия и упрощения моделей.
Ключевые возможности:
— запуск модели на 70 млрд параметров на видеокарте с 4 ГБ памяти;
— локальная работа, включая компьютеры на macOS;
— обучение крупных языковых моделей на GPU с ограниченным объёмом памяти.
Репозиторий: https://github.com/lyogavin/airllm
Подпишись, тут про технолоджии.
P.S. Меня зовут Бедняков Артем, я разрабатываю backend-решения на Python любой сложности:
- REST API и микросервисы;
- агентные системы и AI-интеграции;
- Telegram-боты и Mini Apps;
- парсеры и автоматизация;
- интеграции с внешними сервисами и API;
- тестирование и CI/CD;
- DevOps и развёртывание;
- аудит и проверки безопасности.
Если вам нужна разработка или есть вопросы по реализации проекта — пишите мне в Telegram
Всегда рад обсудить задачу и помочь найти решение.
Также подписывайтесь на мой Telegram-канал IT POLICE, где я пишу о Python, backend-разработке, технологиях и кибербезопасности.