Проект kimi-k3-in-c — портативный движок для выполнения вывода модели Kimi K3 с 2,78 трлн параметров на одном CPU.
Программа написана на C99 и не использует BLAS, сторонние фреймворки или GPU, что обеспечивает независимость от внешних библиотек и оборудования.
Для хранения контрольной точки модели требуется быстрый NVMe SSD минимум на 1,56 ТБ. При использовании 8 ГБ оперативной памяти скорость генерации составляет около 32,7 секунды на токен.
Репозиторий: https://github.com/FareedKhan-dev/kimi-k3-in-c
Подпишись, тут про технолоджии.
P.S. Меня зовут Бедняков Артем, я разрабатываю backend-решения на Python любой сложности:
- REST API и микросервисы;
- агентные системы и AI-интеграции;
- Telegram-боты и Mini Apps;
- парсеры и автоматизация;
- интеграции с внешними сервисами и API;
- тестирование и CI/CD;
- DevOps и развёртывание;
- аудит и проверки безопасности.
Если вам нужна разработка или есть вопросы по реализации проекта — пишите мне в Telegram
Всегда рад обсудить задачу и помочь найти решение.
Также подписывайтесь на мой Telegram-канал IT POLICE, где я пишу о Python, backend-разработке, технологиях и кибербезопасности.