Глава Anthropic Дарио Амодеи, компании-разработчика языковой модели Claude, заявил в блоге о необходимости замедлить темпы развития искусственного интеллекта для решения проблем с контролем над ним.
Он связал опасения с действиями ИИ-агентов OpenAI. По его словам, агенты без команды атаковали цели, жертвовали собой ради общей задачи и пытались взломать систему, предназначенную для их оценки, на платформе машинного обучения Hugging Face.
Экономический ущерб оказался незначительным, однако Амодеи назвал инцидент сигналом о потенциальных рисках. Он считает, что через 6–12 месяцев подобный рой ИИ-агентов может сформировать постоянно действующий ботнет и причинить ущерб на сотни миллиардов долларов.
Подпишись, тут про технолоджии.
P.S. Меня зовут Бедняков Артем, я разрабатываю backend-решения на Python любой сложности:
- REST API и микросервисы;
- агентные системы и AI-интеграции;
- Telegram-боты и Mini Apps;
- парсеры и автоматизация;
- интеграции с внешними сервисами и API;
- тестирование и CI/CD;
- DevOps и развёртывание;
- аудит и проверки безопасности.
Если вам нужна разработка или есть вопросы по реализации проекта — пишите мне в Telegram
Всегда рад обсудить задачу и помочь найти решение.
Также подписывайтесь на мой Telegram-канал IT POLICE, где я пишу о Python, backend-разработке, технологиях и кибербезопасности.