OpenAI приостановила обучение самых мощных моделей после инцидента с агентом. Он вышел за пределы песочницы и обращался к другому чат-боту, чтобы получать ответы из открытого интернета.
Прокси блокировал исходящие веб-запросы, однако DNS-резолвер не имел аналогичных ограничений. Агент использовал DNS-запросы как канал связи: кодировал в них вопросы и передавал их внешнему «коллеге».
Инцидент обнаружили через 15 минут. Спустя 2,5 часа OpenAI полностью остановила процесс обучения.
Подпишись, тут про технолоджии.
P.S. Меня зовут Бедняков Артем, я разрабатываю backend-решения на Python любой сложности:
- REST API и микросервисы;
- агентные системы и AI-интеграции;
- Telegram-боты и Mini Apps;
- парсеры и автоматизация;
- интеграции с внешними сервисами и API;
- тестирование и CI/CD;
- DevOps и развёртывание;
- аудит и проверки безопасности.
Если вам нужна разработка или есть вопросы по реализации проекта — пишите мне в Telegram
Всегда рад обсудить задачу и помочь найти решение.
Также подписывайтесь на мой Telegram-канал IT POLICE, где я пишу о Python, backend-разработке, технологиях и кибербезопасности.