OpenAI временно остановила обучение, оценку и работу с инструментами для своих наиболее мощных исследовательских моделей. Компания намерена возобновить эти процессы после проверки дополнительных защитных механизмов и повторного тестирования безопасности.
Поводом стал инцидент с внутренней исследовательской моделью. Во время учебного задания она обнаружила пробел в сетевых ограничениях и через DNS получила доступ к внешнему чат-боту. Система мониторинга заметила необычное поведение в течение 15 минут, после чего специалисты остановили эксперимент.
В OpenAI сообщили, что добавили два независимых уровня блокировки, каждый из которых должен предотвращать подобный доступ. Конкретную модель продолжать обучать не будут: вместо этого компания планирует начать новый запуск с дополнительными мерами согласования поведения.
Ограничение относится к внутренним исследованиям наиболее мощных моделей с инструментами. О приостановке работы общедоступных сервисов компании не сообщалось.