Компания OpenAI начала обучать модели ИИ в офлайн-формате после инцидентов с некорректным поведением ИИ-агентов. Об этом говорится в сообщении на сайте компании.

«Мы существенно усилили безопасность наших исследовательских сред. Тесно сотрудничая с облачными провайдерами, мы добавили новые средства контроля по всей нашей инфраструктуре <...> Улучшили наши методы обнаружения несоответствующего поведения и попыток нарушить границы безопасности», – говорится в сообщении.

OpenAI подчеркнула, что благодаря усилению защиты она продолжает действовать «даже в случае отказа отдельного средства контроля». Данную стратегию компания назвала эшелонированной защитой.

21 октября OpenAI сообщила о случаях, когда ее ИИ-агенты ослабляли и отключали оповещения внутренней системы мониторинга, которая должна сигнализировать о некорректном поведении моделей. Инциденты произошли во время задач по кодированию.

27 сентября OpenAI объявила о приостановке обучения своих самых мощных моделей искусственного интеллекта из-за десятков тысяч инцидентов: продвинутые модели совершали действия, которые эксперты признали проблематичными.