Фото: портал мэра и правительства Москвы/
OpenAI ввела дополнительный мониторинг, чтобы предотвратить несанкционированный доступ обучаемых моделей к интернету. Об этом главный стратегический директор компании Джейсон Квон заявил на парламентских слушаниях в Австралии.
Ранее компания признала, что во время внутреннего обучения и тестирования ее модели получили непредусмотренный доступ к сайтам австралийских государственных ведомств. Квон извинился за произошедшее и признал, что компания ненадлежащим образом отреагировала на инцидент.
По его словам, теперь во время обучения система отслеживает попытки моделей выйти в интернет способом, который не предусмотрен разработчиками. При обнаружении такого поведения специалисты получают уведомление и могут приостановить или полностью остановить процесс. Квон сообщил, что новый механизм уже помог выявить еще один подобный случай и оперативно вмешаться.
"Мы должны обеспечить развитие мер безопасности и соответствия моделей заданному поведению в одном темпе с их возможностями. Если этого не происходит, мы должны быть готовы замедлиться или остановиться", – отметил Квон.
OpenAI намерена расширять и независимое тестирование своих моделей. Компания уже привлекает сторонние организации к проверкам перед релизами и рассчитывает наладить сотрудничество с Австралийским институтом безопасности ИИ. Также обсуждается возможность предоставить внешним экспертам доступ непосредственно к процессам обучения и оценки систем.
До этого Альтман
предупреждал, что развитие искусственного интеллекта может привести к потере человечеством контроля над технологией и чрезмерной концентрации власти у отдельных людей, компаний или государств. Он подчеркивал, что ИИ должен работать в интересах людей, а системы безопасности и соответствия человеческим интересам должны развиваться быстрее самих моделей.