Нейросеть научили создавать мультфильмы

Фото: кадр из мультсериала "Флинтстоуны", создатели Уильям Ханна, Джозеф Барбера

Ученые успешно обучили искусственный интеллект автоматически анимировать новые эпизоды мультсериала "Флинстоуны" с помощью текстового описания. Разработкой занялись специалисты Института искусственного интеллекта Аллена, Иллинойсского университета в Урбане-Шампейне и Университета Вашингтона, которые создали для своих целей нейросеть под названием CRAFT (Composition, Retrieval and Fusion Network – "Состав, поиск и объединение сети").

Команда исследователей загрузила в CRAFT свыше 25 тысяч трехсекундных клипов, которые состояли из 75 кадров, передает сайт "Комсомольской правды". Каждый из них содержал подробное описание того, кто был в сцене, и происходящего в ней. После этого CRAFT использовал аннотации из видео, чтобы определить соответствие оригинальных клипов словам, которыми их описывали.

Впоследствии алгоритм выработал набор параметров, позволяющих "понимать", что делают отдельные персонажи и объекты из мультфильма. Нейросеть смогла создавать видеоклипы на основе текстовых данных и связывать ключевые слова с их положением, фоном или действиями.

Пока алгоритм не всегда выводит что-то узнаваемое, но зачастую он с точностью имитирует стиль оригинального мультфильма. Основная проблема – малая практическая пригодность разработки. Специалисты многое делают вручную, так что на данный момент доверить работу профессиональным аниматорам проще.