Собянин рассказал о популярных направлениях проектов "Академии инноваторов"
Фото: исследование проекта Google Brain
Нейросеть научилась достраивать изображение на основе нескольких пикселей. Опыты с созданием реалистичных картинок на основе пикселизированных поставили специалисты исследовательского проекта Google Brain. Исследование доступно на arXiv.org.
Эта технология может стать основой для приема "приблизить и улучшить" видео, который часто используют герои художественных фильмов. Сейчас получить четкое изображение на основе нескольких пикселей невозможно.
Картинки строили две сверточные нейронные сети, обученные на одинаковых наборах данных. Их тренировали на 200 тысячах фотографий лиц знаменитостей и двух миллионах снимков спален. Картинки уменьшили до двух размеров: 32 на 32 пикселя и восемь на восемь пикселей. Первые были приняты за изображения с высоким разрешением, вторые – с низким.
Программа генерировала реалистичную картинку на основе 64 цветных пикселей.
Нейросети делили между собой полномочия при их реконструкции. "Додумывая" картинку низкого разрешения главный "мозг" (prior network) отвечал за генерацию деталей картинки высокого разрешения, а нейросеть условий (condition network) сравнивала изображение низкого разрешения с уже известными картинками высокого разрешения. Этот процесс позволил главной нейросети понять, в какую деталь нужно превратить ту или иную группу пикселей.
На снимке представлены (слева направо) исходная картинка низкого разрешения, несколько снимков созданных традиционными методами восстановления изображений, реальный снимок в более высоком разрешении (ground truth) и NN – изображение, созданное нейросетью. Фото: исследование проекта Google Brain
Полученные изображения отличаются от исходной фотографии высокого разрешения. Некоторые из них, по свидетельствам опрошенных добровольцев, даже получились более правдоподобными, чем оригинальные фотографии.
Созданные машиной изображения приняли за реальные снимки в 10 процентах случаев. Придуманные нейросетью интерьеры посчитали настоящими 28 процентов.
Инженеры загрузили в нейросеть около двух миллионов роликов, продолжительностью более года. Затем программа, обладающая двухпотоковой архитектурой, проанализировала данные и попыталась создать видео с движениями человека, исходя из увиденных ранее. Получился ролик длительностью одну секунду в низком качестве.
Алгоритм применяли к статичным изображениям. По словам исследователей, он смог убедительно анимировать движения некоторых объектов.
Какое будущее ожидает нейронные сети и где еще их применяют уже сейчас, читайте в материале m24.ru.
