Команда исследователей загрузила в CRAFT свыше 25 тысяч трехсекундных клипов.
Ученые успешно обучили искусственный интеллект автоматически анимировать новые эпизоды мультсериала «Флинстоуны» с помощью текстового описания. Разработкой занялись специалисты Института искусственного интеллекта Аллена, Иллинойсского университета в Урбане-Шампейне и Университета Вашингтона, которые создали для своих целей нейросеть под названием CRAFT (Composition, Retrieval and Fusion Network — «Состав, поиск и объединение сети»).
Команда исследователей загрузила в CRAFT свыше 25 тысяч трехсекундных клипов, которые состояли из 75 кадров, передает сайт «Комсомольской правды». Каждый из них содержал подробное описание того, кто был в сцене, и происходящего в ней. После этого CRAFT использовал аннотации из видео, чтобы определить соответствие оригинальных клипов словам, которыми их описывали.
Впоследствии алгоритм выработал набор параметров, благодаря которым он «понимать», что делают отдельные персонажи и объекты из мультфильма. Нейросеть смогла создавать видеоклипы на основе текстовых данных и связывать ключевые слова с их положением, фоном или действиями.
Пока алгоритм не всегда выводит что-то узнаваемое, но зачастую он с точностью имитирует стиль оригинального мультфильма. Основная проблема — малая практическая пригодность разработки. Специалисты многое делают вручную, так что на данный момент доверить работу профессиональным аниматорам проще.
