antony_w (antony_w) wrote,
antony_w
antony_w

Categories:

ИИ научился восстанавливать песню по музыкальному видео



Новая модель искусственного интеллекта (ИИ) умеет просматривать видео без звука, где музыкант играет песню на инструменте, и восстанавливать эту композицию. В будущем эта технология будет использовать движения тела для восстановления речи и других звуков.

Ученые из MIT представили систему искусственного интеллекта (ИИ) Foley Music, которая генерирует музыку на основе видео без звука, где музыканты играют на инструментах. Они говорят, что модель работает с разными музыкальными инструментами и превосходит несколько существующих систем по скорости и качеству работы.

Исследователи считают, что модель ИИ, которая создает музыку на основе движений человека, может стать основой для нескольких приложений — от автоматического добавления звуковых эффектов в видео до создания иммерсивных впечатлений в виртуальной реальности. Исследователи отмечают, что таким навыком обладают и люди — например, когда понимают речь человека по губам.

Foley Music обращает внимание на ключевые точки тела (25 точек) и пальцы (20 точек) как промежуточные визуальные опорные точки, которые она использует для моделирования движений тела и рук. После этого система переводит эти движения в музыкальные ноты, учитывая громкость. Так она может воспроизвести аккордеон, бас-гитару, фагот, виолончель, гитару, фортепиано, укулелеле и другие инструменты.



В ходе экспериментов исследователи обучили Foley Music трем наборам данных, содержащим тысячу видеоклипов с музыкальными исполнениями, относящихся к 11 категориям. Так они смогли собрать корпус видео разной сложности — инструкции с сайта AtinPiano, любительские видео с каналов на YouTube, отрывки из концертов и другие данные.

Исследователи загрузили в систему Foley Music 450 видео. Затем они отдали полученную музыку ученым, которые оценивали результат. В некоторых случаях они отмечали, что «музыка похожа на кавер от качественной группы».

Эксперты обнаружили, что сгенерированную музыку Foley Music трудно отличить от реальных записей. Более того, ИИ может улучшить качество звука, семантическое выравнивание и временную синхронизацию.

Tags: искусственный интеллект, музыка
Subscribe

Posts from This Journal “искусственный интеллект” Tag

promo antony_w august 17, 2014 11:48 18
Buy for 10 tokens
Есть блог, в котором написано много постов про роботов: ссылка И там есть несколько статей о замене рабочих мест человека роботами: Уже к 2018 году роботы отберут у человека часть профессий Рабский труд без зарплаты Армия роботов: зачем она нужна обильной людьми Поднебесной и кому может…
  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 1 comment