Вашингтонський університет розробив технологію Audeo — програму зі штучним інтелектом, яка розпізнає та відтворює мелодію, зіграну на відео, лише за аналізом руху рук музиканта. Цікаво, що відео може бути без звуку. Про це повідомляє TNW.
Нейромережу вчили по відеозаписах піаніста Пола Бартона, який грав Моцарта і Баха. Програма змогла визначити клавіші, які по черзі натискали, й відтворювала за піаністом. Також програма може визначити, з якою силою натискав музикант та як довго затискав клавішу. Потім Audeo передає зібрані дані на синтезатор, який транскрибує їх у звук. В майбутньому програма зможе допомагати музикантам-початківцям опанувати інструмент.Точність програми перевіряли в Shazam і SoundHound, точність вгадувань склала 86%. Програма всього на 7 відсотків програла самому Полу Бартону.
Раніше ми писали, що Пол Бартон у Таїланді грав музику для слонів.