Facebook iPress Telegram iPress Twitter iPress search menu

Британські вчені навчили нейромережу перетворювати текст на відео з жестовою мовою

Британські вчені навчили нейромережу перетворювати текст на відео з жестовою мовою
Фото: з відкритих джерел
Британські науковці з Університету Суррея представили нейромережу, яка може перетворити текст на відео з людиною, яка показуватиме текст жестовою мовою.

Відповідну статтю опублікували на ресурсі препринтів arXiv, повідомляє "Громадське".

Так, розробники створили алгоритм, який може перекладати текст жестовою мовою. Зокрема нейромережа окремо навчається якісно вимальовувати кисті рук, бо саме вони важливі для точно сурдоперекладу.

Далі текст проходить через кодування та перетворюється у скелетну модель тіла, яка показує текст жестами. Після цього послідовність поз кодується в вектор, а він об'єднується з зображенням людини, яке потрібно анімувати. Тоді послідовність поз передається на нейромережу U-Net, яка перетворює зміну поз на реалістичне відео.

Створений британцями алгоритм також вдосконалює свої навички. Він аналізує, наскільки вдало створив скелетну модель тіла, та робить її кращої наступного разу.

Роботу нейромережі перевірили на записах роботи перекладачів жестової німецької мови. Виявилося, що алгоритм досягнув значної схожості з зображенням жестів сурдоперекладачами, зокрема алгоритм точно відтворював рухи кистей.

Читайте також: Європарламент узгодив перший набір правил ЄС щодо штучного інтелекту

Ялта стала синонімом зради. Чи влаштують Трамп, Сі та путін новий переділ світу? – The Guardian
Ялта стала синонімом зради. Чи влаштують Трамп, Сі та путін новий переділ світу? – The Guardian
Трамп допомагає путіну уникнути поразки. Дурість американської адміністрації змагається з її злом – Філліпс О’Брайен
Трамп допомагає путіну уникнути поразки. Дурість американської адміністрації змагається з її злом – Філліпс О’Брайен
Повна хронологія справи
Повна хронологія справи "Трамп – росія". Хибні кроки в степах Центральної Азії – Крейг Анґер
Мир з Іраном без жорстких умов стане передумовою нової війни. США не повинні поступатися Тегерану – Девід Петреус
Мир з Іраном без жорстких умов стане передумовою нової війни. США не повинні поступатися Тегерану – Девід Петреус
Оманлива примара миру: історія кличе Європу на допомогу Україні в битві проти росії. Чи прийде вона? – Марк Чемпіон
Оманлива примара миру: історія кличе Європу на допомогу Україні в битві проти росії. Чи прийде вона? – Марк Чемпіон
Кремль залякує Європу, Кушнер підважує її безпеку. Обох заохочує слабкість європейців – Едвард Лукас
Кремль залякує Європу, Кушнер підважує її безпеку. Обох заохочує слабкість європейців – Едвард Лукас
Кушнер хоче перебудувати європейську безпеку. Проблема не в системі, а в росії – Іво Даалдер
Кушнер хоче перебудувати європейську безпеку. Проблема не в системі, а в росії – Іво Даалдер
росія посилює загрози британському флоту. У Британії затримали американського військового за підозрою у шпигунстві – The Guardian
росія посилює загрози британському флоту. У Британії затримали американського військового за підозрою у шпигунстві – The Guardian