Ученые создали алгоритм, который распознает написанные пальцем в воздухе английские и китайские слова

Об этом говорится в статье, которую представили на Fourth Workshop on Computer Vision for AR / VR, отмечает "Общественное".

Ученые выбрали два устройства, которые можно использовать для распознавания текста: рукавица с измерительным прибором на кончике указательного пальца и прибор для отслеживания траектории и устройство Leap Motion, который отслеживает движение кисти и передает эти данные на компьютер.

Алгоритм распознает написанное пальцем в воздухе английское слово "marry"

Leap Motion это небольшой USB-устройство, которое создает невидимое поле для взаимодействия. Он отслеживает движение предметов в невидимом поле с большой точностью и позволяет человеку бесконтактно взаимодействовать с компьютером.

Используя эти устройства, человек должен просто написать слова пальцем в воздухе. Устройства считывают данные о траектории, затем нейросеть сравнивает слова, которые ввела человек, с теми, которые есть в ее базе данных, и показывает слово на экране.

Ученые проверили работу алгоритма на распознавании рукописного текста с 210 словами в базе данных. Для английского языка точность распознавания 79,7% при использовании Leap Motion и 78,5% - при использовании перчатки. Алгоритм лучше распознает китайский язык: точность 87,4% - для Leap Motion и 83,4% - для перчатки.

В то же время в алгоритма пока есть сложности с распознаванием различных почерков. Над этим ученые будут работать в дальнейшем.