手指自w的方法教程图片?提高手部细节的解析度方法

其实手指自w的方法教程图片的问题并不复杂,但是又很多的朋友都不太了解提高手部细节的解析度方法,因此呢,今天小编就来为大家分享手指自w的方法教程图片的一些知识,希望可以帮助到大家,下面我们一起来看看这个问题的分析吧!

文|中史华纳

编辑|中史华纳

来自前臂的生物信号可以用作理解手部运动的替代方案,而不会妨碍用户并防止困难和尴尬的手部运动,

sEMG已用于识别手部运动,并且可以在智能机器人感知系统的帮助下促进人-机器人-环境集成,人们对其用作假肢和动力矫形器的控制输入进行了研究,还探索了传感器与sEMG的各种组合用于上肢和下肢运动预测

01

实验方法

已提出一种低延迟解决方案,用于演示手部配置分类和手指关节角度预测的性能,在这个系统中,采用了支持向量机(SVC)、多层感知器(MLP)和新提出的卷积神经网络(CNN)来进行手部配置分类。

这个组合系统的工作流程如下:加载前臂超声图像,使用预训练的模型将这些数据分类为不同的手部配置类别,基于这个分类结果,加载与手部配置相对应的另一个预训练模型,用于预测MCP关节的角度。

对于手部配置分类,使用了不同内核的SVC、MLP网络和CNN,SVC模型使用了三种不同的内核进行训练。

分别是线性内核(SVC-Lin)、径向基函数内核(SVC-RBF)和三次多项式内核(SVC-Ply),这些模型用于将前臂超声图像分类为不同的手部配置类别,为后续的角度预测提供了基础。

在每个主题和速度下,每种手部配置的训练数据和测试数据分别持续了5.6秒和2.4秒,对于11种不同的配置,这意味着每位受试者需要使用88秒的数据来训练和测试模型,这些数据包括完整尺寸的前臂超声图像以及下采样后的图像尺寸,下采样是为了验证分类器在较低分辨率下的性能。

支持向量机(SVM)是一种监督学习算法,通常用于解决图像分类和回归问题,支持向量分类器(SVC)是SVM的一种实现方式,它通过构建超平面在高维空间中实现对不同类别的分离,确保离超平面最近的训练数据点具有最大的间隔。

在以前的研究中,SVC和其他监督学习算法已经被用于将超声前臂图像分类为不同的手部配置,以预测手部的位置和姿势,这些算法的输入是二维超声图像。

而它们的输出是相应的手部配置类别,一旦训练好SVM模型,它就可以用于对未经训练的超声图像进行分类,从而预测手部的配置。

多层感知器(MLP)则是一种全连接的前馈神经网络,在这个研究中,采用了5层MLP来对基于前臂超声的11种手部配置进行分类。

在这个MLP模型中,2D图像首先被展平成一个向量,然后通过一系列具有128、64、32和16个神经元的Dense层,每个层都使用ReLU激活函数,最后一层是一个具有11个元素的Dense层,使用Softmax激活函数来进行配置的预测。

对于手部配置的分类,CNN(卷积神经网络)的架构与用于MCP关节角度估计的CNN架构相同,如第II-C节中所解释的,这个CNN架构被用于从前臂超声图像中提取特征并进行手部配置分类。

02

MCP关节角度估计

这项研究采用了一种深度学习算法,卷积神经网络(CNN),来预测MCP(Metacarpophalangeal)关节的角度,CNN是一种被广泛应用于基于二维图像数据的回归预测的深度学习算法。

所使用的CNN架构是基于VGG16的改进版本,这个CNN网络包括了5个卷积层,每个卷积层后面跟着批量归一化层和最大池化层,与原始的VGG16不同之处在于,这个网络在5个不同的卷积部分中使用了两个和三个级联卷积层。

CNN的工作方式是通过创建一个卷积核,将其应用于输入层,然后生成输出张量,这个网络用于从前臂超声图像中提取特征,然后进行MCP关节角度的预测。

研究采集了六名受试者的前臂超声数据,其中包括一名女性和五名男性,受试者的年龄、性别、身高以及前臂直径处的超声探头位置信息列于表格中。

为了确保超声探头牢固地绑在前臂上,设计了定制的3D打印探头外壳,并使用尼龙搭扣带将其固定,受试者将手臂放在休息台上,使用额外的外部尼龙搭扣延长器将休息台进一步固定在桌子上,这样的装置保证了受试者的手臂在休息台上保持稳定。

超声探头被水平安装在前臂上,同时记录食指、中指、无名指和小指上的指定点的三维位置数据,这些数据是在不同的手部运动速度下获取的,超声数据采集使用了VerasonicsVantage128Verasonics超声数据采集系统和ViconNexus运动捕捉系统。

为了实现超声数据的采集和同步,使用了ArduinoUno作为桥梁,用于记录触发信号并生成Vicon系统可以读取的模拟脉冲信号。

为了模拟不同的手部运动速度,设计了三种不同的音频波形,通过开源数字音频工作站Audacity进行模拟,这些波形用于提醒受试者在休息和运动手状态之间进行交替,不同速度的设置允许获得大于或小于1Hz的数据。

硬件方面,使用了NVIDIAGeForceRTX2070SUPER进行深度学习模型的开发和调试,而使用AMDRyzen72700X八核处理器进行了经典机器学习模型的开发和调试,系统内存为31.91GB,代码在Python3.7环境中执行。

深度学习模型的开发使用了TensorFlowKerasAPI,包括自定义CNN和MLP,而用于经典机器学习的分类模型则使用了Scikit-learn库。

其中SVC(支持向量分类器)的实现采用了基于libsvm的C支持向量分类(C-SVC)方法,针对11个类别,共有55个二元分类数据集,每个数据集用于预测一个类别。

03

实验测试方案

在这些手部配置中,“打开”代表所有手指伸展,被认为是11种手部配置的休息状态,受试者被要求在打开状态和选择的手部配置之间进行交替。

为了实现对MCP关节角度的预测,受试者在右手食指、中指、无名指和小指的掌骨和近节指骨的末端附有16个动作捕捉标记,这些标记的配置允许计算MCP关节的角度,并确保手部可以自由移动以完成所需的手部动作。

MCP关节角度是通过测量每个掌骨-近端指骨对形成的两个向量之间的角度,使用反余弦方法来测量的。

为了进行超声数据采集,超声凝胶被涂抹在受试者的前臂上,并将超声波探头固定在右前臂上,受试者的前臂被固定在休息桌上,以保持稳定。

在实验过程中,受试者需要按照指示将手部从打开状态转换到各种手部配置,并按照蜂鸣声的提示控制手部的张开和合拢速率,每个数据采集会话之间有1分钟的休息。

而每个速度转换之间有2分钟的休息,每个数据采集会话的持续时间为56秒,对于每位受试者,共进行了33个数据采集会话,用于研究11种不同的手部动作,每种动作有3个不同的速度条件。

在进行手部配置的分类和手指角度的预测时,采用了不同的数据处理方法和分割策略,为了验证分类性能,针对每位受试者、每种手部配置和速度,使用了8秒的数据,并将其按照70%的训练和30%的测试进行分割,以生成独立的测试和训练集。

这意味着对于每种手部配置和速度,每位受试者使用了5.6秒的数据进行训练,2.4秒的数据进行测试,以获得分类结果。

将这些数据整合到每位受试者和速度的手部配置中,导致每位受试者和速度需要61.6秒的训练数据和26.4秒的测试数据。

在数据采集中,动作捕捉标记被放置在受试者手的食指、中指、环指和小指近端指骨以及掌骨的基部和头部,这些标记的位置位于受试者右手上。

需要注意的是,数据未从拇指获取,因为拇指的运动主要受到未成像的内在肌肉的影响,特别是拇指的CMC和MCP关节,拇指角度的数据将成为未来研究的一个重要方向。

为了评估所提出的方法对不同手部配置的适用性,对于所有受试者以及每种手部配置的慢速、中速和快速速度,计算了平均预测的RMSE(均方根误差)值。

结果显示,C11(钩子)手部配置获得了最低的平均RMSE值,而C10(拳头)手部配置获得了最高的平均RMSE值,C10(拳头)手部配置观察到了最大的标准偏差,而C11(钩子)手部配置观察到了最小的标准偏差。

对于拳头手部配置,其高平均RMSE和标准偏差可以解释为MCP关节角度的变化较大,因为在运动过程中,所有手指都在移动,相反,对于钩子手部配置,MCP关节角度的变化较小,因此平均RMSE和标准偏差也较小。

这些结果表明,所提出的方法在不同手部配置下的性能具有一定的差异,但总体上表现良好。

结论

所提出的卷积神经网络在涵盖6位受试者、3种速度和11种手部配置的情况下,表现出了出色的性能,平均根均方误差(RMSE)为7.35°。

尽管受到内存容量的限制,但这个卷积神经网络在整个数据集的一个子集上产生了令人鼓舞的分类结果,所提出的卷积神经网络实现了平均分类精度为82.7%,与此同时使用线性、径向基函数(RBF)和多项式内核的支持向量分类器(SVC)也实现了超过80%的平均分类精度。

该研究还介绍了一个组合管道,可用于估计角度和手部状态,其在当前设置下以每帧超声数据6.25至9.1赫兹的速度生成预测,这些结果非常鼓舞人心,突显了超声波在理解肌肉运动方面的潜力。

这项工作对于激发未来研究,特别是探索前臂超声波在预测连续和离散手部运动方面的应用,具有重要意义这对于物理机器人领域以及数字和增强现实/虚拟现实界面的直观和自适应控制都具有潜在的广阔应用前景。

好了,关于手指自w的方法教程图片和提高手部细节的解析度方法的问题到这里结束啦,希望可以解决您的问题哈!