Nature Machine Intelligence 使用机器学习驱动的可拉伸智能纺织手套捕捉复杂的手部动作和物体交互

研究背景
对灵巧手运动的精确实时跟踪在人机交互、元宇宙、机器人和远程医疗等领域有着广泛的应用。当前的可穿戴设备中的大多数仅用于检测精度有限的特定手势，并且没有解决与设备的可靠性、准确性和可清洗相关的挑战。对传感器直接放置在用户的手上有严格的要求，并且不能解决传感器的电气和机械性能的变化，并且适合用户。
创新点
加拿大不列颠哥伦比亚大学Peyman Servati和Arvin Tashakori共同研发了一种使用带嵌入式螺旋传感器纱线和惯性测量单元的可拉伸、可洗智能手套对关节手和手指运动进行精确和动态跟踪。传感器纱线具有高动态范围，对低至0.005%和高达155%的应变作出响应，并在广泛使用和洗涤循环中表现出稳定性。我们使用多阶段机器学习报告参与者内和参与者间交叉验证的平均联合角度估计均方根误差分别为1.21°和1.45°，与没有遮挡或视野限制的昂贵运动捕捉相机的精度相匹配。我们报告了一种数据增强技术，该技术增强了对噪声和传感器变化的鲁棒性。我们展示了在物体交互过程中对灵巧手运动的精确跟踪，开辟了新的应用途径，包括在模拟纸键盘上准确打字、根据美国手语识别复杂的动态和静态手势，以及物体识别。
文章解析

图1：智能纺织手套。a、 智能织物手套的照片展示了其在与物体互动时捕捉关节角度和把握压力的功能。b、 手套的照片和X射线示意图显示了嵌入的HSY（蓝色，顶部；红色，底部）、3D弹性互连（金线；实线，顶部；虚线，底部），包括第一个IMU1和其他读出和蓝牙硬件的PCB，电池盒，以及位于手腕正上方的第二个嵌入IMU2。c、 佩戴手套的用户显示复杂的手势。d、 多个HSY和IMU如何连接到PCB硬件的示意框图，包括放大器、ADC、多路复用器（Mux）、微处理器和BLE发射器，然后连接到iOS移动应用程序或PC，后者接收数据并将其传递到不同应用程序的GlovePoseML模型和演示应用程序。e、 由动态跟随动作的ML算法估计的用户复杂手势的可视化。

图2：螺旋传感器纱线。a、 HSY的示意图显示了具有弹性氨纶芯、包裹有螺旋金属涂层NFs和封装弹性体外壳的同轴结构。b、 外壳涂层前HSY的显微镜和扫描电子显微镜照片。c、 带有外壳和接触电极的HSY的照片。d、 灵敏度ΔR/R0的测量，其中ΔR是加载和卸载过程中响应不同拉伸应变和载荷的初始电阻R0的变化，显示出低至0.005%应变和最小滞后的异常灵敏度。插入：菌株的灵敏度<1.0%。数据点表示20个样本的平均值。从标准偏差得出的误差条太小，无法在图中显示。d，抵抗循环拉伸的时间相关灵敏度，最大值范围为1%至140%。f、 不同频率下，HSY对最高10%应变的抗性反应变化0.2–2 赫兹。g、 传感器响应准确跟随应变从0到10%的变化。插入：加载和卸载循环的放大视图。h、 最多可进行14次机械耐久性测试 h连续拉伸-释放循环。i、 空气和水下传感器响应的比较。插图：水下测试时传感器的照片。数据点表示20个样本的平均值。从标准偏差得出的误差条太低，无法显示。j、 智能织物手套在各种洗衣、洗涤和烘干周期中的耐用性传感器响应。dtg，洗涤剂；sft，柔软剂；RT，室温；RT x2，第二次RT洗涤循环；rtx3，第三次rt洗涤循环；T、 温度。误差条是进行相同实验的九个装置的标准偏差。虚线红线是在这些实验过程中观察到的最小和最大极限。

图3：ML和动态手部跟踪。a、 使用GlovePoseML估计的关节角度（a到P，如子集所示）与运动捕捉相机和标记系统测量的关节角度的线性图比较。MCP，掌指；CMC，腕掌；PIP，近端指间；DIP，远端指间；IP，指间；Abd，绑架；屈曲；仰卧。b、 在正常条件下（上）、抓握球过程中出现遮挡时（中）和低光环境下（下）复杂动作的可视化估计手姿势（左）和照片（右）的比较。c、 d，根据拟合优度R2（c）和r.m.s.e.（d）得出的不同接头的平均精度结果。e、 数据扩充的场景。从上到下：原始数据、缩放数据、活动传感器较少的数据和噪声数据。f、 跟踪GlovePoseML模型的总体架构，显示了传感器k响应Sk、归一化层、两层堆叠的Bi-LSTM模型、两个FC层、激活层、时间窗口t和关节L角PL.g，h，根据拟合优度R2（g）和r.m.s.e（h），使用正态和增广数据集训练的模型的平均精度结果的比较。c、d、g和h中的条形图显示了交叉验证平均值，单个值用点表示（参与者内部CV分别为10倍和参与者间CV分别为5倍）。误差条表示标准偏差。

图4：打字和绘图演示。a、 用户使用一副无线智能手套在用于用户视觉反馈的模拟纸键盘上打字的照片。b、 在模拟纸键盘上用十根手指打字时，键盘上每个键的检测精度的彩色编码比较。c、 HSY传感器在指尖重复敲击和缩回模拟纸键盘表面时的典型响应。d、 使用GlovePoseML模型检测类型的两个FC和激活层的示意图。e、 iPad上基于两个手指捏和手腕运动的3D空中绘图应用程序的插图。f–h，使用我们的智能手套和ML系统估计的手腕角度与追踪手腕屈曲和伸展（f）、手腕外展和内收（g）以及手腕旋后和内旋（h）的金标准运动捕捉系统之间的比较。

图5：实时动态和静态手势和物体识别。a、 用于手势识别的动态手势图片。b、 来自GlovePoseML输出层的动态手势在用户之间的集群分布。c、 参与者间和参与者内交叉验证中动态手势的灵敏度（%）结果。d、 用于手势识别的静态手势图片。e、 用户之间来自GlovePoseML输出层的静态手势的集群分布。f、 参与者间和参与者内交叉验证中静态手势的灵敏度（%）结果。g、 用于物体识别的物体图片来自抓握形式研究。h、 GlovePoseML输出层中对象在用户之间的集群分布。i、 参与者间和参与者内交叉验证中不同对象的灵敏度（%）结果。j、 用于手势和对象分类的模型示意图，显示FC和激活层。c、f和i中的条形图显示了交叉验证平均值，单个值用点表示。

读后感
作者报告了一种动态准确的手部运动跟踪，适用于所有手指和手腕关节，使用嵌入可拉伸螺旋传感器纱线（HSY）、IMU和弹性互连的可拉伸、无线和可洗智能织物手套。这种可拉伸智能织物手套和ML算法可以通过学习灵巧的人手功能以及与物体和表面的交互。在人机交互、远程健康中的运动和治疗评估以及动画和元宇宙中的应用中开辟新的途径。