启用深度学习的摩擦智能袜子，用于基于物联网的步态分析和VR应用
可穿戴电子设备的最新发展迅速推动了人工智能和物联网的时代。步态揭示了日常生活中的感官信息，其中包含有关身份和医疗保健的个人信息。当前的步态分析可穿戴电子设备主要受制于高制造成本，操作能耗或劣等分析方法，这些方法几乎不涉及机器学习或实现需要大量数据集进行训练的非最优模型。
新加坡国立大学智能传感器和MEMS中心（CISM）与混合集成柔性电子系统（HIFES）等跨部门团队开发了低成本的摩擦智能袜，用于从低频人体运动中收集能量以传输无线传感数据。相关论文发表于npj Flexible Electronics，《Deep learning-enabled triboelectric smart socks for IoT-based gait analysis and VR applications》。
配备有自供电功能的袜子还可用作可穿戴传感器，以传递有关用户的身份，健康状况和活动的信息。为了进一步解决无效的分析方法的问题，提出了一种优化的深度学习模型，该模型在步态分析的袜子信号上具有端到端结构， 13个参与者的93.54％的识别准确率，并检测出五种不同的人类活动准确率为96.67％。为了实现实际应用，在虚拟空间中映射通过袜子收集的物理信号，以建立用于运动监控，医疗保健，身份识别和未来智能家居应用的数字人系统。
启用深度学习的袜子的示意图和未来前景
智能袜子将帮助可穿戴电子设备向数字化人类发展，以实现多种应用：物联网应用的能量收集，VR健身游戏的人体活动监控以及智能家居应用的步态识别。
开发的具有感应功能的摩擦智能袜子，可以对用户的身体状况进行更全面的长期监控。此外，这种智能袜子将是一种可行的选择，可以消除人体自然运动产生的低频能量，为蓝牙模块供电，并在IoT框架下传输嵌入式温度传感器检测到的体温值。设计和开发了基于纺织品的摩擦电压力传感器，将其嵌入在商用袜子中以进行步态监测。自产生的输出电压从备件外部电源进行操作的摩擦电传感器相对于其他感测机构，诸如电容传感器和电阻传感器。
此外，利用深度学习技术进行数据分析，成功演示了智能袜子，可实现群体用户的步态识别，准确率达93.54％。通过使用建议的袜子来应用虚拟现实（VR）健身游戏，除了用于增强交互的通用视觉和语音控制终端外，还提供了互补控制界面的可能性，这在智能家居领域显示出了良好的潜力。因此，这种支持深度学习的摩擦智能袜子为我们提供了更全面的信息，这对于运动监控，医疗保健，未来的智能家居应用等将是有利的。更重要的是，当我们将袜子用于此类场合时，隐私问题就不存在了。目的。在将来，借助从此袜子收集的集成信息以及其他可穿戴传感器和神经电极，该平台为在不久的将来实现数字人类技术铺平了道路。
T-TENG传感器的基本特性：
制作一个尺寸类似于用户脚的T-TENG传感器，并将其连接到棉袜的底部，以制成用于步态分析的智能袜。通过将单传感器袜子穿在右脚上，可以通过摩擦电输出电压检测并分析用户的步态。通常，步态周期包括四个事件，即”脚跟接触”，”脚趾接触”，”脚跟离开”和”脚趾离开”。根据摩擦式纺织传感器的工作机制，当在其上施加压力时会产生正峰值，并且当释放压力时可以检测到反向电荷流。因此，当用户向前走时，在步态的半个周期中观察到代表愈合接触和脚趾接触的两个正峰，并且此后检测到代表愈合离开和脚趾离开的两个负峰。因此，可以从输出电压中提取一些初步特征，即步态周期的频率，正/负峰值幅度以及步态周期中每个事件的时间间隔。通过检测这些特征，可以预先监视人类活动的类型。
a具有方形底座的平截头体的详细尺寸。b T-TENG传感器的工作机制以接触分离模式工作。c无结构和平截头体结构的T-TENG传感器的开路电压与压力曲线。d，e T-TENG传感器的原理图及其在244 kPa下无截头圆锥体结构和截头圆锥体结构的开路电压波形。f T-TENG的电荷在13、38和244 kPa的载荷下以15 mm s -1的挤压和释放速度传输。GT-TENG在13、78和244 kPa负载下的压紧和释放速度为15 mm s -1时的短路电流。h在244 kPa的载荷下，压紧和释放速度分别为5、10和15 mm s -1的T-TENG的短路电流。
摩擦纺织传感器的制造
摩擦电压力传感器加工工艺示意图。
纺织品的光电摩擦传感器。a导电纺织品de 扫描电镜图像。b锥头结构硅橡胶膜。c、 窄间隙的三维图像.d.柔软的藤编织物放在桌子上，用镊子弯曲。
摩擦纺织传感器包含两层：正电荷产生层和负电荷产生层。首先，将导电织物切成所需的尺寸和形状，该织物由涂有粘合剂的金属化织物（聚酯铜）制成。为了制造正电荷产生层，将丁腈薄膜附着到导电织物的一侧。另一种导电纺织品也在一侧上涂有硅橡胶膜。涂覆过程首先是分配所需数量的EcoFlex TM的A部分和B部分00-30放入混合容器（按体积或重量计1A：1B），然后将混合物充分混合3分钟，然后将混合溶液倒入3D打印模具中，然后在70°C下烘烤20分钟用于固化。对于没有表面结构的纺织品传感器，将未固化的混合物直接粘贴到导电纺织品上以形成平坦表面。最后，将涂有硅橡胶的织物缝制到丁腈涂层的织物上，并在外侧将两个不导电的织物进行封装。
T-TENG袜子的特征和步态分析：
步态信号将由微控制器单元（MCU）收集，并通过无线通信传输到PC。如果与记录的正常步行信号相比，用户的步态出现不规则信号，紧急医疗警报系统将显示相应的警告，例如步幅下降或跌倒，并通知护理人员。因此，用于医疗状况监测和医疗紧急警报的实时系统展示了智能袜子在多种医疗保健应用中的巨大前景，可帮助老年人和患者，该袜子可进一步用于智能家居，医院和医疗中心。同时，这只袜子在研究受疾病影响的人的行走方式方面非常有用，这些人受疾病影响，例如糖尿病，肌肉骨骼异常以及因各种损伤而康复。
a典型接触周期的四个阶段示意图，b正常行走（右脚）对应信号。c，d帕金森氏病患者模拟步行模式的实时医疗保健监控以及跌倒事件的步态信号。e，f通过将外部负载电阻从0.1MΩ改变为100MΩ，测试了在1 Hz行走和2 Hz跑步条件下右脚单只袜子的最大输出功率。克不同电容器的充电曲线（即，1，4.7，10，和27μF）加入到5 V. ħ充电，并用徒步袜子，其中每个压降表示放电到蓝牙模块放电曲线。i通过蓝牙模块在各种运动强度下监控腋下的温度。
除了步态感应外，由于智能袜子在自驱动摩擦电机制下工作，因此它还可以用作能量采集器，以消除脚步运动产生的浪费能量。右脚单只袜子的输出功率是在0.1到100MΩ的不同外部负载下测量的。在44.4MΩ负载下行走1 Hz时产生的输出功率为0.32 mW。在以2 Hz的频率跑步的情况下，由于脚施加在袜子上的力和频率更大，因此在21.3MΩ上测得的最大功率为3.18 mW。因此，所提出的袜子能够在各种运动下从步态周期中收集能量。
开发具有深度学习功能的袜子
考虑到面部识别，指纹识别和声学识别的隐私问题，步态作为个人特征具有很多识别优势，即，步态识别对数据收集的环境限制较小，因此相对容易，快速地收集数据。与广泛使用的IMU传感器不同，IMU传感器需要高计算能力和高计算能力才能进行精确的身体运动监控，具有深度学习功能的袜子具有最少数量的摩擦电传感器，为检测和分析个体步态提供了另一种解决方案。
启用深度学习的袜子的步态识别：
a数据收集过程和数据集段的4-s滑动窗口。b构造一维CNN结构的过程和参数示意图。c五个参与者的步态模式与预测的图。d三重传感器袜子的示意图及其在600 s内的三通道输出特性。e，f用5和13位参与者的三传感器袜子预测的图。
就三传感器智能袜子而言，在采用相同的数据收集方法之后，来自三个通道的摩擦电信号可以形成一个完整的频谱，并进入具有相同CNN结构的输入层，从而对不同的用户进行分类。三传感器智能袜子的最终精度可以达到100％，比单传感器袜子提高了4％。通常，样本数量越多，训练模型的分类精度越高。其结果是，13种个体步态模式的数据集收集，并且也与上述的滑动窗口方法来实现的93.54％的高准确度。
智能袜子作为控制界面来演示VR健身游戏
具有深度学习功能的袜子的人类活动识别。
a从VR健身游戏中的感觉信息收集到实时预测的流程。b深度学习袜子输出响应不同运动（跳跃，奔跑，滑动，跳跃和行走）的3D图。c深度学习成果的困惑图。d虚拟字符的运动与拟议的数字人类系统中的真实运动相对应。
完整的实时控制系统包括三重传感器袜子，信号预处理电路，带有无线发射器模块的MCU，PC和Unity软件中的虚拟空间。
首先，当用户移动时，将产生来自袜子的摩擦电输出信号，然后经过预处理电路后进入MCU。预处理电路用于滤除环境噪声并消除不同通道之间的串扰，该电路主要由具有多种功能的电路模块组成，即偏置电路，放大器电路和低通滤波器。然后，MCU将检测等效的输出电压模拟信号，并将整个频谱的数据通过无线传输发送到PC。然后，根据接收到的信号频谱，训练有素的机器学习模型将向Unity发送相应的运动命令。
在演示的VR健身游戏中，有五种默认动作可供检测以控制虚拟角色，包括跳跃，跑步，滑动，跳跃和行走。相对于虚拟空间中的五个不同运动，相应的摩擦电输出。在1D CNN训练模型之后，人类活动的识别准确率达到96.67％，每个动作的100个训练样本。统一程序可以接收预测运动的命令并将其转换为虚拟角色的运动。
例如，当出现木桩时，用户应采取跳跃动作通过它，该动作将同时同步到虚拟角色在虚拟空间中的移动。接下来，用户可以选择在树林路径中的跑步运动或步行运动以及碎石路，直到下一个障碍。当他们面对岩石和石头洞穴时，应分别进行跳跃和滑动运动。该VR演示很好地表明了智能袜子在实现面向各种应用的高级多功能HMI方面的潜力。将来，基于建议的袜子的智能系统可以进一步与个人健康监测系统集成，该系统可以测量和分析VR游戏中有关身体表现的数据。
由于具有深度学习功能的袜子能够识别识别和监视活动，因此它在智能可穿戴系统的开发中具有重要意义，该系统可通过袜子的集成来连续监视全身运动和身体信号和其他可穿戴式传感器。这样的可穿戴系统将促进未来数字人的快速发展，其中可以在虚拟空间中创建人的现实数字副本。为了简单演示数字人的未来应用，开发了一种智能家居系统，可以自动将家庭成员与陌生人区分开来，并在无相机环境中实时监视家庭成员的室内活动，识别结果在真实空间中的位置可以投影到虚拟空间中。
智能家居应用的集成演示。
一个两级识别系统的概述。b通过无线通信收集多个步态信号的用户的示意图。c在智能家居系统的第一阶段，两个家庭成员的步态信号用于步态识别。d在智能家居系统的第二阶段中，记录的家庭成员的步态信号响应不同的动作（奔跑，走路和跳跃）。
基于摩擦纺织传感器的具有深度学习功能的袜子已经被开发出来，它具有为未来的数字人提供低成本和低功耗解决方案的巨大潜力。借助在接触表面上构图的毫米级截头锥体结构，摩擦式纺织传感器的感应范围和灵敏度得到了极大的提高，使其更适合步态感应。通过清除正常步行过程中的能量，此袜子可在3-4分钟内为27 µF电容器充电，这足以支持Bluetooth IoT传感器模块传输温度和湿度数据。此外，通过基于1D CNN的深度学习分析技术的单传感器袜子，在五名参与者之间区分步态模式的准确性达到了96％。为了进一步提高智能袜子的步态模式感测精度，三传感器袜子可以将5位和13位参与者的识别精度分别提高到100％和93.54％。更重要的是，所提出的袜子能够以56.6％的准确度在识别的用户的五个预定义动作中检测到不同的人类活动。已经演示了将其作为控制界面的VR健身游戏。
结合识别和活动监控功能，通过创建具有用户复制动作的虚拟人物，展示了深度学习袜子作为智能家居和智能教室应用程序中的功能部件，显示了其在数字化发展中的巨大前景人类在不久的将来。
该智能的袜子具有多种功能，可在物联网框架中应用能量收集，并具有步态感应功能，用于步行模式识别和人类活动监测。进一步的探索将获得用户的更全面的信息，包括娱乐，社交网络，医疗保健，运动监控和智能家居等。