AI研习丨一种基于人体体态估计算法的健康监测方法

文 / 李宇欣，安兴伟

摘要

为了能便捷地实现人体健康的监测管理，本文提出并详细论述了一种基于人体体态估计算法的健康监测方法和装置。通过对待识别图像特征的提取，识别人体关键点后，确定人体体态并对其进行识别，最后显示人体健康状况。

关键字

人体体态估计；健康监测；体态估算算法；健康检测方法和装置；人体姿态识别

0 引言

健康管理是通过一定的技术手段对人体进行监测，实现对人体危险因素进行全面管理的过程。随着人们对生活质量要求的不断提高，通过健康管理来预防疾病和危险的发生，或对疾病和危险的发展进行有效控制具有重要意义。目前，对人体进行健康管理的方式需要人们到指定医疗机构进行体检，由医疗机构的专业人士进行诊断，才能获知自身的健康状况。而人为健康监测管理方式存在的问题，使体检不及时，或患者没有意识到身体健康存在隐患，会造成严重后果。本文针对现有技术，以及医疗机构进行人体健康管理不够便捷的情况，提供一种基于人体体态估计算法的健康监测方法，解决上述健康管理方式问题。

1 基于人体体态估计算法的健康监测方法及装置

1.1 基于人体体态估计算法的健康监测方法

基于人体体态估计算法的健康监测方法，首先获取待识别图像，对图像进行特征提取，确定图像中待测人体的关键点信息；然后根据关键点信息，确定待测人体的人体体态；最后对人体体态进行识别，确定待测人体的健康状况。具体步骤如下。

步骤1 根据人体体态，确定至少一种目标研究对象。包括高、低肩，以及圆肩、驼背、骨盆前倾、骨盆后倾、O型腿、X型腿、胸部过挺，针对每种目标研究对象，均执行在人体体态上标注与该目标研究对象对应的特征线（特征线为与目标研究对象对应的各关键点最为拟合的直线），判断特征线与标准线之间的偏差值（标准线为人体在该目标研究对象中表现健康的特征线）。根据偏差值，确定待测人体对应该目标研究对象的健康状况。

步骤2 对待识别图像进行特征提取，确定待测人体的关键点信息。包括对待识别图像进行多尺度特征提取得到至少两个多尺度特征，其中至少两个多尺度特征的特征分辨率按照特征提取的顺序依次降低。在至少两个多尺度特征中确定特征分辨率最低的全局特征后，将除全局特征之外的各多尺度特征经可变形卷积层进行处理，得到与当前多尺度特征对应的初级多尺度特征。将全局特征与各初级多尺度特征进行融合得到融合特征。将融合特征输入预先训练的关键点识别模型中，确定待测人体的关键点信息。

融合特征包括根据全局特征和各初级多尺度特征确定融合维度，以及融合维度大于或等于全局特征对应的矩阵和各初级多尺度特征对应的矩阵中的最大值。关键点识别模型用于从至少两种尺度对待识别图像中待测人体的关键点进行识别。

步骤3 将全局特征对应的矩阵和各初级多尺度特征对应的矩阵按照融合维度进行对齐，对齐后的全局特征对应的矩阵和各初级多尺度特征对应的矩阵进行融合计算。

步骤4 根据关键点信息（包括关键点所在的位置坐标），确定待测人体的人体体态，包括根据预先设定的各关键点之间的连接关系及关键点信息，将各关键点进行连接；根据关键点连接后得到的网络线图确定待测人体的人体体态。

1.2 基于人体体态估计算法的健康监测装置

基于人体体态估计算法的健康监测装置，包括获取、提取和确定三个模块，获取模块用于获取待识别图像；提取模块用于对获取模块获取到的待识别图像进行特征提取，确定待测人体的关键点信息；确定模块用于根据提取模块提取到的关键点信息后，确定并识别人体体态，从而确定健康状况。

2 示例性具体实施方式分析

为使实施例的目的、技术方案和优点更加清楚，下面将结合实施例中的附图，对实施例中的技术方案进行清楚、完整的描述。

例1 基于人体体态估计算法的健康监测方法，部分实施例的实施方式如下所述。

步骤101 获取待识别图像。

步骤102 对待识别图像进行特征提取，确定待识别图像中待测人体的关键点信息。

步骤103 根据关键点信息，确定待测人体的人体体态。

步骤104 对人体体态进行识别，确定待测人体的健康状况。

在实施例中，对人体健康监测时，基于人体体态估计算法，通过图像识别来确定人体体态，进而根据得到的人体体态对待测人体的健康状况进行分析。如此在进行人体健康管理时，不需要患者频繁到医疗机构进行检测诊断，通过体态识别的方式，实现人体健康的监测管理，为用户提供了极大方便。

步骤104具体可以通过第一章中的步骤1实现。

在实施例中，首先需要根据确定的人体体态，确定所需要研究的目标研究对象，比如研究待测人体的高低肩问题；然后在人体体态上标注该目标研究对象所对应的特征线，通过判断该特征线与表征健康的标准线之间的偏差值，确定该待测人体是否存在与该目标研究对象对应的健康状况。由此可见，通过进行特征线标注，对不同的特征线与各自对应的标准线之间偏差进行分析，可以对多种健康状况进行诊断，极大提升了该健康监测方法的实用性。

在对待识别图像进行特征提取，确定待测人体的关键点信息时，如第1章步骤2所述，得到与当前多尺度特征对应的初级多尺度特征，在将除特征分辨率最低的全局特征之外的各多尺度特征经可变形卷积层进行处理后，可以对各特征进行筛选，以获得对图像识别更加有效的初级多尺度特征。进而将包含全局信息的全局特征与各初级多尺度特征进行融合，并将融合后的融合特征利用关键点识别模型输出待测人体的关键点信息。如此通过从至少两种尺度对关键点进行识别，以及利用包含全局特征信息的融合特征进行识别，能提升关键点识别的准确性，以进一步保证对人体进行健康判断的准确性。

在对特征进行融合时，由于其各自所对应的矩阵维度存在差异，因而无法进行矩阵融合计算，因此需要对各特征对应的矩阵进行对齐处理，确定融合维度。其中，融合维度大于或等于全局特征对应的矩阵和各初级多尺度特征对应的矩阵中的最大值。将全局特征对应的矩阵和各初级多尺度特征对应的矩阵按照融合维度进行对齐后进行融合计算。由于存在维度不同的情况，会导致在融合时矩阵之间无法进行融合计算。通过将全局特征和各初级多尺度特征所对应的矩阵进行对齐，保证各矩阵处于同一融合维度下，实现融合计算，以提升人体体态识别的准确性。

在根据关键点信息确定待测人体的人体体态时，具体可以包括：根据预先设定的各关键点之间的连接关系以及关键点信息，将各关键点进行连接；根据得到的网络图确定待测人体的人体体态及关键点所在的位置信息，通过预先设定的各关键点之间的标准连接关系，将所对应的各关键点按照标准连接关系进行连接，即可构建出人体的关键点网络图，从而确定该待测用户的人体体态。

例2 基于人体体态估计算法的健康监测方法，部分实施例的实施方式如下所述。

步骤201 获取待识别图像。实施例中，在对待测人体进行健康监测时，通过对其在一段时间内的实时监测得到的视频流进行图像截取，获得对人体体态分析有价值的待识别图像。获得的图像可以考虑进行诸如降噪和二值化等步骤的图像预处理，以提升后续对图像进行识别的精度。

步骤202 进行多尺度特征提取，并确定全局特征。在实施例中，考虑利用神经网络对图像进行多尺度的特征提取，特征分辨率按照特征提取的顺序依次降低，进一步确定出全局特征。其中全局特征即为特征分辨率最低的多尺度特征，但此全局特征具有该图像中待测人体最全信息。例如，通过主干网络HRNet对图像进行特征提取，得到的1~4四个多尺度特征的分辨率是逐渐降低的，特征表达也逐渐抽象，故而特征4为最接近语义信息的特征；进一步可以确定出特征4即为全局特征。利用神经网络进行图像特征提取时，可以考虑采用卷积神经网络。对于获取到的任意待识别图像，两个距离较近的像素相比于距离较远的像素更为相似，普通的神经网络中，每个像素都和一个神经元相连，附加的计算负荷会使网络不够精确。而卷积神经网络通过消除大量类似的不重要连接来解决该问题；也就是说，卷积神经网络是通过对神经元之间的连接，根据相似性进行过滤，使图像处理在计算层面可控。因此，通过卷积神经网络可以准确有效地获得多尺度特征。

步骤203 对全局特征和多尺度特征进行融合，确定关键点信息，并根据得到的关键点信息确定人体体态。在实施例中，考虑将各多尺度特征与具有全局信息的全局特征进行融合，以最大程度的保证最终识别出的图像不会因为丢失特征信息而导致识别的精度降低。在进行特征融合前，需要将全局特征对应的矩阵和各多尺度特征对应的矩阵进行维度对齐，才能保证各矩阵之间能进行融合计算。比如，图像特征中有三个多尺度特征，其所对应的矩阵维度分别为50×50、40×40和30×30，即可确定该融合维度应不小于50×50（此处以50×50为例）。如要保证图像特征中的三个多尺度特征所对应的各矩阵维度都为50×50，即需要对各矩阵进行等值扩维（通常采用补0的方式），这样保证了各矩阵能在同一维度下进行融合计算。在确定融合维度时，可以将融合维度确定为小于各矩阵中的维度最大值。但是，当融合维度小于各矩阵中的维度最大值时，矩阵维度大于该融合维度的矩阵势必需要进行降维，而在降维过程中可能会存在信息丢失情况，降低待识别图像的识别精度，进而影响对待测人体的人体体态进行识别的结果。

在图像特征进行融合计算前，可以考虑将除全局特征之外的各多尺度特征经可变形卷积层（DCN）进行处理，对多尺度特征进行筛选，以确定对关键点信息识别最有效的多尺度特征。例如，在融合时，将经DCN处理过的初级多尺度特征与全局特征，共同加入空洞空间卷积池化金字塔（ASPP）进行融合，得到融合特征。人体关键点信息至少包括头、颈、左肩、左肘、左腕、右肩、右肘、右腕、左髋、左膝、左踝、右髋、右膝和右踝14个关键点的位置信息。通过识别，以确定该识别图像中待测人体各关键点的关键点信息。再根据预先设定的各关键点之间的连接关系，对待识别图像中识别出的各关键点进行连接，构建出人体关键点网络图，从而根据构建的关键点网络图确定待测人体的人体体态。

步骤204 在人体体态图中根据目标研究对象进行特征线标注。当根据关键点信息确定出人体的人体体态后，需要根据所要研究的目标研究对象，进行特征线标注。例如，研究待测人体是否有高低肩时，根据两个肩部的各关键点，构建一条特征线，此线要与识别出的两个肩部的各关键点最为拟合。再如，研究待测人体是否有O型腿时，分别根据识别出的腿部各关键点分别构建左腿特征线和右腿特征线，其中左腿特征线要与识别出的左腿各关键点最为拟合，右腿特征线要与识别出的右腿各关键点最为拟合。该拟合方式可以采用常用线性拟合方式，比如最小二乘法和梯度下降法等。

步骤205 根据目标研究对象对应的特征线与该研究对象对应的标准线之间的偏差，确定该待测人体对应该研究对象的健康状况。实施例中，每个研究对象均有一条标准线，此线为人体在该目标研究对象中表现健康时的特征线，通过比较此线与标准线之间的偏差值，以确定该待测人体是否具有研究对象所描述的问题。需要指出的是，此偏差可以包括特征线与标准线之间的斜率差、间隔距离及角度等。为了提高健康状况的监测精度，可以设定夹角阈值，即判断特征线与标准线之间的夹角是否超过阈值范围，以精确判断待测人体高低肩的严重程度。

例3 如图1和图2所示，本实施例提供了一种基于人体体态估计算法的健康监测装置所在的设备和一种基于人体体态估计算法的健康监测装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。

从硬件层面而言，图1所示为本实施例提供了基于人体体态估计算法的健康监测装置所在设备的一种硬件结构图，除了图中的处理器、内存、网络接口和非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等。

图1 一种基于人体体态估计算法的健康监测装置所在设备的示意图

以软件实现为例，图2所示为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成。

图2 一种基于人体体态估计算法的健康监测装置的示意图

图中所示实施例提供的这种基于人体体态估计算法的健康监测装置，包括获取模块401、提取模块402和确定模块403。获取模块401，用于获取待识别图像；提取模块402，用于对获取模块401获取到的待识别图像进行特征提取，确定待识别图像中待测人体的关键点信息；确定模块403，用于根据提取模块402提取到的关键点信息，确定待测人体的健康状况。

本实施例中，在执行上述的基于人体体态估计算法的健康监测方法时，还可以考虑采用下列一种人体体态测试及健康监测管理系统来实现，系统包括多个体态传感器、数据综合模块和数据分析服务器。

多个体态传感器分布在人体的可活动部位，如内埋于衣服中；或粘贴在人体皮肤表面，如脚部、小腿中间位置、大腿中间位置、臀部、背部中间位置、脖子、头顶、上臂中间位置、下臂中间位置和手部。

数据综合模块同步收集多个体态传感器的数据，并将数据发送给数据分析服务器。其过程为，数据综合模块发送广播指令，命令所有体态传感器采集当前时刻体态数据，所有体态传感器采集完成后，数据综合模块再以轮询方式逐个收取体态传感器数据。

数据分析服务器接收数据综合模块发来的数据，实时解算并记录人体各活动部位的体态。其解算人体体态的方法如下：S1——运动前，通过测量得到被测人各部位的长度、尺寸及被测人身高和体重信息；S2——在人体相应位置设置体态传感器，同时被测人携带一个数据综合模块；S3——实时接收解算并储存数据综合模块发来的体态传感器信息，从脚部传感器开始解算，结合脚部已测得尺寸及脚部体态信息解算出脚部相对人体的位置和体态，再根据脚部的体态结合小腿的尺寸及小腿的体态信息解算出小腿相对人体的位置和体态。以此类推，得到身体所有部位相对人体的位置和状态，实现人体体态的解算。

体态传感器型号为MPU6050。数据综合模块为所有体态传感器供电，并通过总线与每个体态传感器通信，通过互联网将数据发送给数据分析服务器。在具体实行上述一种人体体态测试及健康监测管理系统时，可以包括一种人体体态测试及健康监测管理系统。系统中包括多个体态传感器、数据综合模块和数据分析服务器。

本文所提的人体体态测试及健康监测管理系统，通过对人体各部位的体态检测，结合被测人各部位的尺寸信息，实时解算出人体体态反馈给被测人或者其他人员，实现对被测人运动的动态过程监控，使得被测人的运动过程得以复现，辅助进行运动姿势的纠正或身体机能的康复，提高运动的意义和安全性，进一步提高群众健康水平。

3 可读介质

实施例还提供一种计算机可读介质，此介质存储有计算机指令。指令在被处理器执行时，使处理器执行任一实施例中的基于人体体态估计算法的健康监测方法。具体地，可以提供配有计算机可读介质的方法或者装置，在介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该方法或者装置的计算机（或CPU 或MPU）读出并执行存储在存储介质中的程序代码。在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了一部分，用于提供程序代码的存储介质实施例，包括软盘、硬盘、磁光盘、光盘（如CD ROM、CD R、CD RW、DVD ROM、DVD RAM、DVD RW、DVD+RW）、磁带、非易失性存储卡和 ROM。利用通信网络从服务器计算机上下载程序代码，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令用计算机上的操作方法等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。

4 结束语

在对人体健康监测时，本文基于人体体态估计算法，通过图像识别来确定人体的体态，进而根据得到的人体体态对待测人体的健康状况进行分析。如此在进行人体的健康管理时，不需要患者频繁到医疗机构进行检测诊断，该健康监测方法可以通过体态识别的方式，便捷地实现人体健康的监测管理，极大地为用户提供了方便。

（参考文献略）

选自《中国人工智能学会通讯》

2021年第11卷第9期

智慧医疗专辑