跳到正文

发布于 2026年11月2日

人脸测试 ​

本文记录我在人脸项目中承担的测试与数据工程工作。该仓库内的代码均由我独立编写,与前端属不同技术方向,本文单独成文。

一、项目背景 ​

人脸项目的识别率需要有一个可复现的评测口径。如果没有固定测试集和固定计算方式,版本迭代时无法判断指标是提升还是回退。

基于这个目标,我把工作拆成三个相互独立的子项目,对应数据处理链路的三个环节:

子项目职责产出
人脸匹配构建测试集人脸库与识别率测试集
统计脚本生成评测报表指标数据与图表报告
数据集划分清洗原始数据集分层人脸库与验证集

三个子项目各自维护独立的依赖清单与锁文件,统一使用 Python 3.11 与 uv 管理环境,相互之间没有代码引用,仅通过产出文件对接。

二、我的职责与时间 ​

三个子项目均由我独立完成,包括算法实现、命令行工具、流水线编排、测试用例编写与数据处理脚本。

实际开发时间为 2026 年 7 月 20 日至 2026 年 8 月 31 日。仓库在 8 月 31 日整合为单一仓库并提交,提交历史被压缩为一次初始提交,因此时间范围依据源码文件的时间戳还原。

三、技术栈 ​

子项目主要依赖
人脸匹配InsightFace、onnxruntime-gpu、numpy、opencv-python、scipy、tqdm
统计脚本matplotlib、pymysql
数据集划分numpy、Pillow

人脸特征提取使用 InsightFace 的预训练模型,主干为 ResNet50,输出 512 维 ArcFace 特征,官方在 LFW 上的准确率约 99.83%。计算设备优先使用 GPU,无可用显卡时回退 CPU,速度差约十到二十倍。

四、子项目一:人脸匹配 ​

4.1 问题定义 ​

给测试集挑选人脸,直觉做法是挑选与该人员最相似的 K 张。但实际执行会发现结果不可用:单个人员候选常达上千张,按最相似挑选出的十一张在角度与光照上高度同质。用这种测试集测出的识别率会虚高,无法反映真实抓拍条件。

因此真实需求是同时满足两个条件:属于同一人员,且样本之间存在足够差异。

4.2 基础算法 ​

初版将问题建模为最大最小多样性问题,即从 N 个候选中选出 K 个,使这 K 个两两之间余弦相似度的最小值尽可能大。该问题属 NP 难,采用三层启发式求解:

  1. 多起点贪心。以十个随机种子分别构造初始解,取其中最优者。
  2. 禁忌搜索。定位最小相似度所在的瓶颈边并替换,保留其余部分,同时维护禁忌表防止回退,并设置无改进计数用于触发扰动。
  3. 两两交换优化。对每个位置尝试替换,直至无法改进。

三个阶段的职责分别是快速获得可行解、跳出局部最优、收敛到局部最优。

4.3 多样性模式 ​

上述算法能保证选出的样本成簇,但无法保证覆盖不同角度与光照。因此在算法层之外增加了按姿态分桶的模式。

实现方式为:先计算代表图,即与其他候选平均相似度最高的一张;再将候选按水平转角分为左转、正脸、右转三组,并按亮度相对代表图分为两档,共形成六个分组;接着按各分组的候选数量比例分配名额,非空分组至少一个;最后在分组内使用最大边际相关性贪心选取,评分同时考虑与代表图的相似度以及对已选样本的惩罚项,通过系数平衡,默认取 0.6。

该模式下的结果在覆盖面上明显改善,水平转角可覆盖约负二十度到正三十度,亮度分布也拉开。代价是组内相似度指标会下降,但这属于预期取舍:评测数据集需要覆盖场景,而不是追求样本同质。

4.4 阈值扫描 ​

人脸检测置信度的阈值难以一次确定,不同批次数据质量差异较大。实现上采用四档扫描,取值为 0.5、0.6、0.7、0.75,各档独立求解后比较结果取最优。

为避免重复计算,特征提取只执行一次,四档阈值共用同一份特征缓存,仅过滤条件不同,因此四档扫描的总开销不到一秒。

4.5 质量过滤 ​

在算法选取之前需要先剔除不可用样本。过滤标准参照 GB/T 41772-2022 与 GB/T 42981-2023 两项国家标准。

过滤维度包括:

维度判定方式默认阈值
清晰度拉普拉斯方差不低于 50
亮度HSV 明度通道均值60 至 220
水平转角姿态角绝对值不超过 45 度
俯仰角姿态角绝对值不超过 25 度
倾斜角姿态角绝对值不超过 25 度
瞳距两眼关键点距离不低于 28 像素
墨镜五维特征加权不超过 0.3
下脸遮挡五维特征加权不超过 0.3

执行顺序上有一项关键约束:质量过滤必须位于检测置信度过滤之前。检测置信度反映的是人脸检测的可靠程度,对于光线偏暗但人脸清晰可辨的图片并不敏感,若先按置信度筛选,这类图片会通过并进入后续流程,但它们实际无法用于识别。先做质量过滤则可以提前剔除。

墨镜检测未引入额外模型,完全基于 OpenCV 与已有的人脸关键点数据。判定采用加分制,使用五个特征:眼部区域暗色像素占比、边缘密度、灰度均值、左右眼灰度差、灰度方差。每个特征按档位累加分数,总分封顶 1,超过阈值即判定为佩戴墨镜。

采用多特征的直接原因是单一指标误判率高。仅使用方差或仅使用边缘密度时,肤色较浅的人员容易被误判。阈值经反复调试后建议取值范围为 0.2 到 0.4,低于 0.15 会误判未佩戴眼镜的样本,高于 0.5 则会漏检浅色或渐变镜片。

下脸遮挡检测的判定思路与墨镜一致,用于识别镜头前存在遮挡下巴动作的样本。

4.6 配置结构 ​

初版实现存在参数透传问题,一个参数需要贯穿命令行、批处理、单目录处理、求解器与子算法五层,新增参数需修改五处函数签名。

改进方式为将一次运行的全部参数组织为单一配置对象,由命令行组装后逐层传递。配置对象内部再按职责拆分为质量过滤配置与分桶算法配置,互不干扰。此后新增参数只需修改配置定义与命令行两处。

4.7 性别配额 ​

国标要求评测数据集的性别比例接近均衡,偏差不超过百分之五。流水线中相应实现了配额调度,按选取人数的男女各半分配,奇数名额归入男性。

实现上存在一个约束:人员性别在特征提取完成后才能确定,因此配额超限时需要将已写入的输出目录完整回删后再跳过,否则会残留不完整的目录结构。

4.8 测试集合并 ​

算法挑选完成后由独立命令完成合并。该命令将各人员目录下的散图统一复制到测试集目录,随后清理中间目录与两个索引文件。

合并环节设置了一项安全检查:复制散图前与该人员的代表图做内容摘要比对,一致则跳过。若缺少该检查,测试集会混入人脸库原图,这类样本的识别置信度为上限值,会直接拉高整体识别率。

命令同时支持仅预览不执行的模式,以及跳过确认的模式。

五、子项目二:统计脚本 ​

该子项目负责产出评测报表。

数据来源为业务数据库的识别记录表,导出后处理附加帧的展开逻辑,再将结果按类别汇总。

配置项仅两项:摄像头编号与样本基准数。摄像头编号填 0 时自动选取记录数最多的一台;样本基准数填 0 时以实际导出数量作为分母,填固定值时按该值计算检出率与识别率。

每次执行归档到递增编号的目录下,产物包括原始记录文件、附加帧展开后的文件、一份 Markdown 报告,以及六张图表:指标概览、识别结果分布、原始置信度分布、业务展示分分布、图像质量分分布、附加帧数量分布。

另提供两个批处理入口,分别用于执行流水线与清理数据。清理入口会先统计待删数量并要求二次确认后才执行删除。

六、子项目三:数据集划分 ​

该子项目负责原始数据集的分层清洗,代码成型较早,迭代数轮后保留的是第五版。

核心设计是两级阈值。

人脸库侧采用严格标准:水平转角不超过 1.5 度,俯仰与倾斜控制在更小范围,像素暗区占比不超过 15%,两眼距离不小于 35 像素,拉普拉斯方差不低于 50,亮度限定在 50 至 200;同时排除十三类属性,含眼镜、帽子、模糊、浓妆、口红、耳环、项链、领带、刘海、胡须等。

测试集侧采用中等标准:几何条件放宽,瞳距下限降至 25 像素,拉普拉斯下限降至 30,亮度区间放宽到 40 至 215,排除属性减至八项。

分级的理由是两侧目标不同。人脸库需要干净样本以保证录入质量,测试集需要保留一定难度以贴近真实抓拍。若两侧使用同一严格标准,测得的识别率会偏离实际;若人脸库采用宽松标准,入库样本本身质量不足,则无法区分指标下降来自底库还是来自算法。

另有一项强制约束是身份零泄漏:测试集只保留人脸库中出现过的身份。否则统计漏检与误检时分母口径不一致,指标失去意义。

早期版本的做法更简单,每个身份取质量最优的一张入人脸库,其余全部进入测试集。由于身份门槛设为至少 5 张,每人最少剩余 4 张,从数量上即保证了不会出现人脸库有而测试集无的情况。

产出规模为人脸库三百余张,测试集约两千六百张。测试集另附一份清单文件,逐图记录原始文件名、身份归属与各项质量指标,用于后续追溯。

此外独立实现了一个校验脚本,不依赖流水线的中间结果,执行八项断言:磁盘与清单一致性、内容摘要比对、测试集身份是否为库内子集、每个身份是否至少有一张、文件命名格式、汇总数据一致性、属性过滤完整性、图片文件可正常解码。该脚本为纯断言实现,不依赖测试框架。

七、测试用例设计 ​

7.1 设计思路 ​

测试用例采用两类混合的方式,一类是特征化测试,另一类是缺陷复现测试。

特征化测试用于锁定当前正确的接口行为。例如相似度计算函数在输入只有一个元素或空集合时应返回固定哨兵值,这类行为本身正确,通过测试固定下来,后续重构若破坏该行为会立即报错。

缺陷复现测试用于记录已知缺陷。编写时该用例必须处于失败状态,且失败原因必须与预期断言一致;待生产代码修复后自动转为通过。

这种方式的直接收益是发现缺陷时不必立即中断当前工作。先用一个失败用例记录问题并写明期望,继续推进手头任务,之后按失败的用例集中修复。修复时也有明确的验收标准。

7.2 发现的缺陷 ​

相似度计算方面,最小相似度的取值实现存在错误。原实现在每行上取第二小的元素,而相似度矩阵对角线是自身与自身的相似度,恒为 1.0,因此每行第二小实际取到的是排除自身之后的最大值,两两之间真正的最小值被丢弃。验证用例取 2x2 矩阵、非对角线均为 0.9,正确结果应为 0.9,实际返回 1.0。

同一函数还存在非有限值未校验的问题,输入含 NaN 或无穷时不会报错而是静默传播。

代表图选取方面,输入仅一个元素时原实现存在除以零,返回 NaN 且不报错;输入空集合时则直接抛出异常。两处均应返回哨兵值。

选样算法方面,选取数量为 0 或 1 时基数契约不成立。贪心阶段无论目标数量多少都先放入两个种子,当目标数量为 1 时循环不执行,最终返回两个元素;目标数量为 0 时以空数组作为列索引,触发索引错误。

区间收敛函数方面,原实现初始化时复制了一份输入,但循环中只修改另一变量,若每次尝试都超出目标区间,最终走兜底分支返回的是未修改的初始值,调用方会误认为已完成收敛。

流水线方面存在四项问题:候选数量判断多留一个余量,导致恰好满足数量要求时被拒绝;时间预算被直接写入传入的配置对象,造成调用方状态被篡改;序号推算采用统计已有文件数量的方式,目录稀疏时会与已有编号冲突并覆盖;输出写入非原子操作,代表图写入成功而后续散图写入失败时会在磁盘留下不完整结果。

上述四项在后续版本中均已修复。但测试文件头部仍保留着描述缺陷的说明文字,与当前实际状态不符,属于需要同步维护的部分。

7.3 隔离手段 ​

测试用例的前提是不依赖显卡与模型文件,否则单次执行耗时过长,实际使用率会趋近于零。

为此采取四项隔离措施:

第一,流水线测试使用进程内的模拟特征提取器,不加载真实模型与推理库,按文件名哈希生成确定性向量作为特征,接口形态与真实实现一致,流水线无需感知差异。

第二,模拟写入失败时仅替换文件复制函数一处,其余逻辑保持真实,使测试覆盖真实流水线而非整体替身。

第三,提取器相关测试使用轻量对象构造符合接口形状的输入,测墨镜判定时以程序生成图像替代真实照片。

第四,每个用例独立创建临时目录并在结束时清理,用例之间互不影响。

整套用例为纯 CPU 执行,耗时在秒级。七个测试文件合计约两千行,体量超过生产代码的一半。

八、时间线 ​

由源码文件时间戳还原的开发过程如下:

时间完成内容
7 月 20 日数据集划分成型,含筛选脚本、第五版清洗流水线与校验脚本
7 月 22 日至 24 日人脸匹配主体,含两种算法实现、特征提取、命令行与流水线,以及首批算法与流水线回归用例
7 月 27 日统计脚本成型,含配置、数据库访问、导出、报表、清理与流水线编排
8 月 18 日质量过滤与配置结构调整,补充提取器与命令行回归用例
8 月 21 日测试集合并工具与两个批处理入口
8 月 24 日第二路摄像头的清库脚本
8 月 25 日统计配置更新与第四轮报表产出
8 月 31 日三个子项目整合为统一仓库并提交

九、量化结果 ​

指标数值
子项目数3
Python 文件数35
源码与用例合计行数约 7800
生产代码行数约 5300
测试代码行数约 2000
测试文件数7
校验断言数8

分项统计:人脸匹配约 5300 行(含测试约 2000 行),统计脚本约 1370 行,数据集划分约 1080 行。

十、遗留问题 ​

一是测试目录当前未纳入版本控制,只能在本地执行。项目内的仓库规范检查用例已将该项标记为待修复,理由是测试代码应当随源码一同管理。

二是缺少持续集成配置。仓库内没有测试框架配置文件,也没有自动化执行入口,全部依赖手动调用。

三是部分用例的说明文字未随代码修复同步更新,存在文档与实际状态不一致的情况。