近日，匈牙利(ELKH)的Dominik Hirling等人在Nature Methods上发表了题为“Segmentation metric misinterpretations in bioimage analysis”的文章，通过多组有丝分裂细胞的实例分割数据解析了当前用于实例分割的各指标的一些主要问题，并对这些问题提出平均法和聚合法两种修改方法。
doi : 10.1038/s41592-023-01942-8
01
缩略词及其含义
平均精度 (AP)平均精度的平均值 (mAP)单个对象被计为真阳性 (TP)单个对象被计为假阳性 (FP)单个对象被计为假阴性 (FN)交并比 (IoU)图像数据来源
2018 Kaggle 数据科学碗大赛 (DSB2018)2021 Sartorius Cell 实例分割挑战赛 (Sartorius)2021 有丝分裂域泛化挑战赛 (MIDOG2021)02
使用明确定义的指标并进行尽可能少的修改对于生物图像分割领域中的目标透明度和清晰度至关重要。
当我们逐个图像计算分数并取这些值的平均值时，结果与我们以聚合方式计算分数时的结果明显不同。
图.1 三个比赛中决赛阶段提交作品的评估结果
03
使用平均法还是聚合法主要取决于几个方面：对于每幅图像中物体数量差异较大或图像彼此相似（例如模式相同）的数据集，聚合法策略可能会有用；但是，对于物体数量一致但图像各不相同 （例如模式不同）的数据集，平均法策略会更好。
图2.DSB2018、Sartorius和MIDOG 2021样本图像（左）和实际目标（右）
04
根据我们修改的属性，改变评价指标会对结果产生局部影响。在使用固定的 IoU 临界值时，临界值会明显影响结果。然而，在使用多个IoU临界值时，调整范围并不会对结果产生重大影响。
综上，通过明确规定IoU阈值范围、 定义平均精度(AP)以及规定按像素还是按对象计算样本，都能有助于避免实例分割任务产生的大部分误差。
总结：本研究提出了一些与图像分析和实例分割中评估指标变化有关的主要问题。包括相同指标出现不同的名称、不同指标标注同一名称等，展示了分割算法的评估指标的模糊性问题同时提出了一系列解决方针。
doi : 10.1038/s41592-023-01942-8
推荐阅读：
